Het nieuwe vervangt het oude. De microprocessor onttroonde het mainframe, dat niet zozeer verdween als wel een nieuwe positie innam. Windows verving PC DOS en Windows NT bereikte wat OS/2 had moeten doen. Unix nam het stokje over van VMS en de kleinere mainframes, maar nu bedreigt NT Unix opnieuw. Het houdt niet op; op dit moment bedreigt Linux NT – terug naar Unix, maar tegen lagere kosten.
Hardware-ontwikkelingen zijn gemakkelijker op te vangen dan software-ontwikkelingen. Bij hardware gaat het om simpele verbeteringen in de prijs/prestatie-verhouding, verbeteringen die enigszins worden gecompliceerd door zaken als betrouwbaarheid, schaalbaarheid en beheeraspecten. Toch is de effectiviteit van nieuwe disks, geheugenchips, processoren en communicatietechnieken over het algemeen goed vast te stellen. Er zijn zelfs betrouwbare benchmarks voor. Hoe anders is dit bij software.
Het evalueren van software is ongelooflijk moeilijk. Dit ligt voor de hand als we de afschuwelijke kwaliteit van sommige producten in aanmerking nemen. Er zijn vandaag de dag zoveel applicaties in omloop, dat het onbegonnen werk is ze allemaal te evalueren; er is gewoon niet genoeg mankracht om dat te doen. Evaluaties blijven daarom beperkt tot de belangrijkste producten.
Dit betekent dat er veel meer moeite wordt gestopt in de evaluatie van een erp-pakket dan bijvoorbeeld een tekstverwerker. Grote producten worden voorts geëvalueerd door professionals, terwijl enthousiaste eindgebruikers met weinig kennis van zaken producten voor hun PC uitkiezen. Met de moderne client/server-applicaties wordt dit steeds ingewikkelder, omdat zowel de gebruikersinterface als de kernprocessen moeten worden beoordeeld. Veel client/server-applicaties zien er goed uit, maar mislukken toch.
Op het laagste niveau moet er een knoop worden doorgehakt over systeemcomponenten zoals besturingssystemen en communicatieprotocollen. Zelfs professionals die beter zouden moeten weten, worden verleid door de technologie. Waarom zou een organisatie anno 1999 nog geld besteden aan het evalueren van en spelen met een besturingssysteem? Er worden miljoenen over de balk gegooid voor het evalueren van NT, een single-user besturingssysteem, terwijl de bedrijfsapplicaties nog steeds inadequaat zijn. Het heeft werkelijk geen zin een multi-user Unix-systeem te vervangen door een NT-systeem, dus waarom zou men de schaarse menskracht niet besteden aan belangrijker zaken?
De evaluatie van databases en andere middleware-producten, zoals e-mail, is waarschijnlijk zinvoller. Het is verrassend dat er zo weinig kennis is over groupware en workflow-servers. Er zijn al veel pogingen gedaan de selectie eenvoudiger te maken door benchmark-tests voor databases te ontwikkelen, maar men is er nooit in geslaagd de werkelijkheid daarbij voldoende te benaderen.
Het zou eenvoudiger moeten zijn om zakelijke applicaties te evalueren. Een analist kan de functies tegen de eisen afzetten. Dat is helaas niet voldoende. Als de software op een zwakke fundering is gebouwd, kan de functionaliteit wel in orde zijn, maar kunnen er ernstige problemen op het gebied van beveiliging, betrouwbaarheid en schaalbaarheid optreden. Hoe kan een analist weten welke valkuilen er in dikke client-applicaties schuilen, zonder dat hij een IT-expert inschakelt? Dat is nu precies de oorzaak van veel mislukkingen geweest: het gebrek aan respect over en weer en een gebrekkige samenwerking tussen IT-specialisten en bedrijfskundigen. Het effect: van buiten een flitsend interface, van binnen een chaos.
De grootste blunders komen we tegen in de kantoorautomatisering. Die was in eerste instantie sterk gericht op het individu, en niet op de afdeling of het bedrijf. Met uitzondering van speciale producten als Wang Office en Office Vision vond de automatisering van kantoorfuncties volledig plaats op de PC. Het idee van een PC stond echter haaks op de primaire eisen van een kantooromgeving – daarin werken mensen ‘samen’. Concurrerende producten richtten zich daarom op de naïeve eindgebruiker, die weinig tot geen ondersteuning van de IT-specialisten kregen. Het eindresultaat: geen serieuze ontwikkeling, maar een jarenlange concentratie op steeds meer nutteloze toeters en bellen om nog meer gebruikers binnen te halen.
Het is nog niet zo lang geleden dat e-mail op basis van servers in de plaats gekomen is van e-mail op basis van bestandsuitwisseling, zoals MS-mail of CC-mail. Microsoft heeft uiteindelijk het hart van de eindgebruiker gewonnen door een tekstverwerker, een spreadsheet, een presentatiepakket enzovoort in één enkel pakket te bundelen. Een briljante marketingzet, maar een waardeloos product. Een objectieve evaluatie werd omzeild door direct de nadruk te leggen op een paar oppervlakkige gui-functies, zodat verdere ontwikkeling achterwege kon blijven. Kom maar op met XML!
Waar het echt om gaat is dat de evaluatie van concurrerende softwareproducten ongelooflijk moeilijk is. Gegeven het veranderingstempo en de resulterende korte levenscyclus van sommige producten zijn evaluaties zelfs contraproductief. Misschien moeten IT-professionals duidelijker communiceren dat sommige producten beter zijn, maar minder goed worden verkocht. De eindgebruiker is zich vandaag de dag pijnlijk bewust van de onbetrouwbaarheid van zijn hulpmiddelen, en stelt de deskundigheid van de IT-professional daarom steeds vaker ter discussie.