Enterprise Search: Gaan we de weg ooit vinden?

Stephen (Steve) Arnold kun je met recht 'een oude rot in het vak' noemen. Zijn kennis is enorm en zijn presentaties zijn altijd scherp, controversieel, vol humor en sterke verhalen. Wij zijn blij dat Arnold naar het Hartman Event komt voor een keynote presentatie en een 'Meet the CM Guru'-sessie. Maar eerst voelden we hem aan de tand over zijn favoriete onderwerp: Enterprise Search.

Hartman: Onlangs verscheen je rapport 'Beyond Search: What to do When Your Enterprise Search System Doesn't Work'. In een notendop, waar gaat dit rapport over?

Arnold: "'Beyond Search' gaat over Enterprise Search of zoals ik het liever noem: search 'achter de firewall'. Vijftig tot zeventig procent van de gebruikers is ontevreden over hun Enterprise Search-systeem. Organisaties kopen meer zoeksystemen en speciale indexeringssystemen en betalen veel geld aan consultants om de interface of de knowledge base te optimaliseren. Deze 'one-size-fits-all'-benadering is echter niet succesvol.

'Beyond Search' verklaart dit probleem, biedt praktische tips en beschrijft de systemen van 24 leveranciers die verder gaan dan de 'wij doen alles'-oplossingen. Dus het rapport helpt bij het selecteren van specifieke systemen voor specifieke taken, niet van systemen die 'de oceaan willen koken' ("Let's boil the ocean")."

Hartman: Iedereen die praat over zoeken, heeft Google in zijn hoofd. Is dat goed of slecht?

Arnold: "Ik heb twee gedetailleerde rapporten geschreven over Google, 'The Google Legacy' in 2005 en 'Google Version 2.0' in 2007. Google is een belangrijke organisatie omdat het een legitiem alternatief heeft geboden voor desktopapplicaties. Google heeft het landschap van zoeken op het web dramatisch veranderd, het domineert online adverteren en het steekt zijn neus in telefonie, online betalingen, publiceren en verschillende andere sectoren die niets van doen hebben met zoeken.

Google heeft nu een aandeel van zeventig procent in het zoekverkeer in Noord-Amerika. In Nederland, Denemarken en Duitsland heeft Google een marktaandeel van meer dan negentig procent! Er is veel te vertellen over Google, maar er zijn veel misverstanden over de strategie van het bedrijf en het enorme potentieel van Google om zich zonder enige waarschuwing vooraf te begeven in markten die niets te maken hebben met zoeken.

Google is ook belangrijk omdat vernieuwers ('innovators') leren van het Google-model. Mensen die Google verlaten om zelf een bedrijf te starten, de zogeheten Xooglers, bouwen op ideeën die hun oorsprong hebben binnen de burelen van Google. Het bedrijf Google zou ten onder kunnen gaan, maar het het Google-model zal voor lange tijd effect hebben op de markt."

Hartman: Zijn de kaarten in de markt niet allang geschud, na al die overnames?

"Een goede vraag. Op het eerste gezicht houden zoekbedrijven uitverkoop. Bijvoorbeeld Lexalytics dat is gefuseerd met een bedrijf in de UK. Powerset verkocht zichzelf aan Microsoft. Fast Search ging ook in op een bod van Microsoft. SAS Institute kocht Teragram. Business Objects (nu onderdeel van SAP) kocht Inxight Software.

Maar er wordt ook flink geïnvesteerd. Intel en SAP stopten 14 miljoen dollar in Endeca. Zelf heb ik gewerkt aan een aantal investeringen in systemen voor zoeken en content processing systems die nog niet publiek kunnen worden gemaakt. In mijn archieven heb de namen van meer dan driehonderd bedrijven die betrokken zijn in zoeken, tekstanalyse en content processing. De zoeksector is behoorlijk actief, zelfs in het huidige economische klimaat.

De reden hiervoor is dat veel mensen denken: "Als Google het kan, kunnen wij het ook." Ik zie eigenlijk nog niemand echt Google de loef afsteken. De meeste zoeksystemen zijn niet zo goed en dat zal ook naar buiten komen. Het is echter ook zonneklaar dat niet iedereen blij is dat Google zich meer en meer ontpopt als de onverslaanbare monopolist. De zoekmarkt is echter nog steeds dynamisch, onvoorspelbaar en voor sommigen onweerstaanbaar."

Hartman: Wat kunnen we verwachten van Google, Microsoft, Autonomy en andere partijen?

Arnold: "Deze organisaties zijn erg bedreven in het bewaren van geheimen en schromen niet om iedereen aan te klagen die ook maar iets zegt over wat voor moois er nu weer is bedacht door de knappe koppen bij research en development. Ik kan wat trends aangeven met het voorbehoud dat mijn buikgevoel niet overeenkomt met wat er werkelijk in het daglicht komt.

Autonomy verandert gaandeweg van een sec zoekbedrijf in een organisatie die oplossingen biedt voor verschillende typen informatievraagstukken. Als ik kijk naar het productenaanbod dan zie ik een conglomeraat van mini-oplossingen en niet een oplossing voor alleen zoeken of content processing. Bij fraude-opsporing bijvoorbeeld hoeven woorden niet per se een rol te spelen. Fraude-opsporing richt zich op patronen in gegevens en niet op zoeken. Een ander voorbeeld is het aanbod van video-oplossingen. Zoeken speelt daarin een rol, maar Autonomy biedt een meer robuuste manier voor organisaties om hun rijke content ('rich content') te manipuleren. Autonomy is van plan om te groeien naar een omzet van 300 miljoen dollar of meer. Dit is een enorme prestatie, die zij niet alleen met het aanbieden van zoektechnologie zullen realiseren.

Google is een groot vraagteken voor mij. Het bedrijf heeft een aantal interessante patenten en weet zijn producten op onnavolgbare wijze aan de man te brengen. Google is tevreden met de miljarden die het binnen haalt met online advertising en leunt nonchalant achterover als Amazon, Salesforce.com en andere organisaties zich fel richten op 'cloud services'. Google verdient zijn geld met advertenties, maar ik aarzel om te zeggen: "Google is een zoekbedrijf." Google is namelijk een applicatieplatform. Zoeken en adverteren zijn een paar populaire applicaties, maar is niet het hele bedrijf.

Microsoft vind ik persoonlijk erg interessant. Ik denk dat Microsoft uiteindelijk verwordt tot een applicatiebedrijf, een gamebedrijf en een serverbedrijf. Microsoft wil een online bedrijf zijn zoals Google, maar ik denk niet dat dit reëel is totdat het bedrijf zichzelf drastisch opsplitst en online start zonder de enorme erfenis uit het verleden. Wat zoeken betreft is Microsoft vreemd bezig. Google is een diepgaande kopie van AltaVista.com, Overture.com en Microsoft.com. Microsoft vreemd genoeg probeert Google te kopiëren, maar dat is op zijn beurt alweer deels een kopie van Microsoft zelf. Iedereen weet dat kopieën van kopieën een beetje vaag en slecht leesbaar worden. Het ontbreekt Microsoft aan een focus op haar zoektools die worden ontwikkeld en aangeboden door de verschillende business units. Het geld van Microsoft komt van upgrades van besturingssystemen en applicaties. Ik voorzie problemen voor Microsoft in de nabije toekomst."

Hartman: Wat kunnen we verwachten van initiatieven op het gebied van 'natural search' etc., die zich nu in de markt beginnen te begeven? Zijn zij echt concurrenten voor de top vijf?

Arnold: "Als we 'natural search' definiëren als het verwerken van natuurlijke taal, semantische methodieken en betekenisgerichte systemen, dan ziet de toekomst er zonnig uit. Maar ik denk niet dat zoeken zal veranderen. Wat zal veranderen is de manier waarop 'plumbing' (het indexeren, classificeren en taggen van content) werkt. Ik denk ook dat de gebruikersinterface zal veranderen. Het idee van een persoon als ik die een vraag typt in een zoekveld, komt op mij verkeerd over. Ik denk niet in termen van vragen. Ik denk in termen van pertinente informatie die ik verwerk om mijn kennis over een bepaald onderwerp te ontwikkelen. Als ik een antwoord wil, dan zoek ik dat op in het beste systeem. Ik wil niet geconfronteerd worden met de wachttijd ('latency') en de vaagheid ('fuzziness') die natureal language processing (NLP) introduceert. Het kan zijn dat NLP helemaal perfect is voor jou. Maar vooruitdenkend betekent deze geavanceerde vorm van contentverwerking meer opties en niet het typen van goed geformuleerde vragen."

Hartman: Wat kun je doen om je management/bestuur te overtuigen van het belang van Enterprise Search?

Arnold: "Search staat in laag aanzien, dus het is moeilijk om het management te overtuigen. Organisaties die wijzen op de vele miljoenen die zijn te besparen met een goede search bevinden zich op glad ijs. Onderzoek naar de roi (return on investment) bevatten namelijk geen indirecte kosten of gemaakte kosten die aan andere budgetten zijn toegekend, zoals de elektriciteit van de server. Niemand weet hoeveel de kosten bedragen voor grootschalige zoeksystemen. Deze kosten worden, en geloof me daarin, significant. Maar toch zie ik ze zelden of nooit vermeld in een kostenanalyse.

Het is verstandiger om een specifiek probleem aan te pakken, bijvoorbeeld het analyseren van e-mails van klantenservice aan klanten. Specifieke eisen ('requirements') kunnen specifieke pijnpunten behandelen. Met zo'n specifiek eisenpakket voor een bekend probleem wordt het vaak eenvoudiger om het management te overtuigen en budget te krijgen. Sommige leveranciers geven er de voorkeur aan om verschillende grote problemen samen te nemen. Zij beweren: "Ons systeem kan deze problemen allemaal adresseren. Koop onze licentie!" Deze één-oplossing-benadering is natuurlijk de droom van de verkoopafdeling, maar deze vorm van 'overselling' creëert enorme verwachtingen bij de klant en kost enorm veel om de belofte ook werkelijk waar te maken.

Voor mij gaat het om analyse, focus en pragmatisme. Ik wil niet meedoen met een inkoopteam dat naar Star Trek kijkt en denkt dat het nieuwe zoeksysteem werkt zoals die computer op het sterrenschip 'Enterprise'. Dit geeft niets dan hoofdpijn, budgetproblemen en enorme druk vanuit de omgeving die de oplossing van het probleem in de weg staan."

Hartman: Wat zijn de vijf tips voor iemand die wil beginnen met Enterprise Search, maar die verder geen idee heeft hoe dit aan te pakken?

Arnold: "Dat is een lastige vraag. Laat me je vertellen wat ik zelf nuttig vond toen ik een nieuw project startte voor een organisatie met de verkeerde ideeën over wat een informatiesysteem is.

Ten eerste, identificeer een specifiek probleem en voer een businessanalyse uit van het probleem. Dit is vrij lastig, want veel organisaties denken al precies te weten wat ze nodig hebben. Dat is helemaal niet zo. Probleemanalyse geeft een beter beeld van de vele opties die beschikbaar zijn en geeft een beter inzicht in de context van het probleem, waarbij het probleem ook nog eens van een geheel andere kant kan worden bekeken.

Zorg in de tweede plaats voor betrokkenheid van het management om het probleem op te lossen. Wij leven in een onzekere wereld. Als het management er niet achter staat, dan ben je gedoemd te mislukkken. Wanneer het project meer geld nodig heeft, zal het management dit niet beschikbaar stellen. Zonder investering stort elk zoeksysteem in onder zijn eigen gewicht. Ik doe aan geen enkel project mee waar het topmanagement niet actief bij betrokken is.

Maak vervolgens een strak eisenpakket. Stel specifieke requirements op en definieer meetcriteria. De leverancier moet aan deze requirements voldoen en je kunt zo zelf meten hoe ver of dichtbij de leverancier van de requirement staat. Maar weinig organisaties hebben de zoekrequirements goed op orde. Vaak concentreert men zich op 'nice to have'-functionaliteiten en besteedt men weinig of geen tijd aan de 'must haves' en zaken als wat het systeem moet doen met indexupdates, content throughput, administratieve functionaliteiten, etc. Ik kom ook wel eens tegen dat het begrip 'zoeken' niet eens is gedefinieerd. De een denkt aan een website doorzoekbaar maken, de ander denkt aan het vinden van content van de afdeling sales en marketing. Weer anderen zien zoeken als een manier om bedrijfskritieke kennis te verkrijgen van derde partijen. Er zijn altijd mensen die een zoekproject gebruiken om op nummer één van de Google-resultatenpagina te komen. Als je het dus onderling niet eens bent over wat zoeken is, hoe kun je dan een systeem kopen? Toch is dit aan de orde van de dag. Ik ken zelfs organisaties waarin de Google Search Appliance (GSA) nooit is uitgepakt of geïnstalleerd. Niemand nam de moeitje om uit te vinden wat het probleem was dat de GSA moest oplossen.

Regel in de vierde plaats de security. De meeste organisaties gaan er vanuit dat de ict-afdeling of die eenzame securitymedewerker hier wel rekening mee houdt. Niet dus. Als content wordt geïndexeerd ter ontsluiting is security onderdeel van het werk. Je moet weten wat wordt geïndexeerd, wie wel of niet van het bestaan van die informatie op de hoogte mag zijn of wie toegang mag hebben tot die informatie. Ook moet er worden nagedacht over de procedures voor het actueel houden van het securitysysteem. Ik ken een aantal organisaties die een systeem aanschaften en vervolgens alles dat op het netwerk te vinden was indexeerden. Vervolgens haastten ze zich om illegale software, vertrouwelijke documenten en andere ongepaste informatie te verwijderen. "Ik wist niet dat dit er ook bij zat", is geen excuus.

Zorg ten slotte voor een team. Als een enkel individu een zoeksysteem selecteert, dan komen de problemen vanzelf. Informatie-ontsluiting is te ingewikkeld en te belangrijk om in de handen van één persoon te leggen. Het team moet bestaan uit een groep van mensen met kennis over informatiegerichte problemen, die behept zijn met specifieke technische vaardigheden en die bij het project betrokken zijn. Een of twee consultants zijn een goede aanvulling op het team om gebrek aan kennis en ervaring te compenseren. Als het team verkeerd is samengesteld, dan gaat het al geheid fout in de toolselectie. Teamleden die het allemaal niet interesseert of die het project niet actief tot het eind bijstaan, brengen het hele inkoopproces en de ontwikkeling van de oplossing in gevaar.

Ik besprak deze zaken in de derde editie van het CMS Watch 'Enterprise Search Report', dat ik schreef in 2006, en in mijn nieuwe onderzoek 'Beyond Search'. Als je in meer detail wilt weten hoe je bepaalde problemen kunt voorkomen, dan raad ik je aan een van deze rapporten te lezen."

Hartman: Wat is nou een voorbeeld van een organisatie die goed bezig is met Enterprise Search? En waarom zijn zij goed bezig?

Arnold: "De volgens mij beste Enterprise Search-case was de eerste FirstGov.gov index die wij maakten met de Inktomi engine in 2000 en 2001. Dit systeem was snel, redelijk te behappen en was zonder training te gebruiken. De verklaring voor deze succesvolle implementatie is eenvoudig. We moeSten de inhoud van 38.000 servers van de Amerikaanse overheid doorzoekbaar maken voor ambtenaren en burgers. We wisten dat we een licht en eenvoudig te gebruiken systeem moesten neerzetten. Verder hadden we beperkte tijd en weinig geld. Met elke daaropvolgende iteratie werd het systeem groter, zwaarder en complexer. Als je vandaag de dag tweehonderd afbeeldingen wilt bekijken die op de servers staan, dan lukt dat niet. Er zijn beperkingen. Als je informatie wilt vinden over het nucleaire plan van de overheid, dan kun je dat niet vinden. En ik weet niet waarom. Deze FirstGov.gov-case toont aan hoe je een goed systeem moet maken. Het geeft ook aan hoe je een systeem moet maken dat in sommige gevallen minder intuïtief en bruikbaar is voor iemand als ik."

Hartman: Ik zal nooit je tutorial vergeten over 'Googzilla' die je in Denemarken in 2006 hield. Ga je ons ook zo verrassen op de 'Meet the CM Guru-sessie' op 17 september?

Arnold: "Ik ga het hebben over twee innovaties die een enorme impact kunnen gaan hebben op de enterprise-producten en -diensten van Google. Ik wil ook diep ingaan op Google's gebruik van computerintelligentie, vooral hun benadering van 'janitors' (= conciërges). Dit is software die ambiguïteiten opruimt over een hele reeks applicaties heen. Voor een klant heb ik zojuist een onderzoek afgerond naar dit aspect van Google's architectuur en die informatie heb ik nog niet gepubliceerd. Dus de meeste informatie die ik presenteer zal volledig nieuw zijn voor mijn bezoekers.

Ik wil ook ingaan op de zogenaamde 'dataspaces'. Voor IDC en Sue Feldman schreef ik een analyse van Google's investeringen in datamanagement. Dit rapport wordt gepubliceerd vlak voordat ik naar Nederland vertrek medio september. Ik denk dat mijn afbeeldingen, die niet in dit rapport voorkomen, duidelijk zullen maken dat Google op dit moment al in staat is om de uitdaging aan te gaan met databasereuzen als IBM, Microsoft en Oracle als het gaat om dataverwerking op petaschaal."

Hartman: Waar ga je het over hebben tijdens je keynotepresentatie op het Hartman Event?

Arnold: "Zoals je weet, wil ik het hebben over drie ideeën, die ik elk lardeer met voorbeelden. Het eerste idee is dat zoeken en toegang tot informatie een nieuw fenomeen is. Dat is het namelijk niet. Wij gebruiken oudere technologie omdat wij kunnen beschikken over goedkope computertijd en opslag. De nieuwe technieken zijn daarom niet zo nieuw. Dit is een belangrijke constatering die ook verklaart waarom zo veel systemen op elkaar lijken.

Ten tweede wil ik praten over de ongezonde spanning die tussen Google en Microsoft bestaat. Veel mensen zien concurrentie als iets goeds, maar volgens mij zetten we te snel muurtjes om ons heen. De grote verliezers zijn gebruikers als jij en ik. Ik wil uitleggen waarom de weg die technologie op dit moment gaat, leidt tot nog meer kosten en complexiteit. En volgens mij zitten we op geen van beide te wachten.

Ten slotte wil ik praten over 'dataspaces' en deze technologie in verband brengen met wat volgens mij het belangrijkse probleem is in veel organisaties. Mensen kunnen informatie vinden, maar de meeste gebruikers hebben geen idee hoe zij bepalen of een document of 'antwoord' ook juist is. Als wij niet kunnen vaststellen waar informatie vandaan komt, dan is het moeilijk om te bepalen of de informatie kan worden beschouwd als accuraat en daarmee geaccepteerd. Databases bieden hier geen antwoord, maar Google werkt hard aan dit probleem."