Business intelligence bestaat al vijftig jaar

In vijftig jaar tijd zijn de vraag en het probleem weinig veranderd. Nog steeds is er een groeiende behoefte aan kwalitatief hoge en betrouwbare data, die ook nog eens op tijd bij de juiste gebruikers aankomt.

Helaas komt het nog al te vaak voor dat stuurinformatie ongericht de organisatie in wordt gestuurd. Daarnaast is het nog steeds zo dat het informatieaanbod overweldigend groot is in de top van een organisatie, terwijl voor de besturing van de processen nauwelijks data beschikbaar is. Hans Peter Luhn dacht dat in zijn tijd (eind jaren vijftig van de vorige eeuw) de realisatie van een business intelligence system dichtbij was, maar de ontwikkelingen zijn een eigen leven gaan leiden.

 

Bi in ontwikkeling

In navolging van Web 2.0 en DW 2.0 is er nu ook een BI 2.0. Deze nieuwe versie van business intelligence belooft de problemen op te lossen rond de complexiteit, beschikbaarheid en kosten van de huidige bi-tools. De belofte van BI 2.0 omvat ook laagdrempelige toegang, realtime inzicht, samenwerking, aansluiting en op maat gesneden informatie- en analysemogelijkheden.

Voor organisaties betekent dit dat gebruikers eenvoudige en persoonlijke tools ter beschikking krijgen, waarmee zij directe toegang hebben tot bruikbare data. Deze gebruikersgroep zal moeten worden uitgebreid, om ieder die verantwoordelijk is voor een deel van het proces ook de informatie te verschaffen die nodig is om dat deel van het proces te besturen. Operational bi, de rapportage en analyse op proces(stap)niveau, vormt hiervoor de basis. Dit betekent ook dat afscheid genomen moet worden van de huidige complexe en rigide datawarehouses. Het datawarehouse moet de rol van het geheugen van de organisatie vervullen en bi moet de gebruiker juist in staat stellen om overal en altijd toegang tot de data te hebben. Het moet mogelijk worden om zonder kennis van het systeem of datamodel toch de juiste informatie te vinden. Het mag zelfs niet uitmaken of het hier gaat om gestructureerde informatie uit databases of web services of om ongestructureerde informatie zoals e-mails of andere documenten.

 

Back to the future

In 1958 schreef Hans Peter Luhn het artikel ‘A Business Intelligence System’  in de IBM Journal. Dit was de eerste publicatie met de term business intelligence als concept. In dit artikel beschrijft hij de mogelijke opzet en werking van een dergelijk systeem. De samenvatting luidt als volgt:

An automated system is being developed to disseminate information to the various sections of any industrial, scientific or government or government organization. This intelligence system will utilize data-processing machines for auto-abstracting and auto-coding of documents and for creating interest profiles for each of the “action points” in an organization. Both incoming and internally generated documents are automatically abstracted, characterized by a word pattern, and sent automatically to appropriate action points. This paper shows the flexibility of such a system in identifying known information, in finding who needs to know it and in disseminating it efficiently either in abstract form or as a complete document.

In de visie van H.P. Luhn, vijftig jaar geleden, beschrijft hij niet alleen de doelstellingen en principes van de term business intelligence, maar geeft hij ook aan hoever de techniek op dat moment is gevorderd en welke verwachting hij heeft voor de realiseerbaarheid van een dergelijk systeem. Belemmerende factor was op dat moment het ontbreken van apparaten die geprinte tekst konden lezen. Hij voorzag dat de informatieverwerking waarschijnlijk verder moest worden geoptimaliseerd. Tenslotte geeft hij aan dat de systemen om tekst te interpreteren en coderen nog aan het begin van hun ontwikkeling stonden.

Hoewel de detaillering van het systeem en sommige technische uitgangspunten (getypte documenten, microfilm, magnetische tape, etcetera) niet meer van deze tijd zijn, is het wel interessant om te kijken in hoeverre zijn visie is gerealiseerd. Frappant genoeg gebruikt hij tot tweemaal toe de term information on demand, waaronder IBM nu haar visie rond informatie en data met alle bijbehorende producten en diensten heeft gebundeld. Daarnaast beschrijft hij ook een aantal principes en doelstellingen die nog steeds geldig zijn. De belangrijkste hiervan zijn de noodzaak om gerichte informatie tijdig bij de juiste personen in de organisatie te krijgen, zodat beslissingen genomen kunnen worden daar waar het meest effectief is.

 

Groei-informatie

In de tijd dat Luhn zijn artikel schreef, waren de communicatiemiddelen niet toereikend om aan de groeiende stroom en gebruik van informatie te voldoen. Daarbij schetst hij een beeld van een versnelling en groeiende reikwijdte van menselijke activiteiten. De belemmerende factoren waren de groei van organisaties en toename van specialisatie en verdeling. Inmiddels zijn de communicatiemiddelen beter toegerust op het nog steeds groeiende volume van informatie. Het gebruik ervan wordt nu echter ernstig belemmerd door het gebrek aan overzicht waarmee veel organisaties te kampen hebben.

Opvallend is het feit dat vijftig jaar geleden al werd gesignaleerd dat er een groeiende behoefte is aan directere beslissingen op een level of responsibility far below those customary in the past. Hiermee lijkt een directe vergelijking met operational bi te kunnen worden gemaakt. Luhn noemt daarbij de term action points: individuen, groepen of afdelingen met een bepaalde informatiebehoefte om specifieke taken uit te voeren. Deze hebben grote overeenkomsten met process control points zoals bekend binnen operational bi. Volgens Luhn moesten deze action points van tijdige en gerichte informatie worden voorzien. Voor dit laatste had hij ook een mechanisme bedacht, namelijk een profiel.

 

Profielen

Een van de huidige problemen in het gebruik van bi is de grote hoeveelheid informatie die beschikbaar is voor gebruikers. Luhn geeft aan dat een van de meest cruciale problemen in communicatie is om informatie te kanaliseren naar degenen die dit nodig hebben en moeten weten. De gebruikelijke manier bestond uit het breed verspreiden van de informatie, waardoor het risico op een overvloed aan informatie erg groot werd en dus ook de kans dat er helemaal geen informatie werd overgebracht. Zijn oplossing voor dit probleem was om per action point een profiel te genereren op basis van huidige behoeften of wensen, vergelijkbaar met wat nu role based bi heet. Dit profiel moet automatisch worden bijgewerkt aan de hand van het gebruik van het business intelligence systeem. Nieuwe informatie van belang voor een action point kan op basis van het profiel beschikbaar worden gesteld aan het betreffende action point. Dit moet nog wel worden voorzien van enige vorm van kennisgeving, alleen versturen is niet voldoende. Tenslotte moet het systeem overeenkomstige interesses en activiteiten ontdekken, zodat gedeelde onderwerpen en belangen direct kunnen worden besproken en ideeën uitgewisseld.

 

Toegankelijkheid

In het gebruik van het systeem, zoals voorzien door Luhn, mag geen trainingsvoorwaarde worden gesteld aan gebruikers. Wel voorzag hij dat bibliotheekmedewerkers moesten helpen in het stellen van de juiste zoekvragen. Tegenwoordige bi software biedt zoveel meer functionaliteit vooral rond de analysemogelijkheden, de vertaling van complexe modellen en de opmaak van rapportages en distributie. De meeste gebruikers kunnen er echter niet mee aan de slag zonder training. Wel is een trend gesignaleerd om de interface van bi-applicaties verregaand te vereenvoudigen. Samen met een betere schifting van relevante informatie werkt dit drempelverlagend.

 

Architectuur

Ondanks het gegeven dat niet alle componenten beschikbaar waren, heeft Luhn zijn ‘Business Intelligence System’ voorzien van een gedetailleerd ontwerp. Afgezien van het feit dat databases nog niet waren uitgevonden, lijkt het sterk op het ontwerp van een huidig BI systeem, namelijk een datawarehouse. De pre-editing area wordt in een datawarehouse staging area genoemd, maar heeft nog steeds dezelfde functie. De auto-encoding and auto-abstracting functionaliteit is sterk vergelijkbaar met ETL (Extraction, Transformation and Loading), ware het niet dat in 1958 nog uitgegaan werd van documenten. De program machine record storage vervult de functie van het datawarehouse. De datamarts of kubussen die binnen het datawarehouse specifieke informatie beschikbaar stellen voor een bepaald soort gebruik, zijn vergelijkbaar met de documenten uit de pattern storage van Luhn. De profiles en queries hebben niet direct een equivalent, hetzelfde geldt voor de comparison area en monitor. Vanuit de monitor en de output van het systeem zijn feedback loops ten behoeve van het zelflerend vermogen geschetst die in een datawarehouse niet voorkomen. Juist in deze componenten had Luhn de intelligentie van het systeem voorzien richting het gebruik ervan. De output zelf van het systeem is wel weer sterk vergelijkbaar met de user access van tegenwoordig. Deze is wel sterk uitgebreid ten opzichte van wat Luhn had voorzien en ook de onderliggende technologie (bijvoorbeeld portals) is aanzienlijk veranderd.

 

Overige functies

In de werking van het systeem had Luhn voorzien dat zoekvragen (inclusief de lijst met resultaten), bewaard zouden worden voor toekomstig hergebruik. Daarnaast moest het systeem zo ook herkennen dat gebruikers een bepaalde informatiebehoefte delen.

De basis van het systeem is het verwerken, analyseren en typeren van tekstdocumenten, vergelijkbaar met het huidige text mining, een vakgebied dat nu nog steeds in de kinderschoenen staat. De combinatie van gestructureerde en ongestructureerde data die hij schetst is, door de ontwikkelingen van de afgelopen decennia, moeilijk te realiseren binnen één systeem. De verwerking van gestructureerde data is geëvolueerd in data warehousing en ETL-technieken. De verwerking van ongestructureerde data is verder ontwikkeld in content management technieken.

 

Visie

In 50 jaar tijd zijn de vraag en het probleem weinig veranderd. Nog steeds is er een groeiende behoefte aan kwalitatief hoge en betrouwbare data, die ook nog eens op tijd bij de juiste gebruikers aankomt. Helaas komt het nog al te vaak voor dat stuurinformatie ongericht de organisatie in wordt gestuurd. Daarnaast is het nog steeds zo dat het informatie aanbod overweldigend groot is in de top van een organisatie, terwijl voor de besturing van de processen nauwelijks data beschikbaar is (zie ook tabel ‘Luhn versus nu’)). Luhn dacht dat in zijn tijd de realisatie van een Business Intelligence System dichtbij was, maar de ontwikkelingen zijn een eigen leven gaan leiden.

Op technisch gebied zijn grote stappen gemaakt, zoals de ontwikkeling van (relationele) databases voor de efficiënte opslag van gestructureerde informatie. Daarnaast is een grote verbetering gekomen in de verwerking en integratie van data uit verschillende bronnen. Met name datawarehousing heeft hier een grote rol in gespeeld. Voor de communicatie naar gebruikers zijn de mogelijkheden het sterkst toegenomen. Niet alleen kunnen gebruikers nu rapporten en andere presentatievormen inzien, maar ook zelf creëren en delen via het web. Daarnaast zijn ook verregaande analysemogelijkheden beschikbaar voor eindgebruikers.

 

Realisatie van Luhns visie

Om de visie van H.P. Luhn alsnog vorm te geven moet niet alleen de informatie beschikbaar komen voor sturing van het proces op alle niveaus, maar deze informatie moet ook nog op tijd en relevant zijn. Deze invulling van BI 2.0 stelt hoge eisen aan de techniek, de intelligentie die Luhn in zijn systeem heeft bedacht is nog niet gerealiseerd. Ook moet er een brug worden geslagen tussen gestructureerde en ongestructureerde informatie, om doorlopend een compleet beeld te hebben. De vraag naar deze invulling van bi zal echter moeten komen uit organisaties zelf, het gebruik van bi zal anders niet veranderen. Deze vraag zal ook sturend werken op de verdere evolutie van bi-producten.

Jan-Paul Fillié, IBM Global Business Services