Afgelopen maand verschenen er, vooral in de Amerikaanse pers, berichten over de verkoop van IBM Watson Health door IBM. IBM Watson Health zou niet meer passen in de bedrijfsstrategie. Maar er is meer aan de hand. IBM Watson is de afgelopen tien jaar niet het succes geworden waarop Big Blue had gehoopt. Wat kunnen we daarvan leren?
Veel artikelen over de overname van IBM Watson Health gaan over het falende beleid van IBM: slechte marketing, onduidelijke strategie, te veel verliesposten. Of was het concept te hoog gegrepen? Was de conservatieve gezondheidsmarkt er rijp voor? Maar de vraag blijft: waarom is IBM Watson gefaald als kennismanagementsysteem?
IBM Watson is een geavanceerd kennissysteem, ook wel ‘cognitive computing’ genoemd. Vooral de state-of-the-art-gebruik van ‘natural language processing’ (nlp) en zoektechnologie maakten IBM Watson geschikt voor clinical decision support (cds). Of een geavanceerde zoekmachine, zoals een collega het systeem noemde. Watson is in staat tekst te interpreteren binnen de context van een vakgebied. En het vakgebied wat IBM koos om te ontsluiten was hoog gegrepen: kankeronderzoek en -behandeling in de vorm van IBM Watson for Oncology. Watson werd gevoed door de actuele en relevante vakliteratuur op het gebied van oncologie. Maar ook met dossiers van kankerpatiënten. Om zo voor specifieke casussen de arts te adviseren over de best mogelijke behandelingen.
Op dit moment zijn er andere ai-gebaseerde producten die hetzelfde kunnen doen, maar IBM Watson blijft een mijlpaal in de geschiedenis van kunstmatige intelligentie, nlp en kennismanagement.
Quote
«De ai-technologie van Watson is niet het probleem […] het heeft simpelweg niet genoeg tijd of hoogwaardige gegevensinvoer gehad om de gepersonaliseerde gezondheidsmachine te worden die IBM heeft gepitcht.» (Lucas Mearian, Computerworld)
Gehypet
Waarom is dit technologisch geavanceerde systeem mislukt? Over deze vraag is de afgelopen jaren al veel geschreven. Voor mij is dan ook de vraag: wat kunnen we van deze mislukking leren? IBM Watson for Oncology werd behoorlijk gehypet. Als je daar doorheen prikte, kon je de potentie van Watson zien. Maar de omstandigheden waren niet ideaal vanuit het perspectief van IBM Watson for Oncology. De voornaamste problemen en lessen zijn in vijf punten samen te vatten.
- Kenniskloof
IBM Watson Health zou gebruikt worden door oncologen, experts in hun vakgebied. Deze gebruikers klaagden dat Watson weinig toegevoegde waarde had omdat de antwoorden die Watson gaf al bekend waren. Dit was op zich een geruststellende gedachte. Immers, het kennisniveau van onze medici is op orde. Maar als een systeem slechts in uitzonderlijke gevallen meerwaarde toevoegt, is de levensvatbaarheid van een dergelijk kennissysteem klein. Les: pas wanneer een kennissysteem significant meer ‘weet’ dan zijn gebruikers, wordt meerwaarde toegevoegd.
Maar dit fenomeen kan leiden tot een dilemma. Hieronder zal ik beschrijven dat foute of incomplete data kunnen leiden tot onjuiste adviezen. Maar hoe kan een gebruiker die weinig weet beoordelen of de adviezen juist zijn of niet? Een grote kenniskloof kan ook leiden tot het klakkeloos opvolgen van de computeradviezen.
- Culturele verschillen
Toen IBM Watson for Oncology in Nederlandse ziekenhuizen werd geprobeerd, klaagden de Nederlandse artsen over de nogal Amerikaanse inslag van de adviezen. Dat was ook niet verwonderlijk, omdat het gerenommeerde Amerikaanse kankerinstituut Sloan-Kettering mee had geholpen. De Nederlandse artsen vonden de adviezen van Watson niet verkeerd, maar alleen niet toepasbaar in de Nederlandse praktijk. Les: (de toepassing van) kennis is cultuurafhankelijk en kennis wordt pas toepasbaar wanneer het past in de (bedrijfs-)cultuur.
Bij IBM Watson for Oncology heb ik geen verhalen gelezen over artsen, die hun vakbekwaamheid in twijfel getrokken zagen. Maar bij andere projecten heb ik dat wel gezien: systemen die niet geaccepteerd werden omdat medewerkers zich erdoor bedreigd voelden.
- Uitvoerbaarheid
Vanwege bovenstaande bezwaren wilde IBM Watson aanbieden aan minder ontwikkelde landen. Daar is geavanceerde kennis over kanker niet aanwezig in ziekenhuizen. Artsen aldaar zouden Watson kunnen gebruiken om hun kennis over kankerbehandelingen aan te vullen. In India zijn hier successen mee behaald. Helaas bleek wel dat de aanbevolen behandelingen niet altijd uitvoerbaar waren. De hulpmiddelen die voor kankerbehandelingen in die landen beschikbaar zijn, waren onvoldoende om de voorgestelde behandelingen uit te voeren. Les: de aangeboden kennis moet wel praktisch uitvoerbaar zijn; suggesties die niet kunnen worden opgevolgd, zijn nutteloos.
- Data
IBM Watson Health wilde patiëntgegevens koppelen aan de medische literatuur, om zo de beste behandeling op te zoeken voor een specifieke casus. Maar helaas bleek het niet mogelijk voldoende complete patiëntendossiers samen te stellen in de ziekenhuizen. Documenten konden niet gedigitaliseerd worden (bijvoorbeeld door het spreekwoordelijke onleesbare doktershandschrift), dossiers waren niet compleet of actueel enzovoorts. En er waren privacy-problemen in vele landen. Les: zonder complete en actuele data kan een kennissysteem niet goed werken.
Maar een andere belangrijke les is dat verkeerde of incomplete data kunnen leiden tot verkeerde adviezen. Binnen de gezondheidszorg kunnen die fataal zijn, maar bij ieder kennismanagementsysteem kunnen verkeerde adviezen grote gevolgen hebben voor de organisatie.
- Geld en moeite
Niet alleen was het bijna onmogelijk om de patiëntengegevens compleet en actueel te houden, ook het bijhouden van de medische literatuur was een kostbare opgave. Er wordt zo veel gepubliceerd op het gebied van kanker, dat het een hele taak is om deze documenten te cureren. De documenten waren wel goed elektronisch leesbaar, maar de inhoud van de artikelen moest worden beoordeeld op geldigheid, toepasbaarheid en nuttigheid. Dat is gewoonweg veel kennisintensief werk. Les: realiseer je dat een kennissysteem opbouwen al duur is, maar het bijhouden ervan nog inspannender en kostbaarder kan zijn. Wil je de kwaliteit van de inhoud borgen, zal je actief de data moeten cureren.
Laten we niet vergeten dat IBM Watson Health een duur systeem is. Klanten moeten niet alleen veel betalen voor het systeem zelf, maar ook voor de in het systeem opgeslagen en gebruikte kennis. Wetenschappelijke kennis is niet gratis. Les: De kosten voor auteursrechten en gebruikslicenties van externe data (documenten, datasets, foto’s enz.) kunnen bij kennismanagementsysteem flink oplopen.
Quote
«Als systemen, die zijn ontworpen om gegevens te analyseren, niet voldoen aan de eisen van […] organisaties, dan is de kans dat ze worden geadopteerd minimaal, hoe geavanceerd of indrukwekkend ze ook zijn.» (Raphael Kahan, CTech)
Geen uitzondering
En zo blijkt een technologisch geavanceerd systeem als IBM Watson for Oncology toch te falen op die menselijke, culturele en organisatorische aspecten. Maar IBM Watson is niet het enige it-systeem dat hierop fout mee is ingegaan. IBM Watson for Oncology is wat dat betreft geen uitzonderling. Voor wie kennismanagement in zijn organisatie wil implementeren, raad ik aan de lessen uit het verleden ter harte te nemen.
Kennismanagement kan potentieel veel voordelen en meerwaarde bieden, maar het is kostbaar in opbouw en instandhouding. Laat je dus niet verblinden door de voordelen, maar zorg voor een goede businesscase. Een case die niet alleen financieel op orde is, maar ook rekening houdt met al die menselijke factoren die een systeem kunnen maken of breken: cultuur, werkwijzen, traditie en bovenal mensen.
Een woord zoals kennismanagementsysteem levert in Scrabble driemaal de woordwaarde op maar als ik Jack zijn reacties lees dan denk ik dat er vooral een beslissingsmodel bedoeld wordt om te schaken. Aangaande modellen, strategie en verkeerde uitkomsten klinkt het dan ook allemaal als de gebruikelijke hamer voor de spijkers op laag water. Uiteraard niet zonder het opportunisme want in de zorgmarkt verkoop je makkelijker hoop dan resultaat dus tel niet de doden als het om dure wetenschappelijke kennis gaat van een ‘denkschool’ met universitaire monopolies.