Big data breekt door! Daar waar deze technologie voorheen met name gericht was op het verwerken van en zoeken binnen grote datavolumes, gaat big data tegenwoordig steeds meer over echt intelligente datasystemen. Zo helpt big data organisaties inmiddels op zes belangrijke punten: van het doorbeken van interne (politieke) muren tot het mogelijk maken van ‘the internet of things’. Ik beschrijf hier zes toepassingen waarin big data van onschatbare waarde blijkt.
Big data doorbreekt onzichtbare muren (en maakt een einde aan kantoorpolitiek).
Bedrijven worden vaak beschouwd als levende organismes. In de hoofden van veel managers doet deze metafoor het uitstekend, maar hij strookt helaas niet met de realiteit van het bedrijfsleven. Wat voor ondernemingen echt het verschil maakt, zijn niet de gebundelde krachten, die samen toewerken naar een gemeenschappelijk doel, maar de muren, zowel letterlijk als figuurlijk, binnen een bedrijf. Deze scheidingswanden remmen de ontwikkeling van een bedrijf enorm af.
Zo bestaan er onzichtbare wanden tussen afdelingen die elkaar de loef willen afsteken, tussen medewerkers die elkaar niet kunnen uitstaan, tussen het topmanagement en de rest van het personeel. Ook tussen bepaalde toepassingen die binnen een bedrijf worden gebruikt, bevinden zich vaak barrières, omdat deze applicaties slecht op elkaar zijn afgestemd. Het gevolg van deze interne tekortkomingen is dat de bestaande gegevens, informatie en kennis van een bedrijf versplinterd raken en dat wie hierin zoekt, het spoor bijster raakt. De bedrijfsinterne gegevens vormen nochtans vaak een verborgen schat.
De bedrijven die erin slagen deze schatkist open te maken en de kennis efficiënt te gebruiken, zullen de poleposition veroveren. Het moment is gekomen dat big data-technologieën almaar intensiever worden gebruikt om gegevens en informatie samen te brengen. De kennis die binnen een onderneming verspreid is, wordt zo toegankelijk, ongeacht de obstakels. Ze is van onschatbare waarde voor elke werknemer van het bedrijf, hoe hoog de interne bedrijfsmuren ook mogen zijn.
Verbanden leggen.
Een belangrijk sterk punt van big data is het vermogen om patronen en correlaties te ontdekken waar een menselijk oog slechts een chaotische berg gegevens ziet. Er zijn reeds honderden voorbeelden uit uiteenlopende sectoren zoals de bedrijfswereld, wetenschap, geneeskunde en sport. Analyses
kunnen tot in detail voorspellen hoe een griepepidemie zal verlopen. Ook gedragspatronen kunnen onder de loep worden genomen om bijvoorbeeld in te schatten of een klant met het idee speelt om een contract af te sluiten.
De mogelijkheid om deze verbanden te leggen doet enigszins denken aan de werking van de menselijke geest. Hoewel it wellicht nooit in de buurt van de menselijke intelligentie zal komen, worden vandaag reeds systemen gebruikt die mensen helpen om zaken op een slimmere manier aan te pakken. De ontwikkeling en het gebruik van deze intelligente assistentiesystemen zullen de komende maanden en jaren uitgebreid worden. Ze zullen individuen en bedrijven helpen om hun weg te vinden in een wereld die steeds complexer wordt en de concurrentiekracht van ondernemingen vergroten.
Informatieverwerking op maat.
Iedereen heeft zijn eigen specifieke manier om kennis te verwerven en te verwerken, en beschikbare informatie met elkaar in verband te brengen op een manier die voor alle betrokkenen het meest voordelig is. Een systeem dat een individuele benadering van informatie ondersteunt, moet eerst en vooral beschikken over een uitgebreide kennis over de gebruiker. Het moet op de hoogte zijn van de voorkeuren, achtergrond, ervaring en gedragspatronen in bepaalde situaties van het individu.
Steeds vaker worden enterprise search-oplossingen gebruikt om een bedrijfswebsite persoonlijk aan te passen voor gebruikers, bezoekers en werknemers. De mogelijkheden om een website toe te snijden op de behoeften en voorkeuren van de gebruiker zijn eindeloos: van het ontwerp van de gebruikersinterface tot de structuur van de inhoud en ontelbare dingen daartussenin. De big data-toepassing verzamelt en analyseert automatisch alle hiervoor vereiste informatie op basis van gebruikersgedrag. Hoe vaker een persoon het systeem gebruikt, hoe beter de weergegeven informatie zal afgestemd zijn op zijn specifieke noden.
Dit betekent bijvoorbeeld concreet dat alle werknemers van een bedrijf toegang hebben tot dezelfde kennisbank, maar dat ze deze op een heel andere manier zullen gebruiken. Dit leidt tot een stijging van de productiviteit en bovendien zullen de werknemers meer voldoening halen uit hun werk.
Zelflerende systemen.
Big data-systemen zoals enterprise search-oplossingen kunnen een belangrijke meerwaarde betekenen voor bedrijven om efficiënt grote hoeveelheden correspondentie te verwerken. Verzekeringsbedrijven bijvoorbeeld krijgen dagelijks een pak gegevens binnen, zowel gestructureerd als niet-gestructureerd, in de vorm van brieven en e-mails. Om het werk van de verzekeringsagent te verlichten kan enterprise search alle relevante informatie uit de binnenkomende post halen, zoals namen van personen, nummerplaten en het type schade. Op basis van deze informatie kunnen schaderapporten automatisch geclassificeerd worden, wat de verwerkingssnelheid verhoogt.
Als er fouten optreden bij deze sortering, kunnen deze handmatig gecorrigeerd worden. Daarna herkent het systeem de nieuwe classificatie en past deze voortaan ook toe. Vanuit dit perspectief kunnen enterprise search-oplossingen – onder menselijk toezicht – beschouwd worden als zelflerende toepassingen. Hoe langer ze gebruikt worden, hoe preciezer de resultaten zullen zijn.
De vloed aan gegevens bolwerken.
In de media duikt het ‘internet of things’ (IoT) de laatste tijd geregeld op. Het verwijst naar het netwerk van alledaagse voorwerpen die over ingebouwde interactieve elementen zoals sensoren beschikken en verbonden zijn met het internet. De gevolgen van deze allesomvattende connectiviteit zijn gemakkelijk te voorspellen.
De hoeveelheid data swingt de pan uit. Een enkel vliegtuig verzamelt ongeveer tien terabyte aan data in dertig minuten. Aangezien er wereldwijd zo’n 25.000 vluchten per dag zijn, loopt dit op tot een totaal van 250 petabyte. En dan hebben we het nog niet gehad over intelligente koelkasten, slimme sneeuwkanonnen en de eindeloze reeks andere toestellen die tot de internetfamilie toetreden. Tegen 2020 zullen naar schatting 25 biljoen voorwerpen verbonden zijn.
Een van de kerntaken van big data is, zoals de naam verraadt, om grote hoeveelheden gegevens te verwerken. Dit betekent dat binnenkomende informatiestromen permanent geanalyseerd en gefilterd worden op basis van criteria die door de gebruiker bepaald worden. Aan het einde van dit proces krijg je bruikbare informatie die in het ideale geval kan helpen om concrete antwoorden te formuleren op basis van een massa gegevens. De taak om deze gegevens te analyseren verschuift steeds meer naar het eindtoestel. Deze trend zal zich in 2015 doorzetten, zodat de sneeuwkanonnen van de toekomst gefilterde gegevens zullen kunnen bezorgen.
Datawetenschappers &enbig questions.
Wie de snelle ontwikkeling van big data van nabij volgt, is geneigd om te denken dat het niet lang zal duren voor deze revolutionaire technologie in vele sectoren mensen zal vervangen. Dit is inderdaad precies wat er zal gebeuren, vooral in gebieden die niet veel denkwerk vereisen zoals monotone administratieve taken die niet echt meerwaarde creëren. Dankzij big data kunnen mensen zich concentreren op belangrijkere zaken om de productiviteit te verhogen.
Bovendien is zelfs het beste big data-systeem waardeloos als het niet gepland, geïmplementeerd en gebruikt wordt door specialisten. Deze experts, de zogenaamde datawetenschappers, zijn een bont allegaartje van wiskundigen, statistici en computerwetenschappers. Verder moeten ze een goed begrip van business-processen hebben. Wie aan de vereisten voldoet, krijgt zo ongeveer elke big data-machine aan de praat als de juiste vragen worden gesteld. Bij big data horen natuurlijk big questions.
Er stelt zich voorlopig wel een probleem: datawetenschappers zijn eerder een zeldzame soort, vooral in Europa. In de VS is het tekort minder nijpend. Hopelijk kiezen steeds meer jonge talentvolle mensen voor een carrière in deze grensverleggende sector.
Daniel Fallmann, oprichter en directeur van Mindbreeze
Waar al die computable artikelen over gaan m.b.t. huidige IT :
– onschatbare waardes, hosanna toekomst
– kortere roi, sterkere concurrentie positie, slagvaardiger etc
– de variant in dit artikel : “Dit leidt tot een stijging van de productiviteit en bovendien zullen de werknemers meer voldoening halen uit hun werk.”
De realiteit :
– IT tarieven zwaar onder druk, elk jaar lager sinds 2009
– steeds hogere stress in automatiserings vakgebied, 45 plus en langer dan 2 jaar werkloos betekent voor velen het eindpunt. Niet iedereen is een “leven lang leren” gegeven.
– vacature eisen elk jaar hoger en steeds meer klachten dat men niet voldoet
De voorgestelde oplossingen :
– outsourcen naar specialistisch bedrijf (was duurder dan verwacht en kwaliteit viel tegen)
– outsourcen naar cloud (bleek vaak nog niet mogelijk voor bedrijfskritische en specialistische enterprise applicaties vanwege complexiteit, architectuur, juridische zaken, risico’s, historie, contracten)
– resourcen van extern en cloud, terug naar in-house on-prem want IT neemt steeds meer een centrale strategische plaats in … (Nou dat weer 😉
– zelf opleiden (das nou precies niet te bedoeling en ook nog eens vreselijk duur)
Vandaag een artikel waarin beweerd wordt dat Bigdata een eind maakt aan kantoorpolitiek, want we halen straks alle info uit hetzelfde datameer..
Whats next ?
Het vak datawetenschapper heeft weinig toekomst. Bij het M.I.T. laten ze een computer uitzoeken wat het beste algoritme is voor de data die hij krijgt voorgeschoteld. De statistieken rollen er vanzelf uit en je hoeft ze alleen nog te interpreteren. http://news.mit.edu/2015/automating-big-data-analysis-1016
In eerdere white papers heb ik dat onderwerp al eens behandeld.
De onbetrouwbaarheid van ‘Big Data
Hier moet een onderscheid worden gemaakt van data dat door zakelijk en feitelijk werd gegenereerd door organisaties zoals zakelijke statistieken en zakelijke cijfers en de ‘commerciële’ Big Data waar iedereen Hoi, Hoera en Hosanna over roept.
Ik zie zakelijke data niet zozeer als de ‘big data’ waar iedereen het graag over heeft. Immers, zakelijke data is bewezen data en niet zo generiek en nvoorspelbaar.
Big Data Hoax
Gewoon een eenvoudig voorbeeld van een IT professional zoals ik. Ik ken het internet van de kinderschoentjes en de 27K modem in huis via de telefoonlijn. Ik heb ook de mogelijkheden destijds een beetje voorspeld wat er zou gaan gebeuren als het internet uiteindelijk gewoon gemeengoed zou worden en de vooruitstrevende dingen die ermee konden worden gedaan.
Daarnaast heb ik ook vaak genoeg de negatieve kanten van het internet aangehaald. Van de eenvoudige hacker tot de criminaliteit op en met het internet, naamdiefstal, fraude, afpersing en hypen. Immers, soms is een type fraude of hoax, met enkele stappen herkenbaar maar steeds vaker zie je dat het geraffineerder word tot niveaus waarvan je van gewone gebruikers niet meer kunt verwachten het te herkennen, laat staan doorzien.
We weten nu ook dat Big Data, door die criminaliteit, door totale onherkenbare missrepresentatie en hypen voor meer dan 45% (schatting) vervuilde en/of onbetrouwbare data is. Dat heeft nogal zo zijn consequenties. U en ik weten namelijk niet welke data met wat is vervuild. Statistieken worden gemaakt/aangepast waar we bij staan en de methoden te komen tot werkelijke bruikbare betrouwbare big data? Kort en goed, die is er helemaal niet.
Natuurlijk zijn er genoeg mensen die dit laatste willen betwisten maar daar haal ik graag mijn schouders over op. Ieder zijn eigen mening/droom. Omdat ik persoonlijk geen deel wens uit te maken van die big data, voor vele redenen, saboteer ik die big data als het ware door steevast cookies te weigeren of cookies weg te gooien of zelfs, in sommige gevallen, alternatieve surfmethoden te gebruiken die helemaal geen data genereren.
Dus als ik alleen al naar eigen handelen kijk weet ik dat de data die ik al of niet zou genereren met die gedrag, heel discutabel en commercieel onbruikbaar is. Maar mensen die commercieel aan u en mij willen verdienen? Die blijven tegen beter weten in Hoera, Hosanna hypen omdat….. zij heel graag aan u en mij willen verdienen. En dat kan maar op één manier…. u en mij laten geloven dat Big Data Big Business is……
Uiteraard….