Het is begonnen met SaaS, gevolgd door cloud en social media en grootschalig wetenschappelijke (gezondheid en ruimtevaart vooral) onderzoeken. Big data is geboren, big data neemt een enorme vlucht, big data is een evolutie in de geschiedenis…
Zowel de huidige telecomconsumenten als de ict-ontwikkelingsmarkten gaan straks net iets anders functioneren dan wat wij gewend zijn. De klassieke manier van applicaties bouwen, data beheren en opslag worden geschiedenis. Alles wordt snel, eenvoudig, voor iedereen bereikbaar en visueel. Alles draait om van tevoren te weten wat straks aan consumenten geboden wordt.
Het motto: Business In Future
Hardwareproducenten willen kleinere, zeer snelle dataopslag en processors maken met nog minder investering voor de consumenten. Dat komt doordat elk jaar data die opgeslagen is 40 procent groeit. Wat zal dat dan straks voor mkb’ers en grotere bedrijven betekenen? Of voor bedrijven die direct te maken hebben met partijen zoals Bol.com, Wehkamp, luchtvaartmaatschappijen, telecombedrijven, et cetera?
Wij zullen ons moeten voorbereiden op deze aankomende innovatie, ons bewust zijn van wat voor soort bedrijfsdata wij thuis hebben en wat die data doet voor de visie en strategie van het bedrijf en wat dit betekent binnen gewenste investeringsgrenzen. Aan de ene kant willen wij meer en meer kwalitatief goede data uit de enterprise gegevens halen, aan de andere kant wil men maatregelen nemen voor de razendsnel groeiende dataopslag.
Iedereen heeft het er tegenwoordig over dat big data een hype wordt, maar men weet weinig over big data. In enkele woorden is big data alles wat gedigitaliseerd is. Dat kunnen bijvoorbeeld simpele supermarktboodschappen zijn, opnamen met de securitycam, de sales lead die via bedrijfswebpagina gegenereerd is of gegevens uit social media. Maar waarom is het ‘big’?
Dit is omdat ongestructureerde data wordt gekoppeld aan gestructuurde data. Dataopslag groeit per jaar meer dan 40 procent op dit moment. Dat betekent dat beheren van die data of processing van die data ook duurder wordt. Ook zijn grote data sets qua volume te groot om binnen traditionele datastorage met processors te behandelen. Met de nieuwe big data-technieken zijn massadata in stukjes geknipt en geclusterd, zodat de dataprocessnelheid is verbeterd en data-analytics als geheel is geïmplementeerd.
Een traditioneel enterprise datawarehouse zal als big data-oplossing 2,5 keer meer datastoragekosten met zich mee brengen. Real time analysis kan bereikt worden, zodat enterprises ook realtime acties kunnen ondernemen. Hun klanten kunnen ook profiteren van predictive analytics. Als er bijvoorbeeld een storm verwacht wordt, beïnvloedt dat de datakwaliteit in datatransmissie bij betalingen. Dat is van belang voor banken. Daarnaast krijgen bedrijven meer inzicht in hun business en willen ze de datasilo tussen de businessafdelingen afbreken. Zodoende krijgt het C-level management breder inzicht in de zaken, terwijl businessafdelingen nog betrouwbaardere gegevens ontvangen. Zodoende wordt nog meer Ddata breder gevisualiseerd.
Wat zal dat straks voor bedrijven betekenen? Het management moet inzicht krijgen in datatransparantie, moet data kunnen relateren, moet data veilig kunnen stellen voor binnen en buiten de enterprise. Het allerbelangrijkste is om consumenten tijdig te informeren over het productieportfolio, dynamische prijsstelling en het verbeteren van de klantenservice.
Voor het grote publiek betekent dit bijvoorbeeld op maat aangemaakte medicijnen, extra veilig autorijden, etc., maar je moet wel blijven opletten dat je privégegevens en productvoorkeur niet op internet bekend is. Voor de technologie betekent dit dat de snelheid in wetenschappelijke analyses en onderzoeken enorm toeneemt. Project die voorheen in meerdere jaren gerealiseerd werden, kunnen nu binnen enkele dagen afgerond worden, zo ver is het technologie.
Om tot predictive analytics te komen, zijn er binnen big data analytics twee methoden samengevoegd. Om patronen te vinden heb je machine learning code en data mining. In machine learning code worden ‘bekende’ waarden en patronen in data gezocht. Deze worden wat vaker in wetenschappelijke onderzoeken gebruikt, zoals die van Cern. In data mining worden ‘onbekende’ waarden en patronen gezocht, proberen we nieuwe waarden te creëren uit onbekende of zoeken we oorzaken voor bekende events en patronen.
Business intelligence is een onderdeel van big data, maar bi is niet voldoende om grootschalig data te analyseren, definiëren of realtime analytics te kunnen doen. Ook kan je niet realtime acties ondernemen tot de einddeur bij de klant. Met predictive analytics van big data kunnen dit soort zaken wel gemeten en zichtbaar gemaakt worden.
De grootste handicap in big data is het gat tussen businessmanagers en ict. Duidelijke big data-strategieën moeten opgesteld worden, er moet geanalyseerd worden welke data in het bedrijf aanwezig zijn en moet de hoeveelheid van die data voldoende kwalitatief zijn voordat er met big data-projecten begonnen wordt.
Soms kan het zijn dat het businessdoel van het bedrijf niet in big data-mogelijkheden past. Dan zijn er concrete targets nodig vanuit de business. Die kunnen vanuit ict worden ingevuld met aanvullende requirements-analyses.
Meer over dit onderwerp is te lezen (in het Engels) op http://www.facetobusiness.com/bdt/images/arzubbigdatawhitepaper.pdf.
Arzu,
Om te beginnen BD is niet begonnen met SaaS! Dit verschijnsel bestaat al lang, zoals bij woningcorporaties. Probeer daar hun DWH overzichtelijk te maken.
Ik ben het met je eens dat het de grootste handicap in Big Data is dat er weinig uniform standards vast kunnen gelegd worden. Dit wordt de komende jaren met de komst van “The Internet Of Things” nog erger. In dit geval krijg je verschillende datastromen waar geen structuur, uniformiteit, coherentie en relatie tussen zitten.
BI zal in dit geval een grote uitdaging hebben. Wie kan van dit dataoerwoud geld maken? Uiteraard bedrijven zoals Google!
“big data is een evolutie in de geschiedenis.”
zou dat zelf verzonnen zijn of komt dat ook uit dat white paper ?
Kunnen we niet gewoon een groot artikel maken dat al die flauwekul in een keer meeneemt en dat we er dan vanaf zijn ?
De titel : Vervroegde outsourcing van big data in de cloud, tgv het verwachte tekort aan technici, geen oplossing voor kloof tussen business en ICT.
Ik heb al vaker geroepen, doe dit nu weer, even los van de criticasters die stellen dat big data ‘hype’is, het is een onbetrouwbaar fenomeen.
Je hebt namelijk geen onderbouwde toetsing die je kunt gebruiken om te zien of de door jou geextraheerde data wel correct is dus kun je niet anders dan ‘aannemen dat…’
Dat dat de nodige consequenties kan opleveren zie je nu al gebeuren getuige de vele publicatis in HR en recruitment land hoe belangrijk toch facebook, linkedin etc zou zijn in het sollicitatie proces.
We zien het ook weer terug in de vele pretentieuse publicaties waarbij men commercieel stelt zo verschrikkelijk succesvol te zijn en je ziet het redelijk vaak terug bij bepaalde teneurs in publicaties van alleen al computable.
Als er al enige betrouwbaarheid te extraheren is zou de methode wellicht die vermaledijde cookies kunnen zijn. Maar om die dan ook maar als ‘betrouwbaar’ om zeep te halen, ik donder die weg bij het afsluiten waardoor dergelijke data dus ook onbetrouwbaar mag worden geacht. Er zijn er namelijk genoeg die dat doen.
Het is weer zomer begrijp ik. Geen eigen originele kopij, met lle respect, beetje jammer.
Arzu, ik heb de whitepaper gelezen. Er staat inderdaad meer in dan waar je nu over schrijft. Het is op zich ook een degelijk stuk en een goed handvat als je begint met orienteren.
“maar bi is niet voldoende om grootschalig data te analyseren” – begrijp ik het goed dat dit vooral komt doordat traditionele BI tools gericht zijn op gestructureerde data zoals relationele databases? Je schrijft ook dat big data een extra staging area nodig heeft, maar ik denk dat dit niet inherent is aan big data.
Je schrijft dat het een grote vlucht gaat nemen en hoewel ik hier in de basis wel mee eens ben, denk ik dat de obstakels en risico’s voor kapitaal vernietiging aanwezig is. De kosten zijn hoog door gebrek aan standaard, gebruik van nieuwe techologie zal in veel gevallen niet opbrengen wat men ervan verwacht had. Je hebt algoritmes nodig. Die zelf ontwikkelen zijn (extreem) duur, licenties nemen op bestaande licenties een kostbare zaak omdat er weinig afnemers zijn. Data kun je niet zo maar kopen. Mensen denken wel eens dat Google je persoonlijke data verkoopt, maar dit is niet waar. Niet ieder bedrijf leent zich ervoor om nuttige big data te verzamelen. Analyse van ruwe data staat nog echt in kinderschoenen.
Maar zelfs Facebook die enorm veel van mij zou kunnen weten krijgt het niet voor elkaar om mij iets zinnigs te tonen waarop ik wil klikken en Google doet het echt niet veel beter. Natuurlijk als ik iets zoek weten ze mij zinvolle advertenties te tonen. Maar als ik een stukje schrijf over een bedrijf wordt ik nog weken achtervolgd met diens advertenties.
Dus ja “big data” is een grote belofte, ook is het niet zo zeer een hype maar gewoon fact. Maar met “big data” neemt een enorme vlucht is verkoop praat. Je probeert iets te verkopen. Dat is niet erg, maar zonder substantie krijgt het snel een slecht imago.
Niettemin is het een vertrekpunt en kijk ik uit naar je volgende artikelen en zal ik ze zeker lezen!
Arzu,
je hebt een gedetailleerd whitepaper geschreven wat naar mijn mening vooral een reclamestuk is.
Helaas geef je geen bronnen weer bij de ‘feiten’die je geeft, heel jammer omdat je dan geen achtergrondinfo kunt zoeken voor toetsing van je verhaal.
Daarnaast vraag ik me nog steeds af wat semi-structured data is wat je in je WP aanhaalt, het wordt meerdere keren genoemd, maar nergens staat wat het nu precies is.
Zoals Henri al aangaf, veel verkoop maar weinig substantie. Jammer, had meer verwacht.
Maar misschien dat het wel andere experts triggert een goed verhaal over
BIG DATA te gaan schrijven met INHOUD en bronvermelding!!
Henri,
Met de huidige BI tools en werkwijze kun je niet de big data van de toekomst oplossen. De big data zoals ik eerder in andere artikelen heb aangegeven zal ingehaald worden door nanodata! De ontwikkelingen zoals TIOT zullen hier veel effect op hebben.
Ik ben het met je eens dat het verwerken van BD/ND in de toekomst veel gaat kosten. Daarom heb ik in mijn reactie hierboven aangegeven dat bedrijven zoals Google hier zullen geld van kunnen maken en niet elke MKB.
BI zal de komende 5 jaar veel ontwikkelingen op het gebied van computing en software meemaken. Ondanks dit verwacht ik niet dat je als MKB met deze tools en ontwikkeling gebaseerd op verschillende datastromen, je bigdata of nanodata kan analyseren. Dit blijft de kracht van grote bedrijven zoals Google, IBM of HP.
Cordny,
Verwacht niet veel anders wordt je snel teleurgesteld!
Bij het lezen van dit artikel was het me snel duidelijk dat 90% van dit artikel een reclame was. Dat merk je ook aan korte interactie van Arzu met de lezers met weinig onderbouwing. Je kunt er rustig vanuit gaan dat achter dit artikel een reclame/PR bureau zit.
Ik geniet meer van de reacties op dit artikel dan de inhoud van het artikel zelf!
Hey Reza,
ik denk dat je naar dit artikel over nanodata refereert:
http://computerworld.nl/big-data/75507-big-data-wordt-ingehaald-door-nanodata
nanodata, is dat niet de heilige graal voor de marketingprofessionals??
Cordny,
Dit artikel heb ik een tijd geleden in de reactie van Maarten Oberman gezien.
Ja/Nee! Ik verwijs (indirect) naar de inhoud van dit artikel maar mijn reactie is gebaseerd op een bijeenkomst dat ik langgeleden over dit onderwerp (Nanodata) bijgewoond heb.
Leuk dat je deze informatie gevonden hebt en met anderen deelt. Ik denk dat dit interessant is voor Henri!
Nog even reagerend op de term “predictive analysis”. In het kader van Cloud Computing heb ik een onderzoek laten uitvoeren door een student van de UU over “Cloud Cost Forcasting”. Niet helemaal on-topic t.a.v. Big Data, maar het gaat me hier even over het voorspellen. Wat bleek uit het onderzoek is dat voor het voorspellen diverse algorithmen bekend zijn en voor ons doel er 2 geschikt waren:
– Extrapolation models
– Quantitative analogies
De eerste bouwt voort op gegevens die al bekend zijn, iets wat we vaak inituitief doen, extrapoleren. Probleem is echter dat bij complexe data de voorspellende waarde drastisch afneemt naarmate je verder vooruit kijkt (herkenbaar bij weersvoorspelling).
De tweede kijkt naar bekende data en probeert die te vergelijken met de huidige data en aan de hand van resultaten uit het verleden iets te zeggen over de toekomst. Ook herkenbaar uit de financiele wereld.
Al met al bleek het extreem moeilijk om uit beschikbare data iets te zeggen over de toekomst. Dan terug naar Big Data: het ter beschikking hebben van data is wel een voorwaarde voor predictive analysis, maar de betrouwbaarheid van welke voorspelling dan ook is erg laag.
Misschien dat Big Data-experts me kunnen overtuigen dat het beter kan, maar voorlopig zie ik niet meer dan mogelijkheden voor trend analyses die met veel slagen om de arm tot besluitvorming kunnen leiden.