Onderzoekers van de Database Architecture-groep aan het Centrum Wiskunde & Informatica (CWI) in Amsterdam hebben een databasesysteem ontwikkeld dat snel een grote continue stroom data kan analyseren. De onderzoekers combineren een systeem voor streaming met een databasesysteem en benutten zo de voordelen van beide technologieën. Onderzoeker Erietta Liarou verdedigt dinsdag 22 januari 2013 haar proefschrift over deze nieuwe technologie aan de Universiteit van Amsterdam.
Gebieden zoals de financiële wereld, wetenschap en it genereren dagelijks vele terabytes aan data. Talloze toepassingen, zoals beurshandel, wetenschappelijk onderzoek en de online advertentiemarkt, zijn afhankelijk van analyses van deze grote datastromen. Het realtime verwerken van deze data in plaats van opslaan en later analyseren heeft grote voordelen. Beurshandelaren zouden dan bijvoorbeeld verschillende aandelen kunnen laten monitoren en een signaal krijgen als een bepaalde correlatie optreedt.
MonetDB en DataCell
Huidige databasesystemen zijn echter niet toegerust voor continue verwerking van data en streaming-systemen kunnen slecht omgaan met grote datahoeveelheden. Liarou en haar collega’s lossen dit op een innovatieve manier op door streaming-functionaliteit in te bouwen in MonetDB, het databasemanagementsysteem voor big data dat op het CWI ontwikkeld wordt. Het resulterende MonetDB/DataCell-systeem integreert opslag en analyse van data in hetzelfde systeem en kan een grote datastroom realtime analyseren. Bij grote hoeveelheden data presteert het beter dan commerciële systemen.
