BLOG – ‘Kafka is dood’ is een uitspraak die de ronde doet. Critici wijzen op een gebrek aan innovatie. Maar Kafka blijft een essentiële rol spelen, vooral als onderdeel van grotere platforms en cloudoplossingen. Meer, deze technologie is nog steeds onmisbaar in moderne IT-architecturen.
Apache Kafka is een opensourceplatform dat in 2011 werd ontwikkeld door LinkedIn en beschikbaar is gesteld via de Apache Software Foundation. Zie Kafka als een groot en snel postkantoor. Berichten worden verzameld, gesorteerd en klaargelegd voor systemen die deze data gebruiken. Kafka is in de kern een krachtig, maar eenvoudig product. Het transporteert data snel en betrouwbaar, maar heeft geen kennis van de inhoud en biedt standaard weinig beheermogelijkheden. Dankzij zijn eenvoud, snelheid en robuustheid is Kafka uitgegroeid tot een wereldwijde standaard voor realtime-dataverwerking.
Nauwelijks vernieuwd
Een veelgehoord argument tegen Kafka is dat het sinds 2015 nauwelijks meer vernieuwd is. De basisfunctionaliteit van Kafka is robuust en betrouwbaar. Waar Kafka in zijn basisvorm bepaalde functionaliteiten mist, wordt het vaak geïntegreerd in grotere platforms die deze tekortkomingen aanvullen. Denk aan beheerinterfaces, adapters voor integraties, berichtvalidatie en beveiligingsfuncties. Deze worden vaak aangeboden door platforms zoals Confluent of Axual, maar ook grote cloudproviders zoals Oracle, Microsoft en AWS hebben hun eigen schil gebouwd om producten die Kafka onder de motorkap hebben of erop zijn geïnspireerd.
Kafka is ideaal voor toepassingen waarbij realtime gegevensverwerking essentieel is
Grote cloudproviders zoals Azure Event Hub, AWS Managed Streaming for Apache Kafka (MSK) en Google Cloud Managed Service for Apache Kafka ondersteunen Kafka-api’s en bouwen voort op de principes die Kafka heeft geïntroduceerd. Door deze geïntegreerde oplossingen kun je de kracht van Kafka benutten zonder de complexiteit van zelfbeheer. Door Kafka te gebruiken als onderdeel van een uitgebreider platform of een cloudgebaseerde dienst, profiteren organisaties van de krachtige eventstreaming-mogelijkheden van Kafka, aangevuld met extra tools die beheer en de integratie vereenvoudigen. Je hoeft niet zelf alle ontbrekende onderdelen te ontwikkelen of integreren. Deze platforms bieden een compleet pakket dat direct geschikt is voor enterprise-gebruik. Bovendien zorgen deze platforms ervoor dat je kunt voldoen aan strenge eisen rondom beveiliging en compliance.
Datarijk
Een voorbeeld van de kracht van Kafka in combinatie met cloudoplossingen is het gebruik van Kafka-achtige diensten in complexe, datarijke omgevingen. Kafka is ideaal voor toepassingen waarbij realtime-gegevensverwerking essentieel is, zoals in internet of things, realtime financiële data en logistieke processen. Dit type oplossingen wordt vooral ingezet door grote organisaties met hoge datavolumes en complexe integraties.
Een illustratief voorbeeld is het om realtime data van wind- en zonneparken uniform te delen met de systemen voor besturing en energiehandel. Kafka biedt eenvoud, flexibiliteit en kan enorme hoeveelheden data verwerken met een lage latency. Deze aanpak voorkomt complexe, losse koppelingen tussen allerlei applicaties en biedt een schaalbare oplossing met eenvoud, flexibiliteit en hoge performance in complexe it-landschappen.
Waarheid
Heeft de stelling dat Kafka dood zou zijn een kern van waarheid? Absoluut niet. Kafka’s principes en api’s zijn diep verweven in de architectuur van moderne event-driven systemen. Zelfs als organisaties niet de originele Kafka-software gebruiken, werken ze vaak met tools en diensten die zijn geïnspireerd op of compatibel zijn met Kafka.
Het gaat er niet om dat Kafka alles zelf moet bieden, maar dat het een fundament vormt waarop veel andere oplossingen zijn gebouwd. Kafka vormt nog steeds het hart van veel moderne data-architecturen. Door het te integreren in platforms en gebruik te maken van cloudgebaseerde diensten met Kafka-compatibiliteit, kunnen organisaties de beperkingen van het basisproduct overstijgen. Dit resulteert in complete, beheerde oplossingen die eenvoudig te implementeren zijn.
Kafka is niet dood. Het zit meer verstopt in verpakte diensten van cloudproviders. Het blijft een essentiële technologie met een blijvende impact op de manier waarop we met data omgaan. Juist daarom is het relevanter dan ooit.
Patrick Stevens is cto bij Amis Conclusion
Maarten Smeets is softwarearchitect bij Amis Conclusion
