Teradata (NYSE: TDC), leverancier van analytics-oplossingen, introduceert Kylo, een open source softwareplatform voor het beheren van data lakes. Dit is een belangrijke bijdrage aan de open source-gemeenschap, waardoor bedrijven op een veel efficiëntere manier data lakes kunnen creëren.
De oplossing is ontwikkeld op basis van de nieuwste open source-technologie, waaronder Apache Hadoop, Apache Spark en Apache NiFi. Kylo is een door Teradata gesponsord open source-project dat onder de Apache 2.0-licentie wordt aangeboden. Kylo is ontstaan uit code, ontleend aan succesvolle data lake-implementaties, geleid door Think Big Analytics. Dit Teradata-bedrijf zal ook diensten en ondersteuning voor Kylo gaan leveren.
Teradata heeft veel ervaring met het creëren van zakelijke waarde uit data lakes. Door de beschikbaarheid van Kylo, kunnen organisaties nu de meest voorkomende uitdagingen aan, waar zij tegenaan lopen bij hun data lake-implementaties. Een voorbeeld is dat het bouwen van data lakes te lang duurt. Tijdens de gemiddelde bouwcyclus van zes tot twaalf maanden ontdekken gebruikers bij snel evoluerende bedrijven vaak dat hun gebruiksscenario’s gaandeweg achterhaald en minder relevant raken. Ook kunnen de implementatiekosten al snel oplopen, ondanks de lagere kosten van de software. Tot slot, kan een data lake, als het eenmaal is gemaakt, soms niet genoeg gebruikers aantrekken, omdat zij het moeilijk vinden de data te verkennen. Zo wordt uiteindelijk weinig waarde gecreëerd.
Kylo is afgeleid en ontwikkeld op basis van data lake implementaties uit verschillende branches, en kan eenvoudig helpen bij het oplossen van deze problemen. Het is namelijk makkelijk te integreren en vereenvoudigt pipeline-ontwikkeling en gangbare data managementtaken. Dit resulteert in een snellere time-to-value, een grotere gebruikersacceptatie en hogere productiviteit van ontwikkelaars. Met Kylo is geen programmeerkennis nodig, en de intuïtieve gebruikersinterface voor self-service datacollectie en -voorbereiding versnelt het ontwikkelproces. Kylo maakt verder gebruik van herbruikbare templates om de productiviteit te verhogen.
“Veel organisaties vinden het implementeren van big data-oplossingen op de Hadoop-stack een ingewikkelde zaak. Big data technologieën zijn sterk gericht op software engineering, ontwikkelaars en systeembeheerders,” zegt Nik Rouda, senior analist bij de Enterprise Strategy Group (ESG). “Uit ons onderzoek blijkt dat 28 procent van de organisaties nog steeds moeite heeft om personeel te vinden met voldoende BI- en analytics-talent, en nog veel minder voor big data- en open source-oplossingen. Van de ondervraagden zegt 77 procent dat nieuwe big data-initiatieven tussen de zeven maanden en drie jaar duren voordat ze significante zakelijke waarde opleveren. Dit hoeft niet zo te zijn. Ik prijs Teradata voor het open sourcen van Kylo – een innovatieve en belangrijke bijdrage.”
Door de uitgebreide ervaring uit meer dan 150 data lake-projecten helpt Kylo organisaties om de meest voorkomende uitdagingen te adresseren die zij tegenkomen bij hun data lake-implementaties, zoals:
• Tekort aan ervaren software-engineers en -beheerders.
• Het leren en implementeren van best practices rond data lake governance.
• Data lake adopties verder brengen dan enkel bij ingenieurs.
Na het overwinnen van deze uitdagingen, kunnen nuttige zakelijke resultaten gerealiseerd worden. Teradata heeft al veel organisaties geholpen om met data lakes geld te besparen en er nieuwe inkomstenstromen uit te generen, waaronder:
• Een fabrikant van halfgeleiders verhoogde de kwalitatieve opbrengst van wafers; verminderde verspilling, bespaarde tijd, en voegde daarmee maar waarde toe aan de organisatie.
• Een fabrikant van industriële apparatuur realiseerde nieuwe service-modellen, service-level agreements, interventieprocessen en, met name, nieuwe inkomstenstromen.
• Een wereldberoemd ziekenhuis verminderde de voorbereidingstijden voor patiënten, waardoor artsen meer patiënten kunnen behandelen.
“Kylo is een spannend debuut voor open source data lake-beheer, en demonstreert perfect de visie van Teradata rondom big data, analytics en open source software,” zegt Oliver Ratzesberger, Executive Vice President en Chief Product Officer van Teradata. “Teradata heeft veel ervaring in het ontwikkelen van diverse open source-projecten, waaronder Presto en Covalent. We weten hoe commerciële en open source zouden moeten samenwerken. Daarom hebben we het beste van beide werelden bij elkaar gebracht, en introduceren we deze nieuwe benaderingen van open source software als onderdeel van onze customer-choice-strategie. Hiermee wordt het commerciële en open source landschap voor iedereen verbeterd.”
De visie van Teradata voor deze combinatie van commercieel en open source wordt erkend door klanten, die Teradata blijven gebruiken het potentieel ervan te ervaren.
“Bij Discover Financial Services willen we geavanceerde technologie gebruiken die ons helpt om producten snel op de markt te brengen, en daarnaast uitstekende klantenservice te leveren. Kylo biedt een uniek framework dat de potentie heeft om de ontwikkeling en de waarde van nieuwe databronnen te versnellen, gebruikmakend van Apache NiFi,” zegt Ka Tang, directeur Enterprise Data Architecture van Discover. “Kylo biedt de mogelijkheid om open source-innovaties te benutten, en is tegelijk een kans om iets terug te geven aan de open source gemeenschap.”
“Open source software is aantrekkelijk voor gebruikers die op zoek zijn naar onafhankelijkheid, coöperatief leren, experimenteren, en flexibiliteit bij aangepaste implementaties,” zegt Rick Farnell, voorzitter van Think Big, een Teradata bedrijf. “Deze bijdrage is bedoeld om bedrijven te helpen om een schaalbaar data lake-fundament te creëren, dat continu kan meegroeien met hun zakelijke doelstellingen op het gebied van technologie, data en analytics. We verwijderen de beperkingen om bepaalde data te gebruiken bij het oplossen van complexe zakelijke problemen, en moedigen analytics-gebruikers aan om een bijdrage te leveren aan de groeiende Kylo-gemeenschap. Onze primaire focus is om onze klanten te helpen zakelijke waarde te creëren met analytics, in plaats van met commodity-mogelijkheden. Kylo is, naast onze Teradata Everywhere-benadering van software en diensten, een geweldig voorbeeld van onze innovatieve strategie voor de toekomst.”
Ter illustratie: een groot telecombedrijf implementeerde onlangs Kylo, nadat een groot team van dertig data-ingenieurs eerst maanden bezig was geweest om handmatig data-ingestion pipelines te programmeren. Met behulp van Kylo was één enkel individu in staat om in minder dan een week dezelfde data te integreren, opschonen, profileren, en valideren. Kylo verbeterde niet alleen de efficiëntie van dataverwerking, maar de overige ingenieurs konden zich hierdoor concentreren op andere belangrijke zakelijke prioriteiten.
De Kylo-software, documentatie en tutorials zijn nu beschikbaar via de Kylo projectwebsite: www.kylo.io en de GitHub-website: https://github.com/Teradata/kylo.
Op verzoek levert Think Big aanvullende diensten, waaronder ondersteuning, implementatiediensten, training en managed services.
“Kylo biedt tooling voor Apache NiFi om gegevens sneller en gemakkelijker in uw data lake te krijgen,” zegt Scott Gnau, Chief Technology Officer van Hortonworks. “Hortonworks is verheugd om Kylo-certificering aan te kondigen voor Hortonworks DataFlow, en de uitbreiding van onze gezamenlijke ondersteuning voor NiFi.”
Teradata speelt een en leidende rol in het bestuur, rentmeesterschap en community-bouwen rond het Kylo open source-project.
