Apache Kafka
Dataanalyse i realtid giver virksomheder en konkurrencefordel da det giver dybere indsigt, og dermed hurtigere responstider. En virksomhed, der med realtidsdata kan forudsige, hvilke varer de skal producere, lagre, markedsføre eller måske trække helt væk fra hylderne, opnår en klar konkurrencefordel. Kafka er et yderst stærkt dataudstillings- og transformeringsværktøj. Kafka udstiller data fra flere forskellige kilder i topics, andre som target. Systemer kan abonnere på source og target, der som udgangspunkt ikke har afhængigheder til hinanden.
Kafka er fra starten designet til et distribueret miljø med flere servere, og til optimal udnyttelse af den databehandlingskraft og lagerkapacitet som miljøet stiller til rådighed. Oprindeligt er Kafka designet til at spore besøgendes clickstream-data på store websites som Linkedin, Amazon og Ebay. Gennem analyse af clickstream-data, opnår man en dyb brugeradfærdsforståelse, som for hver session optimeres yderligere. Derved kan man forudsige interesser i forbindelse med produktefterspørgsel, og endda forudsige det bedste salgstidspunkt for et givet produkt – og meget nøjagtigt angive, hvilke kundeprofiler produktet kan være interesseret for. Kafka blev anvendt til analyse hos LinkedIn, af forbindelserne mellem deres millioner af brugere, under opbygning af LinkedIn netværket.
Data i realtid
På grund af Kafkas distribuerede karakter og den strømlinede måde, hvorpå indgående data håndteres, er Kafka i stand til at fungere meget hurtigt. Store klynger er i stand til at overvåge og reagere på millioner af ændringer til et datasæt hvert sekund. Dette åbner for muligheden at arbejde med, og reagere på data i realtid.
Kafka er netop designet til at være skalérbart. Det opnås blandt andet ved at topics kan opdeles i såkaldte partitions, så flere ressourcer kan processerer beskeder på det samme topic parallelt.
Spotify, Netflix m.fl.
Kafka er en integreret del af stakken hos Spotify, Netflix, Paypal og CloudFlare, som alle bruger den til at behandle og analysere streaming af data og til at forstå kunde- eller systemadfærd. En bestemt niche, hvor Kafka har vundet dominans, er rejsebranchen, hvor dens streamingkapacitet gør den ideel til at spore bookingoplysninger om millioner af fly, pakkerejser, biludlejning og hotelophold overalt i verden.
Et eksempel på hvordan Kafka virker:
Apache Kafka kan modtage information, fra et stort antal datakilder og organisere det i topics og kategorier. Et simpelt scenarie kunne være en transaktionslog, hvor en dagligvareforretning registrerer hvert salg. Kafka behandler informationsstrømmen og distribuerer den ud på relevante topics som eksempelvis ”antal solgte æbler” eller “antal salg i tidsintervaller” (f.eks. mellem 13:00 og 14:00). I dette eksempel er Kafka velegnet til en landsdækkende kæde af købmandsforretninger, der behandler tusinder af æblesalg, hvert minut.
Producer
En producer er en grænseflade mellem applikationer. Det er softwaren, der overvåger dagligvarebutikkernes strukturerede, men usorterede transaktionsdatabase og emnerne, altså Kafkas egen commit log til at bestilte segmenteret data, kendt som Kafka Emne log.
Denne datastrøm blive ofte anvendt til at udfylde eksempelvis Azure-datasøer eller til at fodre realtidsbehandlingspipelines som Spark eller Storm.
Consumer
En anden grænseflade – kendt som consumer – gør det muligt at læse data fra topics, og videregive dem til andre applikationer, der muligvis har brug for det. Et eksempel kan være en købmandsforretning, der har et system, som kontrollerer efter udtømt lager eller forældede varer.
Emner – eller topics – bliver opdelt i partitions, så flere consumers kan processere beskeder fra samme topic – parallelt. Dette giver blandt andet mulighed for, at løsningen kan skaleres.
Kafka – det centrale nervesystem
Når du sætter Kafkas komponenter sammen med de andre almindelige elementer i Big Data-analyser, fungerer Kafka ved at danne det “centrale nervesystem”, hvor dataene passerer gennem input- og capture-applikationer, databehandlingsmotorer og dataopbevaringssøer.
Du kan læse mere om Confluent her.
Hos Commentor har vi mange partnerskaber, som vi er meget stolte af. Sammen med vores samarbejdspartnere arbejder vi mod en fælles målsætning, om at udvikle nye løsninger. Læs mere om vores partnerskaber her
Alle partnerskaber
