„Apache Kafka Tutorial“ pateikia pagrindines ir išplėstines „Apache Kafka“ koncepcijas. Ši pamoka skirta tiek pradedantiesiems, tiek profesionalams.
„Apache Kafka“ yra atvirojo kodo srauto apdorojimo programinės įrangos platforma, naudojama duomenų saugojimui realiuoju laiku. Jis veikia kaip tarpininkas tarp dviejų šalių, ty siuntėjo ir gavėjo. Jis gali apdoroti apie trilijonus duomenų įvykių per dieną.
Apache Kafka mokomoji kelionė apims visas koncepcijas nuo architektūros iki pagrindinių koncepcijų.
Kas yra Apache Kafka
„Apache Kafka“ yra programinės įrangos platforma, pagrįsta paskirstytu srautinio perdavimo procesu. Tai publikavimo ir prenumeratos pranešimų sistema, leidžianti keistis duomenimis tarp programų, serverių ir procesorių. Apache Kafka iš pradžių sukūrė LinkedIn , o vėliau ji buvo padovanota Apache Software Foundation. Šiuo metu jį prižiūri Susiliejantis pagal Apache Software Foundation. Apache Kafka išsprendė mieguistą duomenų perdavimo tarp siuntėjo ir gavėjo problemą.
t šlepetės
Kas yra pranešimų sistema
Pranešimų sistema yra paprastas apsikeitimas pranešimais tarp dviejų ar daugiau asmenų, įrenginių ir tt. Publikacijos-prenumeratos pranešimų sistema leidžia siuntėjui išsiųsti / parašyti pranešimą, o gavėjui - perskaityti pranešimą. Apache Kafka siuntėjas žinomas kaip a gamintojas kuris skelbia pranešimus, o gavėjas yra žinomas kaip a vartotojas kas vartoja tą žinutę užsiprenumeruodamas.
Kas yra srautinio perdavimo procesas
Srautinio perdavimo procesas – tai duomenų apdorojimas lygiagrečiai sujungtose sistemose. Šis procesas leidžia skirtingoms programoms apriboti lygiagretų duomenų vykdymą, kai vienas įrašas vykdomas nelaukiant ankstesnio įrašo išvesties. Todėl paskirstyta srautinio perdavimo platforma leidžia vartotojui supaprastinti srautinio perdavimo proceso ir lygiagretaus vykdymo užduotį. Todėl Kafkos srautinio perdavimo platforma turi šias pagrindines galimybes:
- Kai tik atsiranda įrašų srautai, jis juos apdoroja.
- Ji veikia panašiai kaip įmonės pranešimų siuntimo sistema, kurioje skelbiami ir prenumeruojami įrašų srautai.
- Jis saugo įrašų srautus gedimams atspariu ir patvariu būdu.
Norėdami išmokti ir suprasti Apache Kafka, kandidatai turėtų žinoti šias keturias pagrindines API:
Gamintojo API: Ši API leidžia / leidžia programai skelbti įrašų srautus vienoje ar daugiau temų. (aptarta vėlesniame skyriuje)
Vartotojo API: Ši API leidžia programai prenumeruoti vieną ar daugiau temų ir apdoroti joms sukurtų įrašų srautą.
Streams API: Ši API leidžia programai efektyviai transformuoti įvesties srautus į išvesties srautus. Tai leidžia programai veikti kaip srauto procesoriui, kuris naudoja vienos ar kelių temų įvesties srautą ir sukuria išvesties srautą vienai ar kelioms išvesties temoms.
Jungties API: Ši API vykdo daugkartinio naudojimo gamintojų ir vartotojų API su esamomis duomenų sistemomis arba programomis.
sujungimai ir sujungimų tipai
Kodėl Apache Kafka
Apache Kafka yra programinės įrangos platforma, kuriai būdingos šios priežastys, kurios geriausiai apibūdina Apache Kafka poreikį.
- „Apache Kafka“ gali apdoroti milijonus duomenų arba pranešimų per sekundę.
- Apache Kafka veikia kaip tarpininkas tarp šaltinio sistemos ir tikslinės sistemos. Taigi šaltinio sistemos (gamintojo) duomenys siunčiami į Apache Kafka, kur jis atsieja duomenis, o tikslinė sistema (vartotojas) sunaudoja Kafkos duomenis.
- „Apache Kafka“ pasižymi ypač dideliu našumu, t. y. turi labai mažą delsos vertę, mažesnę nei 10 ms, o tai įrodo, kad ji yra gerai išmananti programinė įranga.
- „Apache Kafka“ turi atsparią architektūrą, kuri išsprendė neįprastas dalijimosi duomenimis problemas.
- Tokios organizacijos kaip NETFLIX, UBER, Walmart ir kt. ir daugiau nei tūkstančiai tokių įmonių naudojasi Apache Kafka.
- Apache Kafka gali išlaikyti atsparumą gedimams. Gedimų tolerancija reiškia, kad kartais vartotojas sėkmingai perima gamintojo pateiktą žinią. Tačiau vartotojui nepavyksta apdoroti pranešimo dėl užpakalinės duomenų bazės gedimo arba vartotojo kode esančios klaidos. Esant tokiai situacijai, vartotojas negali vėl suvartoti pranešimo. Todėl „Apache Kafka“ išsprendė problemą iš naujo apdorodama duomenis.
- Kafkos mokymasis yra geras pajamų šaltinis. Taigi, norintys ateityje padidinti savo pajamas IT sektoriuje, gali mokytis.
Būtina sąlyga
Kandidatai turėtų turėti pagrindinių Java programavimo žinių ir šiek tiek žinių apie Linux komandas.
Publika
Ši „Apache Kafka“ kelionė skirta pradedantiesiems, kūrėjams ir žmonėms, norintiems išmokti naujų dalykų.
Problemos
Užtikriname, kad šiame „Apache Kafka“ vadove nerasite jokių problemų. Bet jei yra klaida, paskelbkite problemą kontaktinėje formoje.