Dasar-dasar Kafka - kursus 42.000 gosok. dari IBS Training Center, pelatihan 24 jam, Tanggal: 4 Desember 2023.

Topik yang dibahas:
1. Review (teori – 1 jam)
Apa itu Kafka.
Contoh keberhasilan dan kegagalan penggunaan Kafka.
Kafka dan database: persamaan dan perbedaan.
Kafka dan antrian pesan: persamaan dan perbedaan.
Arsitektur penyimpanan Kafka: Broker, Topik, Partisi, Segmen, Replika.
Arsitektur cluster Kafka: Zookeeper, partisi, node replikasi master dan slave, ISR.
Klien dan API.
2. Menyiapkan Cluster (latihan – 1 jam)
Latihan 2.1: Menjalankan cluster Kafka menggunakan Docker.
Memasang Penjaga Kebun Binatang.
Menginstal broker Kafka.
3. Pengembangan aplikasi di Java (teori – 2,5 jam, praktik – 2,5 jam)
API Produser Kafka: Dasar-dasar.
Latihan 3.1: Mengirim satu pesan.
Latihan 3.2: Mengirim banyak pesan.
Latihan 3.3: Mengirim banyak pesan dengan partisi eksplisit.
Latihan 3.4: Mengirim pesan tanpa kunci.
Kafka Consumer API: dasar-dasar, kelompok konsumen.
Latihan 3.5: Satu penerima.
Latihan 3.6: Beberapa penerima dalam satu kelompok.
Fitur tambahan: Paket, Pengulangan, Idempotensi, Transaksi, Penyeimbangan Kembali Grup Konsumen.

Latihan 3.7: Pengirim tanpa paket dan pengulangan.
Latihan 3.8: Pengirim Idempoten.
Latihan 3.9: Pengirim Transaksional.
Latihan 3.10: Mengirim dan Menerima dalam Suatu Transaksi.
Latihan 3.11: Menerima-memproses-mengirimkan suatu transaksi.
4. Akses eksternal ke cluster Kafka (teori – 2 jam, praktik – 2 jam)
Keamanan: SSL, SASL, Kerberos.
REST Proxy: mengirim dan menerima pesan dalam format JSON, biner, dan Avro.
Latihan 4.1: Akses melalui REST Proxy.
Registri Skema: registri skema.
Latihan 4.2: Menggunakan REST Proxy dengan Schema Registry.
5. Pemeliharaan dan pemantauan (teori – 1 jam, praktik – 1 jam)
Menyiapkan cluster untuk tujuan yang berbeda.
Zookeeper: konfigurasi, mode mandiri dan kuorum, CLI.
Latihan 5.1: Memantau Cluster Kafka dengan Prometheus.
6. Beberapa cluster (teori – 1 jam, praktek – 1 jam)
Mengapa Anda memerlukan banyak cluster di Kafka?
Akses Pembuat Cermin.
Latihan 6.1: Menggunakan MirrorMaker untuk Menyinkronkan Cluster.
Replikator Pertemuan.
7. Kafka Connect (teori – 2 jam, latihan – 2 jam)
Arsitektur Kafka Connect.
Data Kafka Connect tenggelam.
Latihan 7.1: Penerima File FileStream.
Latihan 7.2: Penerima JDBC.
Sumber data Kafka Connect.
Latihan 7.3: Sumber FileStream.
Latihan 7.4: Sumber JDBC.
8. Dasar-dasar Aliran Kafka (teori – 2 jam, latihan – 2 jam)
Kafka Streams: DSL, API, StreamBuilder, pembuatan dan implementasi topologi.
Demo 8.1: Menerapkan topologi Streams.
Demo 8.2: Membangun aplikasi Streams menggunakan StreamBuilder.
Perangkat Kafka Streams: multi-threading, banyak instance dan tugas.
Skema data di Kafka: serialisasi ke skema JSON, skema Avro, registri skema, evolusi skema.
Demo 8.3: Menggunakan Skema JSON.
Pemrosesan Stateful: Penyimpanan Negara, Toleransi Kesalahan untuk Penyimpanan Negara.
KTable: Aliran pembaruan data, caching, kecepatan pengambilan, agregasi.
Windows di aliran: cap waktu, mengambang, melompat, sesi.
Koneksi: streaming ke streaming, KTable ke KTable, streaming ke KTable.