Kerangka kerja Apache Spark untuk pengembang: tingkat lanjutan - kursus 41.500 gosok. dari IBS Training Center, pelatihan 24 jam, Tanggal 26 November 2023.

Miscellanea / by admin / December 05, 2023

click fraud protection

Pelatihan ini memberikan pemahaman mendetail tentang struktur internal dan fungsi kerangka kerja Apache Spark - baik Spark Core (RDD), Spark SQL, Spark Streaming, dan Spark Structured Streaming. Mekanisme untuk meluncurkan komponen cluster Spark di bawah kendali manajer cluster yang berbeda, mengelola alokasi sumber daya (terutama memori), dan mekanisme kerja penjadwal dipertimbangkan. Keuntungan format representasi internal Tungsten dan pengoperasian pengoptimal Catalyst dieksplorasi secara rinci.

Topik yang dibahas:
Arsitektur Internal Spark, Lingkungan Runtime Spark
Menyiapkan Konteks Spark, SparkConf
RDD Internal, Tata Letak Logis
Praktik Terbaik untuk Pemrograman dengan RDD
Rencana fisik: pekerjaan, tahapan, tugas
Perencana dan Eksekusi Rencana Fisik
Penyetelan memori, serialisasi, caching, pengumpulan sampah
API Sumber Data, representasi data internal Tungsten, format file
Pengoptimal Katalis
Microbatch Spark Streaming: menerima dan mengeluarkan data
Streaming Terstruktur: menerima dan mendistribusikan data

instagram viewer

Tags cloud

Miscellanea

penilaian

dilihat

Komentar