Apakah siaran percikan?
Apakah siaran percikan?

Video: Apakah siaran percikan?

Video: Apakah siaran percikan?
Video: [LIVE MPI] Hidup Antara Harapan dan Ketetapan | Ahad, 27 November 2022 2024, November
Anonim

Siarkan pembolehubah dalam Apache Percikan api ialah mekanisme untuk berkongsi pembolehubah merentas pelaksana yang dimaksudkan untuk dibaca sahaja. Tanpa siaran pembolehubah pembolehubah ini akan dihantar kepada setiap pelaksana untuk setiap transformasi dan tindakan, dan ini boleh menyebabkan overhed rangkaian.

Begitu juga, orang bertanya, bilakah saya perlu menyiarkan percikan api?

Siarkan pembolehubah kebanyakannya digunakan apabila tugas merentasi berbilang peringkat memerlukan data yang sama atau apabila caching data dalam bentuk desiri diperlukan. Siarkan pembolehubah dicipta menggunakan pembolehubah v dengan memanggil SparkContext.

Juga, apakah akumulator dan pembolehubah siaran dalam percikan? Percikan api menyokong dua jenis perkongsian pembolehubah : pembolehubah siaran , yang boleh digunakan untuk cache nilai dalam memori pada semua nod, dan akumulator , yang mana pembolehubah yang hanya "ditambah" kepada, seperti pembilang dan jumlah.

Memandangkan ini, apakah akumulator percikan?

Akumulator adalah pembolehubah yang hanya "ditambah" melalui operasi bersekutu dan oleh itu, boleh disokong secara cekap secara selari. Ia boleh digunakan untuk melaksanakan pembilang (seperti dalam MapReduce) atau jumlah. Percikan api asli menyokong akumulator jenis angka, dan pengaturcara boleh menambah sokongan untuk jenis baharu.

Bagaimanakah cara saya mengemas kini pembolehubah siaran saya dalam percikan?

  1. Alihkan carian data rujukan ke dalam forEachPartition atau forEachRdd supaya ia terletak sepenuhnya pada pekerja.
  2. Mulakan semula Konteks Spark setiap kali refdata berubah, dengan Pembolehubah Siaran baharu.

Disyorkan: