Apakah yang dikurangkan dengan kunci?
Apakah yang dikurangkan dengan kunci?

Video: Apakah yang dikurangkan dengan kunci?

Video: Apakah yang dikurangkan dengan kunci?
Video: Cara Mudah Pengurangan 9 2024, November
Anonim

Fungsi Spark RDD reduceByKey menggabungkan nilai untuk setiap satu kunci menggunakan asosiatif kurangkan fungsi. Ini bermakna secara intuitif, fungsi ini menghasilkan hasil yang sama apabila digunakan secara berulang pada set data RDD yang sama dengan berbilang partition tanpa mengira susunan elemen.

Kemudian, apakah perbezaan antara groupByKey dan reduceByKey?

groupByKey () hanyalah untuk mengumpulkan set data anda berdasarkan kunci. reduceByKey () ialah sesuatu seperti pengelompokan + pengagregatan. reduceByKey boleh digunakan apabila kita menjalankan set data yang besar. aggregateByKey() secara logiknya sama seperti reduceByKey () tetapi ia membolehkan anda mengembalikan hasil berbeza taip.

Juga Ketahui, mengapa mengurangkan tindakan dalam percikan? Spark mengurangkan operasi ialah sebuah tindakan jenis operasi dan ia mencetuskan pelaksanaan DAG penuh untuk semua arahan malas berbaris. Percikan api RDD kurangkan fungsi mengurangkan elemen RDD ini menggunakan pengendali binari komutatif dan bersekutu yang ditentukan. Spark mengurangkan operasi hampir sama seperti kurangkan kaedah dalam Scala.

Selain di atas, apakah itu Pairrdd?

Spark menyediakan operasi khas pada RDD yang mengandungi pasangan kunci/nilai. RDD ini dipanggil RDD berpasangan. RDD berpasangan ialah blok binaan yang berguna dalam banyak program, kerana ia mendedahkan operasi yang membolehkan anda bertindak pada setiap kunci secara selari atau mengumpulkan semula data merentas rangkaian. PairRDDs ialah pasangan KEY/VALUE.

Adakah reduceByKey suatu tindakan?

reduce() mengeluarkan koleksi yang tidak menambah pada graf asiklik terarah (DAG) supaya dilaksanakan sebagai tindakan . Walau bagaimanapun, reduceByKey () mengembalikan RDD yang merupakan satu lagi tahap/keadaan dalam DAG, oleh itu adalah satu transformasi.

Disyorkan: