Apa itu Emrfs?
Apa itu Emrfs?

Video: Apa itu Emrfs?

Video: Apa itu Emrfs?
Video: Что такое Amazon EMR и как его использовать для обработки данных? 2024, November
Anonim

Sistem Fail EMR ( EMRFS ) ialah pelaksanaan HDFS yang digunakan oleh semua kluster Amazon EMR untuk membaca dan menulis fail biasa daripada Amazon EMR terus ke Amazon S3. Penyulitan data membolehkan anda menyulitkan objek yang EMRFS menulis kepada Amazon S3, dan membolehkan EMRFS untuk bekerja dengan objek yang disulitkan dalam Amazon S3.

Mengenai ini, apakah pandangan konsisten Emrfs?

The Pandangan konsisten EMRFS mencipta dan menggunakan metadata dalam jadual Amazon DynamoDB untuk mengekalkan a pandangan yang konsisten objek S3 anda. Jadual ini menjejaki operasi tertentu tetapi tidak menyimpan sebarang data anda.

apakah perbezaan antara s3 dan s3a? Ini adalah perbezaan antara tiga: s3 ialah tindanan berasaskan blok di atas Amazon S3 , manakala s3n/ s3a bukan. Ini adalah berasaskan objek. s3n menyokong objek sehingga 5GB apabila saiz menjadi perhatian, manakala s3a menyokong objek sehingga 5TB dan mempunyai prestasi yang lebih tinggi.

Sehubungan itu, adakah EMR menggunakan HDFS?

EMR Sistem Fail (EMRFS) Anda boleh digunakan sama ada HDFS atau Amazon S3 sebagai sistem fail dalam kelompok anda. Selalunya, Amazon S3 ialah digunakan untuk menyimpan data input dan output dan hasil perantaraan disimpan dalam HDFS.

Apakah s3a?

S3A (skim URI: s3a ) Pengganti kepada S3 Asli, s3n fs, the S3a : sistem menggunakan perpustakaan Amazon untuk berinteraksi S3 . Ini membenarkan S3a untuk menyokong fail yang lebih besar (tiada lebih had 5GB), operasi prestasi yang lebih tinggi dan banyak lagi.

Disyorkan: