Isi kandungan:

Bagaimanakah saya menjadualkan kerja sarang di oozie?
Bagaimanakah saya menjadualkan kerja sarang di oozie?

Video: Bagaimanakah saya menjadualkan kerja sarang di oozie?

Video: Bagaimanakah saya menjadualkan kerja sarang di oozie?
Video: Saya Membidik Objek Sehari-Hari Secara Close-Up (Uji zoom 1000 kali) 2024, Mungkin
Anonim

Kepada jadualkan kerja Hive menggunakan Oozie , anda perlu menulis a sarang -tindakan.

hql) di dalamnya.

  1. Buat direktori dalam HDFS dengan menembak arahan di bawah.
  2. hadoop fs -mkdir -p /user/ oozie /aliran kerja/
  3. Letakkan aliran kerja. xml, sarang skrip (create_table. hql) dan sarang -tapak. xml dalam direktori yang dibuat dalam langkah 2. Anda boleh menggunakan arahan di bawah.

Jadi, bagaimana cara saya menjalankan skrip Hive dalam oozie?

Jalankan Hive Jobs dengan Oozie

  1. Nyatakan tapak sarang. xml dalam parameter job-xml.
  2. Tentukan nama skrip (contohnya, skrip. q) yang mengandungi pertanyaan sarang dalam parameter skrip.
  3. Secara pilihan, tambahkan sifat yang digunakan oleh kerja pelancar Oozie. Tambahkan awalan oozie. pelancar kepada nama hartanah.

Tambahan pula, bagaimana saya menjalankan aliran kerja oozie? Menjalankan Aliran Kerja Oozie Dari Baris Perintah

  1. Log masuk ke Konsol Web.
  2. Salin contoh oozie ke direktori rumah anda dalam konsol web: cp /usr/hdp/current/oozie-client/doc/oozie-examples. tar. gz.
  3. Ekstrak fail daripada tar tar -zxvf oozie-examples.tar.gz.
  4. Salin direktori contoh ke contoh HDFS hadoop fs -copyFromLocal.

Dalam hal ini, bagaimanakah saya menjadualkan kerja Hadoop?

Bagaimana untuk jadual kerja dalam hadoop - Quora. Cara paling mudah ialah membungkus kod anda dalam skrip shell dan jadual ia sebagai cron pekerjaan pada nod tepi (nod tempat anda biasanya menyerahkan pekerjaan ). Tetapi biasanya membungkus kod dalam skrip dan menjalankannya sebagai a pekerjaan sukar untuk nyahpepijat. menguji dan mengekalkan.

Apakah aliran kerja oozie?

Oozie ialah aliran kerja sistem penjadual untuk mengurus kerja Apache Hadoop. Aliran Kerja Oozie pekerjaan ialah Graf Akiklik Terarah (DAG) tindakan. Oozie Pekerjaan penyelaras adalah berulang Aliran Kerja Oozie pekerjaan yang dicetuskan oleh masa (frekuensi) dan ketersediaan data. Oozie ialah sistem berskala, boleh dipercayai dan boleh diperluaskan.

Disyorkan: