Setting Apache Spark Cluster (bahasa)
Kali ini kita akan mencoba membuat apache spark cluster. Pastikan sebelumnya sudah menginstall hadoop dan spark standalone terlebih dahulu.
Jika belum, klik tautan ini untuk tutorial menginstall spark.
download dan install spark di dua server dalam satu jaringan, misalkan:
10.116.0.2 dengan hostname pd-master
10.116.0.3 dengan hostname pd-slave-01
pastikan keduanya dapat terhubung melalui ssh.
Jika belum dapat ssh, maka setting terlebih dahulu public key di masing-masing server (~/.ssh). Pastikan public key dirsa_id.pub ada di authorized_keys file baik master maupun slave.
Lalu pastikan juga di /etc/hosts sudah ditambahkan ip beserta host untuk master dan slave nya.
Jika sudah, sekarang tambahkan list hostname slaves di spark/conf/slaves
setelah itu jalankan /spark/sbin/start-all.sh di master dan slave.
Lalu open web ui spark master di <alamat_ip_spark_master>:8080.
Jika terdapat 2 workers, berarti sudah benar. Jika belum, cek kembali log saat running /spark/sbin/start-all.sh tadi. Case utama biasanya karena koneksinya belum terhubung antara slave dan master. jadi pastikan kamu sudah bisa ssh baik ke master maupun ke slave.
