I’m gonna create simple IoT pipeline using blackberry pi 3 and GCP ecosystem.

I’m using simple light detection sensor to generate records, whether there’s a light captured or not. The signal then will recorded as json format and send to Google IoT core. …

This kerberos server is used for Hadoop cluster, so the configuration will use hadoop preferences.

This tutorial using Centos 7.x.

First, install the kerberos server, library, and workstation on kdc server.

yum -y install krb5-server krb5-libs krb5-workstation

After installation, edit configuration krb5.conf

vi nano /etc/krb5.conf

change the configuration based on…

We need at least 4 vm. 1 namenode and 3 datanodes.

In this tutorial I’m using Centos 7.0 and cloudera 5.x free edition.

first, create run.sh that contains command like this:

#!/bin/sh
echo "SELINUX=disabled" > /etc/selinux/config
echo "SELINUXTYPE=targeted" >> /etc/selinux/configchkconfig iptables off
service iptables stop
setenforce 0
yum update -y
yum install -y yum-utils
yum install -y…

To deploy pyspark model to Flask API, we need to create the pyspark model first. I’m using Spark model example from Spark github.

#create_model.py
from pyspark import SparkContext
from pyspark.mllib.regression import LabeledPoint, LinearRegressionWithSGD, LinearRegressionModel
sc = SparkContext(appName="PythonLinearRegressionWithSGDExample")
def parsePoint(line):
values = [float(x) for x in line.replace(',', ' ').split('…

Halo, kali ini saya akan bahas tentang instalasi Apache Spark.

Apache Spark dapat berjalan di file system sendiri dan juga hdfs (hadoop file system). Untuk dapat berjalan di hadoop, maka pastikan hadoop sudah terinstal terlebih dahulu. kamu bisa membacanya disini .

Tutorial ini menggunakan ubuntu dalam penginstalannya, untuk operating system…

Kali ini kita akan mencoba untuk menginstal hadoop dari awal.
disini saya menggunakan linux ubuntu dengan ram 8GB.

kamu bisa menggunakan virtual box untuk menginstal linux ubuntu atau menggunakan hosting server cloud seperti saya. disini untuk demo saya menggunakan cloud digital ocean.

ok, pertama-tama yang perlu kita lakukan untuk menginstall…

Syarif Hidayatullah

Big Data Consultant

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store