Pengantar Cloud Computing dan Big Data dengan bahasa sederhana agar pemula atau yang awam tentang dua istilah itu mudah memahami, contoh-contoh produk software Open Source untuk Cloud dan Big Data, dan contoh-contoh perusahaan yang sukses mengembangkan dan memanfaatkan Cloud dan Big Data.
1. Mengenal Cloud Computing,
Big Data, dan Open Source
Rusmanto Maryanto
Ketua Sekolah Tinggi Teknologi Terpadu Nurul Fikri
School of Open Source Technology
3. Intro... Lowongan Kerja Baru
● 1996 Internet > banyak lowongan kerja bidang
komputer dan informatika yang mensyaratkan
kemampuan sistem operasi Linux (system &
networking), web server Apache, pemrograman
PHP/Java, database MySQL/PostgreSQL, dll.
● 2006 Mobile & Cloud > Virtualisasi,
Clustering, analisis data, Business Intelligence, dll.
● 2016 Big Data > Hadoop, NoSQL, HBase, dll.
4. Intro... Istilah Pembuka
● Virtualization (Virtualisasi): Cara menjalankan
komputer “maya” (guest) pada komputer “asli” (host).
Contoh: sebuah komputer menjalankan sistem operasi
Linux, lalu menjalankan program mesin virtual untuk
menjalankan sistem operasi lain (Linux, Windows, dll.)
● Clustering: Membuat kluster beberapa komputer
digabung dalam jaringan menjadi “satu” komputer.
● Distributed & Paralel Computing: menjalankan sebuah
proses (misal penyimpanan dan pengolahan data) pada
banyak komputer dalam suatu cluster.
5. Apa itu Big Data?
● Big Data: istilah untuk data sangat besar dan
kompleks yang tidak dapat dikelola (capture, store,
manage, analyze) dengan software dan tool
pemrograman database konvensional.
● Tidak cukup dengan SQL biasa saja (Relational
Database Management System), sehingga butuh
teknologi baru/tambahan NoSQL (Not only SQL).
● Tidak hanya berisi data berstruktur/relational tapi
juga (mayoritas) tidak berstruktur (unstructured).
7. 3V, 4V, atau 5V?
● Volume: Ukuran data sangat besar dari sisi jumlah
yang mencapai Milyaran Terra Byte = trilyunan GB.
● Velocity: Kecepatan data sangat besar dari sisi
kemunculan dan perubahan.
● Variety: Variasi jenis/tipe data sangat banyak,
unstructured dan multi-structured.
● Value: Nilai yang dihasilkan juga sangat besar, dari
sisi manfaat dalam bentuk uang maupun non uang.
● Veracity: Kebenaran dan keakuratan informasi yang
tidak mudah dipastikan, misal salah ketik di Twitter.
8. Big Volume
Volume bertambah secara eksponensial. Saat ini 2015:
4,8 Zetta Bytes = 4.800 Peta Bytes = 4,8 juta Exa Bytes
= 4,8 milyar Terra Bytes = 4,8 trilyun Giga Bytes. *)
*) Sumber: wipro.com
12. Apa Sumber Big Data?
Sebagian besar (80%, IBM) adalah unstructured data:
● Lebih dari 5 milyar telepon selular mengirim data
sms, sekitar 1 milyar di antaranya berupa
smartphone yang mengirim dan mengunduh
berbagai jenis data seperti web blog, buku, email,
chat, gambar, foto, video, gps, dsb.
● Lebih dari 6 milyar peralatan terhubung ke internet,
a.l. server, pc, laptop, tablet, hp, peralatan kesehatan,
satelit, jam tangan, sensor otomotif, dan Internet of
Things lainnya.
13. Apa Sumber Big Data?
Beberapa jenis aplikasi ini penyumbang Big Data:
● Aplikasi web biasa, e-commerce, dll.
● Rekaman pembelian berbagai peralatan kantor dan
transaksi lain di toko-toko, dll.
● Transaksi perbankan, kartu kredit, dll.
● Jejaring sosial: teks, gambar, suara, video, dll.
● Streaming: audio dan video
14. Big Data dan Cloud
Mengelola Big Data tidak harus dengan komputer super,
tidak harus menggunakan komputer fisik, dan tidak harus
mensetup sistem sendiri, karena ada penyedia Cloud.
● Cloud Computing (komputasi awan): istilah bisnis
penyewaan server dan/atau software di internet untuk
menghemat biaya pengadaan dan perawatan ICT.
● Virtualisasi dan Clustering merupakan teknologi lama
yang dipakai untuk Cloud Computing dan Big Data.
● Big Data dapat disediakan dengan Cloud dalam bentuk
SaaS, PaaS, IaaS, atau kombinasi dua atau ketiganya.
15. Cloud SaaS, Software as a Service
● SaaS menyediakan software aplikasi di internet
(penyedia sistem cloud). Berbeda dengan perangkat
lunak tradisional yang disediakan di komputer masing-
masing, perangkat lunak SaaS terdapat di dalam
jaringan dan hanya dipasang ketika digunakan.
● Contoh SaaS: gmail.com, docs.google.com,
SugarCRM, Zimbra, FengOffice, dll.
● SaaS khusus Big Data: Jkool www.jkoolcloud.com, dll.
16. Cloud PaaS: Platform as a Service
● PaaS menyewakan sistem (SW dan HW) berupa
platform untuk pengembangan aplikasi. PaaS
menyediakan semua software yang dibutuhkan,
seperti tool pemrograman dan database, termasuk
untuk testing, deployment, dll.
● Contoh: App Inventor untuk membuat aplikasi
Android dengan web (ai2.appinventor.mit.edu),
OpenShift (RedHat) yang mendukung php, java,
python, ruby, dll., Google Apps Engine, Amazon Web
Services, Cloud Foundry, dll.
17. IaaS: Infrastructure as a Service
● IaaS menyewakan infrastruktur dalam bentuk komputer
(virtual server, dns server, mail server, dll.), akses
jaringan, penyimpanan (SAN: Storage Arena Network /
NAS: Network-Attached Storage), cluster Big Data, dll.
● Contoh OSS: CloudStack, OpenStack, Eucalyptus,
Proxmox (Linux distribution), OwnCloud, dll.
● Penyedia server: Amazon EC2, Ubuntu EC, Amazon
Cloud Drive, Infinys (www.isi.co.id), dll.
● Free IaaS: Drive.google.com, Dropbox, dll.
18. Cluster Big Data dalam Cloud
Server atau PC atau RaspBerry Pi
Sumber: http://vijjam.blogspot.com
19. Google, Pioner Big Data
● GFS (Google File System): Sistem (penyimpanan) file
terdistribusi. Penyimpanan tidak dalam sebuah harddisk
dalam sebuah komputer, tapi dalam banyak tempat
penyimpanan secara menyebar (distributed), clustering.
● MapReduce: Pemrograman khusus untuk database
terdistribusi, melalui sistem cluster, ribuan komputer.
● BigTable: sistem database Google, mendukung sistem
file terdistribusi dan cocok untuk data tidak terstruktur
yang diproses secara tumpukan (Batch Processing),
bukan interaktif atau real-time.
20. Hadoop, Open Source Big Data
● HDFS (Hadoop Distributed File System): Seperti GFS,
sistem (penyimpanan) file terdistribusi. Penyimpanan
tidak dalam sebuah harddisk dalam sebuah komputer,
tapi dalam banyak tempat penyimpanan secara
menyebar (distributed file system), dan clustering.
● Hadoop MapReduce: Pemrograman khusus untuk
database terdistribusi, melalui sistem cluster, ribuan
komputer.
● Hadoop Base (HBase): seperti Google BigTable.
22. Potensi Ekonomi Big Data
● Industri kesehatan Amerika akan menghasilkan
tambahan US$ 300 billion (Rp 3.300 trilyun) per
tahun, lebih besar dari APBN Negara RI.
● Pemerintah Eropa menghemat US$ 149 billion (Rp
1.650 trilyun) per tahun.
● Kenaikan revenue Rp 1.000 trilyun utk operator dan
manfaat Rp 7.000 trilyun utk pengguna.
● Kenaikan laba operasional retailer (USA) 60%.
Sumber: McKinsey Global Institute (2011).
23. Big Data di berbagai Perusahaan
● Amazon: mengelola big data terkait pelayanan
pelanggan, menjual jasa cloud untuk big data, seperti
Amazon MapReduce dan Amazon EC2 Hadoop cluster.
● IBM: big data bertambah 2,5 exabyte per hari. Setahun
Rp 13 trilyun pemasukan dari Big Data, a.l. mengolah
big data untuk mengurangi kemacetan di Lyon Perancis.
● GE: memprediksi delay/kerusakan pesawat, dll.
● Detik.com, solusi247.com, Facebook, Google, Twitter,
Yahoo, dll.
25. Open Source di Big Data & Cloud (1)
Contoh produk populer dan Open Source:
● Sistem operasi Linux CentOS, Ubuntu, BlankOn, dll.
● Framework pengembangan: Apache Hadoop dengan
MapReduce, dll.
● Database NoSQL: Apache Cassandra, Apache HBase,
MongoDB, dll.
● Tool dan Bahasa Pemrograman: Eclipse, Java, Hive,
Pig, Python, R, dll.
26. Open Source di Big Data & Cloud (2)
Produk Cloud untuk Big Data:
● Google Big Query, Google Compute Engine
(Hadoop, Hive, Pig), Amazon Web Services
MapReduce, Yahoo Genome, dll.
Produk Hasil Modifikasi:
● Cloudera Enterprise (Hadoop for Enterprise), IBM
Watson Foundations (Hadoop), IBM InfoSphere
Streams, dll.
27. Contoh Aplikasi Cloud & Big Data
● Waze.com: data kecepatan
kendaraan, kecelakaan, polisi,
lampu merah, map chat, spbu, dll.
● Kontribusi pasif pengguna: data
diambil dari perangkat mobile
(hp, tablet, head unit, dll.)
● Kontribusi aktif pengguna:
macet, kecelakaan, polisi, jalan
baru, jalan rusak, dll.
28. Peluang Bisnis/Kerja di Dunia
● 2011: Di Amerika saja butuh 190.000 tenaga
ahli baru di bidang Big Data.
● 2018: Diproyeksikan Amerika butuh 490.000
tenaga ahli baru di bidang Big Data.
● Lowongan kerja di seluruh dunia untuk Big
Data pada 2015 sekitar 4,4 juta orang.
Sumber: McKinsey Global Institute (2011).
29. Peluang Bisnis/Kerja di Indonesia
● Peluang perusahaan dan pemerintahan membutuhkan
TI untuk Big Data, dengan pilihan hemat memilih
produk Open Source seperti Linux, berbagai produk
Apache, pemrograman Java, dll. Sehingga kebutuhan
SDM Open Source, Cloud, dan Big Data meningkat.
● Peluang menggunakan Cloud Computing bertambah
besar karena kebutuhan Big Data, lebih murah dan
mudah dalam perawatan, ditambah lagi semakin
banyak jumlah smartphone/tablet (di atas 250 juta).
30. Anda akan Mulai dari Mana?
● Big Data, Cloud Computing, dan teknologi terbaru,
termasuk produk-produk Open Source yang belum
banyak diberikan di lembaga pendidikan formal,
padahal dunia industri dan pemerintah memakainya.
● Mahasiswa dapat memulai belajar di luar kuliah,
misal dengan bergabung ke komunitas ICT seperti
Klub Studi Linux, KPLI (Kelompok Pengguna
Linux Indonesia), Komunitas BlankOn, Asosiasi
Open Source Indonesia, dan lain-lain. Contoh
penyedia Free E-learning: Bigdatauniversity.com.
31. Developer Tidak hanya Programmer
● Pengembang Cloud dan Big Data tidak hanya
programmer, tidak harus lulusan S1 ilmu komputer.
● Perlu ahli sistem operasi, jaringan, dan database
untuk mengelola infrastruktur dan aplikasi.
● Perlu tenaga kesenian (art) atau multimedia yang
menangani desain antara muka (UI dan UX),
termasuk suara dan video.
● Perlu penulis dokumentasi yang baik untuk buku
panduan/manual, help, buku pelajaran/kuliah, dll.
● Perlu tenaga manajemen proyek, marketing, dll.
32. Bidang yang Perlu Mahasiswa
● Sistem operasi Linux dengan berbagai software untuk
jaringan, virtualisasi, clustering, cloud. Prodi: TI/SI/SK
● Aplikasi untuk Cloud: web Apache, database MySQL,
pemrograman PHP, Java, Framework PHP/Java, dan
paket-paket sistem informasi. Prodi: TI/SI/SK
● Aplikasi untuk Big Data: Apache Hadoop, Cassandra,
MongoDB, Hive, Pig, Python, R, dll. Prodi: TI/SI/SK
● Linux untuk Internet of Things: smartphone, tablet,
multimedia, kontrol, sensor, robot, dll. Prodi: TI/SK
dikuasai
33. Selamat Belajar Sepanjang Hayat
Email: rusmanto@gmail.com
FB #rusmanto.maryanto
Google +RusmantoM
Twitter @ruslinux