Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

Analisis Teks Media Sosial dan Online

5.336 Aufrufe

Veröffentlicht am

Kuliah Umum Universitas Islam Indonesia
19 November 2016
Yogyakarta

Veröffentlicht in: Internet
  • Here's How YOU Can Stake Out Your Personal Claim In Our EIGHT MILLION DOLLAR GOLDMINE...  http://t.cn/AieX2Loq
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • Dating for everyone is here: ❤❤❤ http://bit.ly/39pMlLF ❤❤❤
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • Sex in your area is here: ♥♥♥ http://bit.ly/39pMlLF ♥♥♥
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier

Analisis Teks Media Sosial dan Online

  1. 1. Analisis Teks Media Online dan Sosial Ismail Fahmi, PhD. Dosen PS MTI UII Pendiri PT Media Kernels Indonesia Ismail.fahmi@gmail.com Kuliah Umum FTI - Universitas Islam Indonesia, Yogyakarta 19 November 2016
  2. 2. 2 Wahai orang-orang yang beriman! Jika seseorang yang fasik datang kepadamu membawa suatu berita, maka telitilah kebenarannya, agar kamu tidak mencelakakan suatu kaum karena kebodohan (kecerobohan), yang akhirnya kamu menyesali perbuatanmu itu. (Al-Hujurat 6)
  3. 3. 3 (Ingatlah) di waktu kamu menerima berita bohong itu dari mulut ke mulut dan kamu katakan dengan mulutmu apa yang tidak kamu ketahui sedikit juga, dan kamu menganggapnya suatu yang ringan saja. Padahal dia pada sisi Allah adalah besar. (An-Nuur 15)
  4. 4. 4 1992 – 2007 S1, Teknik Elektro, ITB 2003 – 2004 S2, Computational Linguistics, Universitas Groningen, Belanda 2004 – 2009 S3, Computational Linguistics, Universitas Groningen, Belanda 2000 – 2003 Inisiator IndonesiaDLN (Digital Library Network pertama di Indonesia) Mengembangkan Ganesha Digital Library (GDL) Mendirikan Knowledge Management Research Group (KMRG) ITB Membangun Digital Library ITB 2009 – Sekarang Engineer di Weborama, Perusahaan berbasis big data (Paris/Amsterdam) 2012 – Sekarang Co-Founder Awesometrics, Media Monitoring & Analytics Company 2014 – Sekarang Founder PT. Media Kernels Indonesia, a Natural Language Processing Company 2015 – Sekarang Konsultan Perpustakaan Nasional, Inisiator Indonesia OneSearch Ismail Fahmi, PhD. Ismail.fahmi@gmail.com
  5. 5. Agenda • Aksi 4 November dan “Drone Emprit” • Natural Language Processing • Knowledge Graph • Implementasi di Indonesia OneSearch • Next: Deliberating Internet 5
  6. 6. 6Aksi 4 November 2016
  7. 7. Menjelang Aksi 17 Oktober - 3 November 2016 7
  8. 8. 8 17 - 31 Oktober Polarisasi
  9. 9. 9 Penggeseran isu
  10. 10. 10 People + Topic Network
  11. 11. 11 Topic Map
  12. 12. 12 3 November Polarisasi berkurang
  13. 13. 13 Polarisasi
  14. 14. 4 November The ‘Day’ 14
  15. 15. 15 Control Room ‘Drone Emprit’
  16. 16. 16 1:14 pm Prediksi: Aksi akan damai Upaya positif detik.com untuk membangun suasana damai
  17. 17. 17 Aksi Damai
  18. 18. 18 7:00 pm Time lapse polarisasi
  19. 19. 19 7:30 pm Provokasi Sekelompok Kecil Massa (HMI)?
  20. 20. 20 8:00 pm
  21. 21. 21 9:00 pm Upaya positif detik.com untuk meredam suasana
  22. 22. 22 9:00 pmProvokasi oleh Media
  23. 23. 23
  24. 24. 24 Contoh Bot dalam Twitter
  25. 25. 25 10:00 pmSituasi kondusif
  26. 26. 5 November Pasca Aksi 26
  27. 27. 27 7:00 amPasca Aksi
  28. 28. 28 7:00 amPeran Media Kita perlu mendorong media agar lebih ‘membebaskan’ bukan ‘menjerumuskan’
  29. 29. 29
  30. 30. 30
  31. 31. 31
  32. 32. Knowledge Graph Understanding Text 32
  33. 33. Google Knowlege Graph 33
  34. 34. Contoh: Semantic Search 34 Fact Extraction
  35. 35. Jalan Panjang Google 35
  36. 36. Building Knowledge Graph 36
  37. 37. Everything is a Triple (RDF) 37
  38. 38. Facebook Knowledge Graph 38
  39. 39. Twitter Knowledge Graph 39 Network 1 me-retweet
  40. 40. 40 Network 2 di-retweet
  41. 41. 41 Network 3 me-retweet
  42. 42. 42 Universe
  43. 43. Robot Twitter 43 Engagement sangat tinggi/padat (Real user) SNA: Demo 4 November SNA: #KamiAhok
  44. 44. Natural Language Processing Membangun Knowledge Graph 44
  45. 45. Tentang ”Drone Emprit” • “Drone Emprit” adalah nama alay dari software ‘Media Kernels’ untuk memonitor dan menganalisis media online, sosial, dan cetak. • Dibangun oleh Ismail Fahmi, sejak tahun 2009 ketika masih di Belanda, di bawah PT Media Kernels Indonesia. • Pada tahun 2011 software ini digunakan untuk membangun layanan media monitoring dan analisis komersial, bernama Awesometrics.com. 45
  46. 46. 46 Data Sources Twitter Facebook YouTube Instagram Online News Wikipedia Blogs Printed News & Data Mobile Apps data Scan + OCR Survey Data Ingestion 3rd Party APIs Crawler Crawler SFTP Temp. Storage API Crawler Processor Natural Language Processing Engine Archive Archiver Apache SOLR node node ... Metadat a Fulltext Extracte d- features shard Part of Speech Tagging Language Detection Sentiment Analysis Named Entity Recognition Quote Extraction Age Detection Topics Analysis Gender Detection Data & Statistics MongoDB node node ... Mentions Statistics shard Historical Query Dashboard Trends Analysis Anaphora Resolution API 3rd Party Dashboard System Settings MySQL Processor User, Auth, projects, processes Redis 1 Redis 2 Mobile apps Arsitektur Sistem
  47. 47. Teknologi NLP • Segmentation • Part-Of-Speech (POS) Tagging • Automatic Term Recognition (ATR) • Named Entity Recognition (NER) • Term Relationship Extraction • Syntax Analysis (S-P-O) • Sentiment Analysis 47
  48. 48. Unstructured Text 48 KANZ PHILOSOPHIA, Volume 3, Number 2, December 2013 201 KEWALIAN DALAM TASAWUF NUSANTARA Artikel ini mendiskusikan dokrin Kewalian (al-walāyah) yang mempunyai basis yang kuat dalam al-Qur’an dan hadis dan isu ini secara sistematis dibahas melalui ajaran Ibn ‘Arabi yang kompleks. Sementara dalam kajian tasawuf di Nusantara, sebutan wali ini sudah mulai dikenal bersamaan dengan masuknya Islam ke negeri ini yang mengacu kepada dua pengertian, wali sebagai orang yang memiliki kesaktian-kesaktian (occulties) sebagai implikasi dari kekeramatan dan wali sebagai penguasa wilayah tertentu. Terlepas dari pengertian dan cakupannya, ajaran kewalian yang sesungguhnya tidak lepas dari ajaran tentang kenabian dan kerasulan yang menyiratkan pesan bahwa dunia manusia bukan hanya dunia material yang identik dengan kenikmatan hedonis, tetapi di balik dunia fi sik terdapat dunia metafi sik yang belum banyak diketahui manusia dan dari sanalah dunia fisik ini dikendalikan. Kata-kata Kunci : wali, karamah, Nur Muhammad, kewalian, kenabian, penutup para wali Fakultas Ushuluddin, UIN Syarif Hidayatullah. E-mail : yunasrilali@ymail.com
  49. 49. Segmentation: Paragraph 49 =====page1===== -----------par---------- KANZ PHILOSOPHIA, Volume 3, Number 2, December 2013 201 -----------par---------- KEWALIAN DALAM TASAWUF NUSANTARA -----------par---------- Artikel ini mendiskusikan dokrin Kewalian (al-walāyah) yang mempunyai basis yang kuat dalam al- Qur’an dan hadis dan isu ini secara sistematis dibahas melalui ajaran Ibn ‘Arabi yang kompleks. -----------par---------- Sementara dalam kajian tasawuf di Nusantara, sebutan wali ini sudah mulai dikenal bersamaan dengan masuknya Islam ke negeri ini yang mengacu kepada dua pengertian, wali sebagai orang yang memiliki kesaktian-kesaktian (occulties) sebagai implikasi dari kekeramatan dan wali sebagai penguasa wilayah tertentu. Terlepas dari pengertian dan cakupannya, ajaran kewalian yang sesungguhnya tidak lepas dari ajaran tentang kenabian dan kerasulan yang menyiratkan pesan bahwa dunia manusia bukan hanya dunia material yang identik dengan kenikmatan hedonis, tetapi di balik dunia fi sik terdapat dunia metafi sik yang belum banyak diketahui manusia dan dari sanalah dunia fi sik ini dikendalikan. -----------par---------- Kata-kata Kunci : wali, karamah, Nur Muhammad, kewalian, kenabian, penutup para wali 1 Fakultas Ushuluddin, UIN Syarif Hidayatullah. E-mail : yunasrilali@ymail.com
  50. 50. Segmentation: Sentence 50 -----------par---------- Sementara dalam kajian tasawuf di Nusantara, sebutan wali ini sudah mulai dikenal bersamaan dengan masuknya Islam ke negeri ini yang mengacu kepada dua pengertian, wali sebagai orang yang memiliki kesaktian-kesaktian (occulties) sebagai implikasi dari kekeramatan dan wali sebagai penguasa wilayah tertentu. Terlepas dari pengertian dan cakupannya, ajaran kewalian yang sesungguhnya tidak lepas dari ajaran tentang kenabian dan kerasulan yang menyiratkan pesan bahwa dunia manusia bukan hanya dunia material yang identik dengan kenikmatan hedonis, tetapi di balik dunia fisik terdapat dunia metafi sik yang belum banyak diketahui manusia dan dari sanalah dunia fisik ini dikendalikan.
  51. 51. Part-of-Speech Tagging 51 ----------- par ---------- Sementara_SC dalam_IN kajian_NN tasawuf_VB di_IN Nusantara_NNP ,_Z sebutan_NN wali_NN ini_PR sudah_MD mulai_VB dikenal_VB bersamaan_VB dengan_IN masuknya_X Islam_NNP ke_IN negeri_NN ini_PR yang_SC mengacu_VB kepada_IN dua_CD pengertian_NN ,_Z wali_NN sebagai_IN orang_NN yang_SC memiliki_VB kesaktian- kesaktian_NN -LRB-_-LRB- occulties_FW -RRB-_-RRB- sebagai_IN implikasi_NN dari_IN kekeramatan_NN dan_CC wali_NN sebagai_IN penguasa_NN wilayah_NN tertentu_PR ._Z Terlepas_VB dari_IN pengertian_NN dan_CC cakupannya_NN ,_Z ajaran_NN kewalian_NN yang_SC sesungguhnya_RB tidak_NEG lepas_VB dari_IN ajaran_NN tentang_IN kenabian_NN dan_CC kerasulan_NN yang_SC menyiratkan_VB pesan_NN bahwa_SC dunia_NN manusia_NN bukan_NEG hanya_RB dunia_NN material_NN yang_SC identik_JJ dengan_SC kenikmatan_NN hedonis_JJ ,_Z tetapi_CC di_IN balik_NN dunia_NN fi_X sik_X terdapat_VB dunia_NN metafi_VB sik_X yang_SC belum_NEG banyak_CD diketahui_VB manusia_NN dan_CC dari_IN sanalah_NN dunia_NN fi_X sik_X ini_PR dikendalikan_VB ._Z
  52. 52. 52 S-P-O Triple Extraction S P O
  53. 53. Co-occurrence antar Konsep 53
  54. 54. Co-occurrence antar Konsep 54
  55. 55. Knowledge Graph 55
  56. 56. Indonesia OneSearch Knowledge Explorer: NLP in Action 56
  57. 57. Tentang IOS 57
  58. 58. Partner IOS 58
  59. 59. Contoh: Tesis “Hak Ulayat” 59
  60. 60. Contoh: Tesis dari UNDIP 60 Fullteks tesis: 112 halaman Bahasa: Indonesia
  61. 61. Knowledge Explorer 61
  62. 62. SPO Triples 62
  63. 63. Fact Graph 63
  64. 64. Co-occurrence Analysis 64
  65. 65. Open Access: Enabling Innovation 65 Tesis dari UNDIP Tesis dari UAJ
  66. 66. Perbandingan antar Repositori 66
  67. 67. Deliberating the Internet Internet yang membebaskan 67
  68. 68. 68 In 2011, he became an international figure and energized pro-democracy demonstrations in Egypt
  69. 69. “We are all Khaled Saeed” 69 This Facebook Page has helped spark the revolution
  70. 70. 70 Tahun 2011 Revolusi Mesir berhasil menjatuhkan rezim Husni Mobarak
  71. 71. 71 Namun pada tahun 2013 Perang Sipil telah memecah bangsa ini menjadi dua kubu
  72. 72. Attention Economy 72
  73. 73. Mobokrasi dalam Sosial Media 73
  74. 74. Problem with Social Media •It is designed to favor: • broadcasting over engagement, • posts over discussions • shallow comments over deep conversations. •Results: deep polarization. 74
  75. 75. 75 Polarisas i #KamiAhok #PenjarakanAhok
  76. 76. Fake News 76
  77. 77. How Trump Win? 77 His followers don’t fact-check anything – they’ll post everything, believe anything.
  78. 78. 78 Wahai orang-orang yang beriman! Jika seseorang yang fasik datang kepadamu membawa suatu berita, maka telitilah kebenarannya, agar kamu tidak mencelakakan suatu kaum karena kebodohan (kecerobohan), yang akhirnya kamu menyesali perbuatanmu itu. (Al-Hujurat 6)
  79. 79. Penyesalan: Anti Trump Protest 79
  80. 80. What we need... We need to create a platform where people strongly disagree on issues, but agree to discuss them with civility. 80
  81. 81. DemocracyOS 81 DemocracyOS evolved to become one of the most used platforms for collaborative decision-making and it got translated into 15 languages. It has been used in Tunisia to debate its national constitution; by the Federal Government of Mexico to develops its open goverment policy; by the youngest parlamentarian in Kenya to consult his constituency.
  82. 82. Parlio 82 Wael Ghonim
  83. 83. 83
  84. 84. Bagaimana dengan Indonesia? • Kita perlu platform dimana dua kubu yang berbeda pendapat secara tajam bisa berdiskusi secara beradab dan mencerahkan. • Hasil diskusi bisa menjadi tempat bagi pengguna umum untuk memahami argumen dari kedua sisi, membangun saling pengertian, dan membuka pikiran. • Platform ini menjadi alternatif di luar media online (yang kadang menyajikan berita palsu), untuk mendapatkan informasi yang lebih komprehensif. • Teknologi NLP dapat diterapkan untuk membantu membangun knowledge graph dari hasil diskusi dalam platform ini. 84
  85. 85. Kesimpulan • Teknologi big data berbasis NLP telah digunakan untuk memonitor peristiwa Aksi 4 November, hari-ke-hari, dan bahkan jam-ke-jam. • Melihat ‘big picture’ berbasis big data bisa memberi pemahaman tentang apa yang sedang terjadi secara lebih luas. • Media memiliki kekuatan untuk menjadi malaikat atau iblis. Kita harus apresiasi media yang mempromosikan kedamaian dan harmoni. • Teknologi NLP dapat berguna untuk membangun knowledge graph dari teks tak terstruktur. • Kita perlu membangun platform dimana orang-orang yang berbeda pendapat dengan tajam bisa berdiskusi secara beradab dan harmonis. 85
  86. 86. Terimakasih 86 Ismail Fahmi, PhD Email: ismail.fahmi@gmail.com Hp: 0812 8908 3894

×