Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Andere mochten auch
Andere mochten auch (19)
Ähnlich wie Derin Öğrenme Nedir? - Akademik Bilişim 2016 Sunumu
Ähnlich wie Derin Öğrenme Nedir? - Akademik Bilişim 2016 Sunumu (15)
Derin Öğrenme Nedir? - Akademik Bilişim 2016 Sunumu
- 1. Derin Öğrenme Nedir? 1 Ferhat Kurt info@derinogrenme.com Akademik Bilişim 2016 – Adnan Menderes Üniversitesi
- 2. Türkiye Derin Öğrenme Grubu Sayfası: https://www.linkedin.com/grp/home?gid=8334641 Ankara Derin Öğrenme Meetup Sayfası: http://www.meetup.com/Ankara-Deep-Learning Derin Öğrenme Grup Sayfası: https://www.facebook.com/groups/derin.ogrenme http://www.derinogrenme.com @openzeka
- 3. Derin Öğrenme & Yapay Zekâ Derin öğrenme, makinelerin dünyayı algılama ve anlamasına yönelik yapay zekâ geliştirmede en popüler yaklaşımdır. Şu anda ağırlıklı olarak belirli anlamayla ilgili görevlere odaklanılmış ve bu alanlarda birçok başarı elde edilmiştir. Bugün, en önemli araştırma kuruluşlarının yanısıra dünyanın en büyük internet şirketlerinin bazıları araştırma ve ürünlerinde derin öğrenme kullanmak için GPU’ları kullanmaktadır. 3
- 4. Veri Geniş-kapsamlı Tanıma Algoritma Veri Çeşitliliği Veri, gerçek dünyayı yansıtacak yeterlilikte çeşitliliğe sahip olmalıdır. Algoritma Kompleksliği Algoritmalar veriden öğrenecek kadar yeterli güce sahip olmalıdır. Veri Açıklaması Veri, algoritmanın öğrenebilmesi için yeterli bilgiye sahip olmalıdır. Algoritma Hızı Algoritmalar, geniş veriyi işleyecek kadar yeterli hıza sahip olmalıdır. Sırt Çantası Flüt Keçi Raket Kibrit 4
- 5. PASCAL VOC 2005-2012 20 Nesne Sınıfı 22,951 resim Parçalara ayırma -SegmentasyonBulma Davranış: Motosiklet sürme Everingham, Van Gool, Williams, Winn and Zisserman. The PASCAL Visual Object Classes (VOC) Challenge. IJCV 2010 Sınıflandırma: kişi, motosiklet Kişi Motorsiklet 5
- 6. BÜYÜK KAPSAMLI GÖRSEL TANIMA YARIŞMASI (ILSVRC) 2010-2015 200 Nesne Sınıfında 1000 Nesne Sınıfında 517,840 resim 1,431,167 resim http://image‐net.org/challenges/LSVRC/ Yarışma Kategorileri İki Ana Yarışma Kategorisi 1. Nesne tespiti (200 farklı etiketlenmiş kategoride), 2. Nesne Yeri Bulma (1000 farklı kategoride) İki Taster Yarışma Kategorisi (Yeni) 1. Videoda nesne tespiti (30 farklı etiketlenmiş kategoride), 2. Sahne sınıflandırma (401 kategoride-MIT Places takımı) 14.197.122 resim, 21.841 synset indekslenmiştir. 6
- 7. ILSVRC 2015 - YENİ EKLENEN VİDEO KATEGORİSİ 7
- 8. ILSVRC 2010 ILSVRC 2013 81 katılımcı ILSVRC 2014 123 katılımcı ILSVRC 2015 220 ILSVRC 2011 ILSVRC 2012 0 20 40 60 80 100 120 140 160 3 yıl 2010-2012 2013 2014 2015 YILLARA GÖRE ILSVRC’YE KATILIM DURUMU YIL KATILIMCISAYISI 8
- 9. 72% 74% 84% 88% 93% 96% 2010 2011 2012 2013 2014 2015 ImageNet Yarışması GPU is 1 of 3 Breakthroughs Revolutionizing Deep Learning Doğruluk NVIDIA CUDA GPU YARIŞMA YILI Başarı Imagenet 2011 kazananı %74,3 Imagenet 2012 kazananı (Krizhesvky) %83,6 Imagenet 2013 kazananı (Zeiler/Clarifai) %88,3 Imagenet 2014 kazananı (GoogLeNet) %93,3 Andrej Karpathy (İnsan denek kullanılmıştır) %94,9 Buidu ArXiv Yayını 3 Oca 15 %94 MS Research ArXiv yayını 6 Şub 15 %95,1 Google ArXiv yayını 2 Mar 15 %95,2 Imagenet 2015 kazananı (Microsoft) %96,43 9
- 10. 39% 72% 88% 30% 40% 60% 55% 50% 70% 7/2015 8/2015 9/2015 10/2015 11/2015 12/2015 100% 90% Top Score 80% KITTI Dataset: Obje Tanıma NVIDIADriveNet
- 11. Derinlik Devrimi 3.57 6.7 7.3 16.4 11.7 25.8 28.2 ILSVRC'15 ILSVRC'14 ILSVRC'14 ILSVRC'13 ILSVRC'12 ILSVRC'11 ILSVRC'10 ResNet GoogleNet VGG AlexNet ImageNet Classification top-5 error (%) shallow8 layers 19 layers22 layers 152 layers 8 layers Kaiming He, Xiangyu Zhang, Shaoqing Ren, & Jian Sun. “Deep Residual Learning for Image Recognition”. arXiv 2015.
- 12. A. Krizhevsky, I. Sutskever and G.E. Hinton. “ImageNet Classification with Deep Convolutional Neural Networks”. NIPS (2012) 12
- 13. 2012 SuperVision 2014 GoogLeNet Konvolüzasyon Pooling Softmax Diğer VGG MSRA 35/36 takım derin öğrenme kullanmıştır. 20/36 takım açık-kaynaklı Caffe uygulamasını kullanmıştır. [Krizhevsky NIPS 2012] [Szegedy arxiv 2014]-22 [Simonyan arxiv 2014] -19 [He arxiv 2014] 13
- 15. Geoffrey Hinton (sağda) Alex Krizhevsky ve Ilya Sutskever (solda). Fotoğraf: U of T 15
- 16. 16
- 17. 17
- 18. İnsanın 0,1 saniyede yapabildiği herşeyi, 10 katmanlı büyük bir ağda yapabilir. Kedi Yapay Sinir Ağı Nasıl Çalışıyor? Eğer kedi ise tıkla 0.1 sec: neurons can fire only 10 times! 18
- 19. LeNet (LeCun et al. 1998) 19
- 20. 20
- 21. 21 *the original image is from the COCO dataset Kaiming He, Xiangyu Zhang, Shaoqing Ren, & Jian Sun. “Deep Residual Learning for Image Recognition”. arXiv 2015. Shaoqing Ren, Kaiming He, Ross Girshick, & Jian Sun. “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks”. NIPS 2015.
- 22. Örnek Bölütleme(özet) for eachRoI for eachRoI CONVs conv feature map FCs FCs RoI warping, pooling masking CONVs box instances(RoIs) mask instances categorized instances person person person horse • Solely CNN-based (“features matter”) • Differentiable RoI warping layer (w.r.t box coord.) • Multi-task cascades, exact end-to-end training Kaiming He, Xiangyu Zhang, Shaoqing Ren, & Jian Sun. “Deep Residual Learning for Image Recognition”. arXiv 2015. Jifeng Dai, Kaiming He, & Jian Sun. “Instance-aware Semantic Segmentation via Multi-task Network Cascades”. arXiv 2015.
- 23. *the original image is from the COCO dataset girdi Kaiming He, Xiangyu Zhang, Shaoqing Ren, & Jian Sun. “Deep Residual Learning for Image Recognition”. arXiv 2015. Jifeng Dai, Kaiming He, & Jian Sun. “Instance-aware Semantic Segmentation via Multi-task Network Cascades”. arXiv 2015.
- 24. GELENEKSEL MAKİNE ALGISI – Hand Crafted Özellikler Ham veri Özellik çıkarıcı Lineer Sınıflandırıcı Sonuç 24
- 28. MULTİMODAL RECURRENT NEURAL NETWORK «siyah beyaz köpek bar üzerinden atlıyor.» «iki genç kız lego oyuncağı ile oynuyor.» «pembe kıyafetli kız havada zıplıyor.» «turuncu güvenlik yeleği giyen yapı işçisi yolda çalışıyor» «mavi dalış kıyafetli adam dalga üstünde sörf yapıyor.» «siyah tişört giyen adam gitar çalıyor.» 28
- 29. 29 Sırtında malzeme taşıyan 5 kişi kuru otların arasından sınıra doğru yaklaşıyor.
- 30. Büyük Veriye Erişim Yeni Derin Öğrenme Teknikleri Her bir dakikada 100 saatlik video Günlük 350 milyon resim yükleme Saatte 2,5 Petabyte Müşteri verisi GPU Hızlandırıcılar 30
- 31. Soldan sağa: Yann LeCun, Geoff Hinton, Yoshua Bengio, Andrew Ng Yann LeCun Facebook Yapay Zekâ Lab. Yöneticisi (Prof.) Geoffrey Hinton Google Toronto Üniversitesi (Prof.) Yoshua Bengio Montreal Üniversitesi (Prof.) Andrew Ng Baidu Baş Bilimadamı (Prof.) 31
- 32. KARŞILAŞTIRMA Google Brain’e eşdeğer görüntü analizi yapan NVIDIA sistemi 32
- 33. 8 BillionTransistors 3,072 CUDA Cores 7 TFLOPS SP / 0.2 TFLOPS DP 12GB Memory 33
- 34. 34
- 35. 35
- 36. 36
- 37. 37
- 38. 38
- 39. 39
- 40. 40
- 41. 41
- 42. Günümüzde Kullanılan Ses Tanıma Sistemleri 42
- 43. 43
- 44. 44
- 46. Çoğu insan %95 doğruluk ve %99 doğruluk arasındaki farkı anlamamaktadır. %99 oyun değiştiren bir orandır. %99 doğruluk ile akıllı telefonlar sesle kullanılacak hale getirilebilir. 46
- 47. Ses Nesnelerin İnternetinin Dönüşümünü Sağlayacaktır. Araç Arayüzleri Ev Gereçleri Giyilebilir Araçlar 47
- 48. 25 Eylül 2008 - DARPA Deep Learning Workshop 2009 - DARPA insansız hava araçlarının düşman toprakları üzerinde elde ettiği görüntü ve videoların karargâha aktarımıyla oluşturulan büyük veri (BigData) yığınıyla baş edebilmek maksadıyla daha iyi bir istihbarat katmanı geliştirilmesi kapsamında 2009 yılında derin öğrenme çalışmalarına destek vermeye başlamıştır. Hava Kuvvetleri ile Leland Stanford Junior Üniversitesi (Stanford University)arasında 15 Mart 2010 - 15 Haziran 2014 sonlanmıştır. Bu anlaşma kapsamında $2,693,119 ödenmiştir. 2015 - Amerikan Hava Kuvvetleri Araştırma Laboratuarı Deep Learning Analytics ile Target Recognition and Adaption in Contested Environments (TRACE) programı kapsamında 6 milyon dolarlık bir sözleşme imzaladı. 2015 - Deep Learning for Actionable Intelligence Discovery and Exploitation ABD Hava Kuvvetleri, derin öğrenme alanındaki devrimsel nitelikteki başarıları gördükten sonra görüntü analizinde derin öğrenme ve doğal dil işleme kullanımına yönelik ihale duyurusunu yaptı. 48
- 49. Derin Öğrenme, görevle ilgili içerik ve örüntüleri ham veri olarak makine hızında tanımlayan genel algoritmalar sunmaktadır. Başarılması gereken her özel bilgi ayıklama görevi için algoritma yazmaya ne yeteri kadar zaman ne de uzmanlık bulumaktadır. Her dakika 100 saatlik video yüklemesi Günlük 350 milyon resim yükleme Uzaktan algılama firmalarının sayısı ve kapasitelerinin hızlı artırışı On binlere sosyal ve politik olay günlük olarak indekslenmektedir. Derin Öğrenmenin Coğrafi Analizde Kullanılması 49
- 50. 50 Kaynak: DARPA
- 51. RESİMLER SESLER VİDEOLAR METİNLER BÜYÜK VERİ Meta veri filtreleri İnsan algısı BUGÜN DARBOĞAZ Göreve odaklı analiz Gürültülü içerik Mükemmele yakın anlama Otomatik makine algısı Semantik İçerik tabanlı filtreler VİZYON Göreve odaklı analiz İnsan seviyesine yakın algılama Görevle ilgili içerik Büyük Veri Analizi İş Akışı SAYILAR RESİMLER SESLER VİDEOLAR METİNLER SAYILAR BÜYÜK VERİ 51
- 52. Uzaktan Görüntü Algılamanın Kullanımı Obje tespiti ve sınıflandırma Sahne bölütleme (segmentasyon) Arazi kullanımının sınıflandırılması Jeolojik özellik sınıflandırma Değişiklik Tespiti (Change detection) Ürün verimi tahmini Yüzey su tahmini Nüfus yoğunluk tahmini Süper çözünürlük Fotogrametri Keio Üniversitesi, Japonya – SPIE EI 2015 Arizona Üniversitesi 52
- 53. Derin Öğrenme Yapısıyla Analiz İşlemi 53
- 54. GELİŞMİŞ GÖRÜNTÜLEME YÖNTEMİ D. Maturana and S. Scherer. 3D Convolutional Neural Networks for Landing Zone Detection from LiDAR. In ICRA. 2015 • Konvolüzasyonel Sinir Ağları yapısı aşağıdaki veri türlerini desteklemektedir: • MSI/HSI data cubes • SAR imagery • Volumetric data, e.g. • LIDAR Low-TRL research topics 54
- 55. 55
- 56. 56
- 57. 57
- 58. Kazalarda Her yıl 1,3 milyon, günde 3.287 kişi ölüyor. Ayrıca 20-50 milyon insan yaralı veya engelli oluyor. Trafik kazaları genel ölüm oranına (%2,2) göre 9’uncu sırada yer alıyor. Her yıl 25 yaşın altında 400.000 kişi yaşamını yitiriyor (Günde 1.000 kişi). Yol kazalarının genel maaliyeti 518 milyar dolar (GSMH’nin %1-2 sine karşılık) Tedbir alınmazsa 2030 yılında insanların ölüm nedeni sıralamasında 5. sıraya yükselecek. 58
- 59. Otonom 59
- 60. 60
- 61. NVIDIA TEGRA X1 DESTEKLİ DRIVE CX KOKPİT GÖRÜNTÜLEME BİLGİSAYARI DRIVE PX OTO-PİLOT BİLGİSAYARI 61
- 62. 62
- 63. 0 5 10 15 20 25 ARAÇ GÖRÜNTÜLEME PİKSEL ARTIŞI PİKSEL(MİLYON) 2010 2012 2014 2016 2018 2020 780K 1.3M 3.7M 6.6M 9.7M 380K 20M+ 2014 2016 63
- 64. NVIDIA DRIVE™ CX GELİŞMİŞ KOKPİT GÖRÜNTÜLEME BİLGİSAYARI 16.6M piksel maksimum çözünürlük Maxwell — NVIDIA’nın en yeni GPU mimarisi NVIDIA DRIVE Studio 64
- 65. NVIDIA DRIVE™ PX 2 OTO-PİLOT BİLGİSAYAR Dual Tegra X1 ● 12 kamera girişi ● 1.3 GPix/sec 2.3 Teraflops mobile supercomputer CUDA programmability Derin Sinir Ağı Yapılı Bilgisayarlı Görü Çepeçevre Görünüm 65
- 66. NVIDIA DRIVE PX PIPELINE Tegra X1 . . . VPE CPU ISP Drive Train Power Train Görüntü DVR GPU . . . Çevre Modeli• Durumsal Farkındalık• Yol Gösterimi• Öğrenme 66
- 67. DERİN SİNİR AĞI NASIL GÖRÜR? Resim “Audi A7” Image source: “Unsupervised Learning of Hierarchical Representations with Convolutional Deep Belief Networks” ICML 2009 & Comm. ACM 2011. Honglak Lee, Roger Grosse, Rajesh Ranganath, and Andrew Ng. 67
- 68. TEGRA X1 SINIFLANDIRMA PERFORMANSI AlexNet 0 10 20 30 Tegra K1 Tegra X1 RESİM/SANİYE 68
- 69. 69
- 70. 70
- 71. 71
- 72. Google arama motorunda her 20 aramadan birisi sağlık ile ilgili bilgi aramaya yönelik yapılıyor. 72
- 73. 73
- 74. 74
- 76. Ne Yapıyor? • Deepmind Firmasını 400 Milyon dolar karşılığında bünyesine katmıştır. • Google derin öğrenme uzmanlarını işe alma konusunda açık bir kısıtlarının olmadığını, bu alanda 10'larca yıllık bilimsel çalışmaya eş değer bir çalışmanın çok kısa sürede gerçekleştiğini ifade etmiştir. • Milyarlarca veri örneğinden öğrenmek için paralel olarak binlerce CPU ve GPU’lara yatırım yapmıştır. • Resim tanıma, konuşma tanıma gibi akademik yarışmalarda sıklıkla birinci olmuş ve makaleler yayınlamıştır. • Yoğun ve artan bir şekilde gerçek uygulamalar üzerinde derin öğrenme tecrübesini kullanmıştır. Son iki yıl içinde 50 üründe derin öğrenme kullanmıştır. (Resim arama, Android konuşma tanıma, StreetView, Ads yerleştirme...) 76
- 77. 2014 yılında işe almıştır. 2013 – Görsel arama motoru 2013 – Silikon Vadisinde derin öğrenme lab. Kurulumu 2014 – Andrew Ng’nin Google’dan transfer edilmesi 2015 – Ses-metin dönüşümü 2015 – AskADoctor, Bir Doktara Sor Uygulaması ...... 77
- 78. 2013 - New York Universitesi’nde görev yapan Yann LeCun’u işe almıştır. Şu anda Facebook Yapay Zekâ Laboratuarı’nın yöneticiliğini yapmaktadır. 78
- 79. Siri ses tanıma yazılımında derin öğrenme kullanıyor. Ağustos 2015 - Apple, Ne Düşündüğünüzü Tahmin Etmek için derin öğrenme uzmanı işe alım duyurusu yaptı. Ekim 2015 - Apple, Siri’yi daga akıllı hale getirmek için VocalIQ girişim firmasını satın aldı. Ekim 2015 – Apple, telefonlarda kullanıcı verisine çok fazla ihtiyaç duymayan ileri yapay zeka sistemi geliştiren Perceptio’yu satın aldı. 79
- 80. DERİN ÖĞRENME TAVSİYE MOTORU TECRÜBE TECRÜBE + TECRÜBE ++ 80
- 81. 81
- 82. Photographers: Molly Matalon and Damien Maloney for Bloomberg Businessweek 82
- 83. Chelsea Finn, Xin Yu Tan, Yan Duan, Trevor Darrell, Sergey Levine, Pieter Abbeel. Learning Visual Feature Spaces for Robotic Manipluation with Deep Spatial Autoencoders. Preprint: [PDF] [arXiv] Sergey Levine*, Chelsea Finn*, Trevor Darrell, Pieter Abbeel. End-to-End Training of Deep Visuomotor Policies. Presented at the IEEE International Conference on Robotics and Automation (ICRA) 2015 Late Breaking Results Session, Thursday May 28, 2015, Seattle WA. Preprint: [PDF] [arXiv] Sergey Levine, Nolan Wagener, Pieter Abbeel. Learning Contact-Rich Manipulation Skills with Guided Policy Search. Presented at the IEEE International Conference on Robotics and Automation (ICRA) 2015, Wednesday May 27, 2015, Seattle WA. Best Robotic Manipulation Paper Award. Preprint: [PDF] [website] 83
- 84. 2014 yılında derin öğrenme uygulamaları geliştirmek üzere kurulmuştur. Robot kollarda derin öğrenme kullanmak maksadıyla 7,3 milyon dolarlık bir anlaşma imzalanmıştır. 84
- 85. + Dr. Gill Pratt (eski DARPA Program Yöneticisi) 50 Milyon Dolar 85 1 Milyar Dolar
- 86. 86
- 87. 87
- 88. 88
- 89. 89
- 90. Derin Ağ Sonuç Görsel algı iş yükü Mobil çevre kısıtları Yoğun hesaplama Büyük ve karmaşık sinir ağı modelleri Güç ve termal verim Depolama ve hafıza bant genişliği kısıtları Batarya 1. “Exploiting Linear Structure Within Convolutional Networks for Efficient Evaluation”, arXiv:1404.0736 [cs.CV] Qualcomm Technologies, Inc. yaklaşımı •Başlangıç SVD yaklaşımında NYU’dan Denton, et. al. makalesi temel alınmış, •Tek katmanları çoklu katmanlarla değiştirme yaklaşımı •Yaklaşım sadece sıkıştırılmış katmanların üzerindekileri değil tüm katmanlarda iyileştirmeye olanak sağlamıştır. Sonuç •Fiziksel model boyutunda 10X azalma •Minimum hassasiyet kaybıyla 35% oranında MAC işlemlerinde azalma. 90
- 91. 91
- 92. 92
- 93. 93 Derin Öğrenme Farkındalığı 35'inci MSB Sensör ve Elektronik Sistemler Teknoloji Panelinin (SESTP) de alinan karar dogrultusunda DERİN ÖĞRENME konusunda ön yapılabilirlik etüdü çalışması firma ve kurumların katılımıyla başlamıştır.
- 94. NVIDIA GPU PLATFORMU EĞİTİM TORCH STARTUPS CHAINER VITRUVIAN OPENDEEP SCHULTS LABORATORIES KERAS BIG SUR WATSON TENSORFLOW CNTK DL4J CAFFE THEANO MATCONVNET MOCHA.JL PURINE MINERVA MXNET http://caffe.berkeleyvision.org/ http://deeplearning.net/software/theano/ http://torch.ch Google Microsoft Computational Network Toolkit Warp-CTC Samsung Veles NVIDIA DIGITS
- 95. TARİH KONU 28 Kasım 2015 NVIDIA DIGITS 12 Aralık 2015 Caffe Framework 26 Aralık 2015 Theano Framework 09 Ocak 2016 Torch Framework & Google TensorFlow YENİ DERİN ÖĞRENME EĞİTİMİ Yeni eğitimleri http://www.derinogrenme.com adresinden takip edebilirsiniz. Eğitim sunumlarını http://www.derinogrenme.com adresinden indirebilirsiniz.
- 96. Türkiye Derin Öğrenme Grubu Sayfası: https://www.linkedin.com/grp/home?gid=8334641 Ankara Derin Öğrenme Meetup Sayfası: http://www.meetup.com/Ankara-Deep-Learning Derin Öğrenme Grup Sayfası: https://www.facebook.com/groups/derin.ogrenme http://www.derinogrenme.com @openzeka
- 97. “If we knew what it was we were doing, it would not be called research, would it?” Einstein TEŞEKKÜRLER. 97