Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie [2018-03-29]JSPP18 Oxford Flower Image Datasetを用いた深層学習ハンズオン
Ähnlich wie [2018-03-29]JSPP18 Oxford Flower Image Datasetを用いた深層学習ハンズオン (20)
Mehr von Eli Kaminuma
Mehr von Eli Kaminuma (11)
Kürzlich hochgeladen
Kürzlich hochgeladen (10)
[2018-03-29]JSPP18 Oxford Flower Image Datasetを用いた深層学習ハンズオン
- 1. Oxford Flower Image Datasetを用いた 深層学習ハンズオン 神沼英里 国立遺伝学研究所 生命情報研究センター 大量遺伝情報研究室 助教 （兼 産総研人工知能研究センター 機械学習研究チーム 協力研究員) 第59回日本植物生理学会年会 データベース講習会 2018年3月29日(木) 10:30-12:00 札幌コンベンションセンター J会場
- 2. (Kaminuma et al., NAR 2010) 1. NGS Sequence Annotation Pipeline on NIG Supercomputer 2. Plant DNA Polymorphism Annotation Database 4. Citrus SNP Genotyping Array Design 5. CrowdScience Catalog 3. SNP-Trait Heritability Curation Database (Mochizuki et al., 2017) (Shimizu et al., Acta H.2016)(Kaminuma et al., NAR 2013) http://p.ddbj.nig.ac.jp/ http://tga.nig.ac.jp/dnapod/ http://tga.nig.ac.jp/h2db/ (Kaminuma et al., JSAI 2016 report) 6. BioSample Tag Annotation Research Topics (2010～2018) : “Automatic Annotation” in Bioinformatics Accacactggtactgagacacggacc agactcctacgggaggcagcagtgag gaatattggacaatggagggaactctg atccagccatgccgcgtgcaggaaga ctgccctatgggttgtaaactgcttttat acaagaagaataagagatacgtgtat cttgatgacggtattgtaagaataagc accggctaactccgtgccagcagccgc ggtaatacggagggtgcaagcgttatc cggaatcattgggtttaaagggtccgta ggcggattaataagtcagtggtgaaag tctgcagcttaactgtagaattgccattg atactgttagtcttgaattattatgaagt agttagaatatgtagtgtagcggtgaa atgcatagatattaca sequence tagging BioSample annotations INSDC FlatFile Format ①DNA-based smart tagging tools DNA sequence Tentatively Offline for PI Law Update ②Image-based smart tagging tools Image image tagging →Merged into Kazusa DNA Institute’s Plant Integrated DB Collaborated with Kashima Lab. (Kyoto Univ. ) Collaborated with NARO Institute of Fruit Tree Science Ongoing…
- 4. ディープラーニングとは、多層人工ニューラルネットワークの機械学習 ■深層学習（ディープラーニング）とは ＊機械学習の手法の1つ ＊神経を模した人工ニューラルネットワーク(Artificial Neural Network:ANN)を使う ＊人工ニューラルネットワークの多層化が重要 ＜多層人工ニューラルネットワーク:Deep Neural Network(DNN)＞ 画像 テキスト センサー信号 隠れ層 （中間層）入力層 出力層 出力
- 5. ディープラーニングのモデルの種類と研究事例 学習方 法 教師あり (Supervised) 教師なし (Unsupervised) モデル 種類 ＊Convolutional Neural Network(CNN) 特に画像分類 ＊Recurrent Neural Network(RNN) 特に時系列解析 LSTM(Long short-term memory) ＊Autoencoders ＊Deep Belief Networks (DBNs) ＊Generative Adversarial Networks (GANs) 課題 分類、回帰 クラスタリング、次元削減 ■教師あり、教師なしのモデル種類 ■研究事例(CNNは後述) ＊RNN ◇インフルエンザの発生予測(Biosci Trends 20:533, 2017) ＊GAN ◇ Amyloid PET画像から構造化MR画像を生成(Choi H, J Nucl Med 117.199414,2017) ◇白内障手術シミュレータ用の外科手術画像データ生成 (Zisimopoulos et al., Healthc Technol Lett 14:216. 2017) ■その他、強化学習（Deep Q Network：DQN）の研究事例 ◇放射線治療での最適な線量選択(Tseng H, Med Phys 44：6690 2017) ◇テキストエンティティ認識(Feng Y, Comput Intell Neurosci. 7643065, 2017)
- 6. GAN:敵対的生成ネットワーク 教師なし DNNの代表モデルCNN, RNN, GAN, DQNの論文引用 CNN: 畳み込みニューラルネットワーク 教師有り RNN: 再帰型ニューラルネットワーク 教師あり DQN:Deep-Q-Network 強化学習 (Nair et al., ICML Workshop 2015) (Mnih et al., Nature 518:529, 2015) Feedback loopを持つ (LuCun et al, Nature 521:436, 2015) (LuCun et al, Nature 521:436, 2015) (Goodfellow et al, arXiv:1406.2661, 2014) https://stats.stackexchange.com/questio ns/277756/some-general-questions-on- generative-adversarial-networks より画像引用
- 7. Hinton博士によるILSVRC2012画像分類モデルが 深層学習ブームの火付け役 ■ ILSVRC（ImageNet Large Scale Visual Recognition Competition） ＊画像認識の競技会 ＊ImageNet＝注釈付き画像(120万訓練,10万テスト) ＊カテゴリ分類（一般物体認識）タスクでCNNがブレイクスルー ■Hinton博士(トロント大)の2012年優勝モデル ＊AlexNet＝8層のConvolutiona l Neural Network ＊分類エラーは前年値を大幅削減 ＊職人技ヒューリスティックに勝利 AlexNetの構造 mNeuron：Visualize A Single Neuron http://vision03.csail.mit.ed u/cnn_art/index.html
- 8. ブレイクスルー後のILSVRC優勝モデルも著名に ■ILSVRC優勝モデルの分類エラーの推移 (Russakovsky, IJCV2015, arxiv:1409.0575) ■著名モデルの構造視覚化 （by J.Cohen） 従来 深層学習 Name Year # of Layers 後継著名モデル AlexNet 2012 8 VGG16 2014 16 VGG19 GoogLeNet 2014 22 Inception-V3,V4 ResNet 2015 152 ResNet50 26 16 28 12 6.7 3.6 http://josephpcohen.com/w/visualizing- cnn-architectures-side-by-side-with-mxnet/
- 9. Deep Learningの強み① データ増加で性能向上 Stanford大学Andrew Ng教授のスライド http://cs229.stanford.edu/materials/CS229-DeepLearning.pdf ■Deep Learningは訓練データ増加でモデル性能向上 （従来アルゴリズムは精度が頭打ち） ■アルゴリズムの性能が飽和に近付けば、 訓練データを大量に持つ組織や研究者が、AIの世界では強くなる。 （※中国産ＡＩが米国産ＡＩより強くなると言われる理由）
- 10. Deep Learningの強み② 特徴抽出の職人技が不要に ＜従来のパターン認識＞ ■Deep Learningは職人技の特徴量抽出不要 ＜深層学習＞ Feature Extractor Trainable Classifier Citrus Not Citrus Low-Level Features Trainable Classifier Citrus Not Citrus Mid-Level Features High-Level Features 階層的に表現を学習 ※手作業Handcraftedで抽出 Googleの論文(Le et al. Building High-level Features Using Large Scale Unsupervised Learning, ICML2012; arxiv:1112.6209) ＋YouTube から抽出した200x200 pixelsの1000万枚画像を学習 ＋300万個のneurons, 10億 connectionsのNeural Network ＋ラベル無しの教師なし学習で、ネコの顔やヒトの顔に反応するニューロンが出来た。 ＋ヒト顔画像の割合は3%程。 図出展：GoogleBlog ■教師なしでCat Neuron作成
- 11. 畳み込みニューラルネットワークの構造を理解する Softmax FC FC Pool Conv Pool Conv Conv Input Softmax FC FC FC Pool Conv Conv Pool Conv Conv Pool Conv Conv Pool Conv Conv Pool Conv Conv Input AlexNet VGG ■CNNの基本構造は、3種類の層の積み重ね ①畳み込み層（Conv: Convolution Layer） ②プーリング層(Pool: Pooling Layer) ③完全連結層(FC: Fully Connected Layer) ■勾配消失問題 層が深くなると学習時に 低層で勾配が0になる ↓ 入力信号総和に活性化関数 適用で対処 ■活性化関数の種類 ReLU, Sigmoid, Step, etc. 畳み込み後の活性化関数 ↓ ReLUが一番性能が良い （正規化線形関数、ランプ関数） 青がReLU(図出展：wikipedia) (図出展：wikipedia)
- 12. ■CNNのイメージ図 畳み込み層とプーリング層 が重なる図 「畳み込み層」と「プーリング層」 ■プーリング層（Pool ）■畳み込み層(Conv) ＊ダウンサンプリング ＊平行移動などの変化に頑健にする ＊層サイズを縮小＝計算コストを下げる (引用元：Wikipedia: Max Pooling Method) (https://de.wikipedia.org/wiki/Convolutional_Neural_Network) 引用元http://machinelearninguru.com/_images/topics/computer_vision/basics/convolutional_layer_1/stride1.gif ＊画像フィルタリング ＊エッジ強調やぼかし操作により特徴抽出を行う (LuCun et al, Nature 521:436, 2015) ■CNNの視覚化デモ http://cs231n.stanford.edu/ gifでデモを確認可能
- 14. 葉病理診断で 画像色空間は処理無「Color」が精度高 色空間別分類精度 Color > Color Segmented >> Grayscale [Mohanty et al, 2016]
- 15. 葉病理課題で、 CNNモデルはAlexNetよりGoogLeNetが精度高 CNNモデル別分類精度： GoogLeNet※ > AlexNet [Mohanty et al, 2016] AlexNet CNN + CNN元祖のHinton博士の有名モデル + ILSVRC2012の優勝モデル + 8 layers network GoogLeNet CNN + ILSVRC2014の優勝モデル + 22 layers network https://leonardoaraujosantos.gitbooks.io/artificialinteligence/content/image_folder_5/GoogleNet.png ※当時のモデルの為、注意すること
- 16. 葉病理診断で、 訓練済モデルを活用する転移学習が精度高 学習方法別分類精度： 訓練済モデルの転移学習 > Scratchから学習 [Mohanty et al, 2016] http://www.image-net.org/
- 17. 植物種同定課題で、 ウェブ取得したNoisy Labels画像を追加する方式が精度高 訓練データ追加の精度比較： 精査済＋非精査利用 > 精査済のみ利用 [Atito et al, 2017] → 精査していない注釈データでも、訓練データに使用可
- 18. 植物種同定課題で、 部位別認識精度は「花＞全体＞果実＞葉」 [Goeau et al, 2017] PlantCLEF2017 複数の条件をまとめて分類する場合も、検討する
- 19. 果実カウント課題で、生成画像を訓練データに活用 ■シミュレーション画像を生成して訓練データを補う。 Deep Count: Fruit Counting Based on Deep Simulated Learning (Rahnemoonfar et al., Sensors 17:905, 2017) Inception- ResNet. 精度 *91%(実画像) *93%(合成画像) 少ない訓練データをシミュレーション生成で補完する戦略は最近のトレンド
- 20. ③日本の研究事例紹介
- 21. AI研究事例① 理化学研究所 『超微細画像診断』 新しい白血病診断への挑戦 AI 細胞微細 構造解析 電顕&AI で超加速 迅速かつ適切な治療選択 （投薬、移植） 細胞画像ビッグデータ取得 電子顕微鏡で血液細胞を 大量に撮像しカタログ化 AI（機械学習等）で異常検出 画像とメタデータ をデータベース化 難解な顕微鏡検査 従来の白血病診断法 M0 M1 M3 ヒト慢性骨髄性白血病細胞株の超微細画像今回提案する「超微細画像診断」 従来の細胞診は高度な熟練の技を要し、 医師によって意見が異なることも ＜理研ACCC小林博士よりスライド提供＞* イノベーション推進センター 村川 泰裕 * ライフサイエンス技術基盤研究センター 久米 慧嗣 * 情報基盤センター 小林 紀郎
- 22. AI研究事例② 臨海ハッカソン イトマキヒトデの画像分類と訓練データベース構築 島根県 隠岐ノ島 採集茨城県 平磯採集 臨海ハッカソン2018 (6月 広島にて開催予定)、お問い合わせは：rinkaihack@gmail.com ＜遺伝研川島博士よりスライド提供＞ 挑戦！ イトマキヒトデの形態や模様に地域差はあるのか？ 形態から♂♀の区別はできるのか？ 共同研究メンバ Masa-aki Yoshida / 吉田 真明 （島根大学隠岐臨海実験所） Takeshi Kawashima / 川島 武 士 （国立遺伝学研究所） Mayuko Hamada / 濱田 麻友 子 （岡山大学牛窓臨海実験 所） Kunifumi Tagawa / 田川 訓史 (広島大学大学院理学研究科 附属臨海実験所 ) Yoshiaki Morino / 守野 孔明 （筑波大学） Norio Miyamoto / 宮本 教生 （JAMSTEC）
- 23. accacactggtactgagacacggacca gactcctacgggaggcagcagtgagg aatattggacaatggagggaactctga tccagccatgccgcgtgcaggaagact gccctatgggttgtaaactgcttttatac aagaagaataagagatacgtgtatctt gatgacggtattgtaagaataagcacc ggctaactccgtgccagcagccgcggt aatacggagggtgcaagcgttatccgg aatcattgggtttaaagggtccgtaggc ggattaataagtcagtggtgaaagtctg cagcttaactgtagaattgccattgata ctgttagtcttgaattattatgaagtagt tagaatatgtagtgtagcggtgaaatgc atagatattaca 機械学習で注釈タグ 属性値予測 DDBJ登録DNA配列の入力 AI研究事例③ 国立遺伝学研究所 DNASmartTagger: DNA配列からの注釈タグ予測ツールの開発 ZONE Attribute Value Altitude Zone Code ALPINE ZONE 1500m -- Z3 MONTANE ZONE 800m-- 1500m Z2 LOWLAND ZONE 0--800m Z1 Input SVM (CV kfold=10) CNN (CV kfold=10) k-mer freq 0.77 0.80 5’end fragm 0.72 0.73 ■Model performances between input parameters Evaluation Measure: Accuracy Qualifier 注釈タグ一覧 ■標高タグ(/altitude)のカテゴリ化 ■DNASmartTaggerの提案 ■ 5,431 Sequences with Annotation for PLN Division, Keyword Fungi (Retrieved from DDBJ ARSA) DNA配列からの真菌の標高注釈を予測 共同研究メンバ (遺伝研) *Eli Kaminuma *Takatomo Fujisawa *Fumi Hayashi *Yasukazu Nakamura *Toshihisa Takagi *Osamu Ogasawara (産総研) *Jun Sese
- 24. ④その他（計算コストと知財権）
- 25. GPUの活用：深層学習は10倍程度の計算時間短縮に ＧＰＵの選択肢 ①ＧＰＵ搭載パソコン購入、 ②スーパーコンピュータ利用、③クラウド利用 ■GPU(Graphics Processing Unit) Deep Learningの多くのフレームワークは、NVIDIAのCUDA(ハードウェア)向けの NVIDIA CUDA® Deep Neural Network library (cuDNN) (ソフトウェア:開発SDK)を利用 ■GPUの性能表（NVIDIAのHPより）
- 27. ⑤ハンズオン [Oxford Flower Datasetを用いたDeep Learning 画像分類]
- 28. ハンズオンの題材： Oxford 102 Category Flower Dataset を用いたDeep Learning画像分類による植物種判別 ■Oxford Flower Dataset論文 ■論文のウェブサイト http://www.robots.ox.ac.uk/~vgg/data/flowers/ *17 category dataset(花画像が各クラス80枚) Nilsback, M-E. and Zisserman, A. A Visual Vocabulary for Flower Classification Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2006) ハンズオンでは102カテゴリデータセットを使用
- 29. ハンズオンデータ： Oxford 102 Category Flower Dataset ■102 Category Flower Datasetの特徴 • 102クラスの植物種 • 各クラスの画像枚数は40 ～ 258 • United Kingdomで一般的な花 ■元データのダウンロードサイト http://www.robots.ox.ac.uk/~vgg/data/flowers/102/index.html ①102flowers.tgz（元データ） * 8,189枚のjpg画像 ②3クラスをハンズオン用に抽出 Class Plant Number of Images F0 Water Lily 194 F1 Frangipani 166 F2 Lotus 137
- 30. ■縦横の画像サイズが多様 (例：665x500x3, 541x500x3, 500x666x3, etc.) ■生物の撮影対象数(例：花の数)や生育ステージが不定 ■撮影条件が多様（照明、アングル、背景、等） ■特定クラスにのみ、学習対象以外の物体（例：手）を入れない様に要注意 訓練画像の多様性 深層学習では、画像サイズや撮影対象物が多様でも モデルの学習が可能 Class Plant F0 Water Lily F1 Frangipani F2 Lotus
- 32. 機械学習モデル構築の手順（ハンズオン用） ①学習用の データ準備 ②学習データ分割 *訓練データ（画像110枚以上） *テストデータ（画像27枚） ■機械学習モデル構築の流れ ③訓練データから 畳み込みニューラルネット ワークを学習 ④テストデータを 使ってMLモデル を評価 ＊3クラスの画像データ ＊画像サイズを変換 (64x64x3) ＊137～194画像/クラス ＊事前学習済モデルを使わずスクラッチ学習 ＊CNN(畳み込みニューラルネットワーク) ＊Small Network(層数が少ない) ＊訓練データ数は多い程良い ＊テストデータ数は最低20枚は必要 ＊学習時は300枚以上準備する ＊事前学習済みモデルを使う転移学習では、訓練データ数 80枚も可能(参考：Google AutoML α版: a few dozen images) ＊2値分類のモデル評価尺度、 Accuracy(正解率)を使う
- 33. USBメモリ中の 「JSPP180329_DNN.jpynb」 と 「eL3_Ox3CL.mat」を持参PCに コピーして下さい。 git clone https://github.com/ekaminuma/JSPP180329_DNN.git →または ハンズオンプログラムとデータを持参ＰＣに準備 https://github.com/ekaminuma/JSPP180329_DNN ■内容確認 ■プログラムのダウンロード（３種類どれでも） にアクセス JupyterNotebookをクリック ① ② →または
- 34. ローカルPCでJupyterNotebookの起動とプログラム実行方法 ①Anaconda Promptを起動 ② 「JSPP180329_DNN.jpynb」と「eL3_Ox3CL.mat」を設置したディレクトリで Jupyter Notebookを起動 ③Webブラウザに「JSPP180329_DNN.jpynb」の対話型実行環境が開く ④ RUNボタンを押すとCELL(ボックス)単位で実行される
- 36. ハンズオンコードを理解する①CNNモデルの構造 Conv2D(32, (3,3), activation=‘relu’) ■Kerasの2次元畳み込み層 カーネル数 ＝出力次元数 活性化関数 畳み込み フィルタの 幅・高さ https://keras.io/ja/layers/convolutional/ ■ Keras でのCNNモデルの定義 ■CNNモデルの構造表示
- 39. ハンズオンコードを理解する④Optimizer選択はAdamから 「ゼロから作るディープラーニング」斎藤著、 オライリージャパン社のコード実行例 ■数字画像(0～9)分類でOptimizer比較
- 40. ハンズオン実習 ①最適化手法「Optimizer」をadam(一次勾配ベース最適化)からsgd(Stochastic Gradient Descent:SGD)へ変更してみよう ②「Model Architecture」を変更してみよう flatten前の畳み込み2層＋プーリング1層をコメントアウトすると? ③Dropoutを入れてみよう コメントアウトを外す : 0→0.5 参考： https://lp-tech.net/articles/LVB9R https://keras.io/ja/optimizers/ ■以下のパラメータ変更で、モデル評価値（metric=Accuracy）がどう変わるかチェックしよう 変更 前 (条件、Accuracy) 後 (条件、Accuracy) Optimizer Adam sgd Model Architecture 畳み込み2層 +プーリング1層 無し DropOut 0 0.5 ■ＭＥＭＯ
- 43. Thank you for your attention! Acknowledgements: ・ DDBJ : Jun Mashima, Yuichi Kodama, Yuji Ashizawa, Tomohiko Yasuda, Naofumi Ishikawa, Tomohiro Hirai, Tomoka Watanabe, Chiharu Kawagoe, Emi Yokoyama, Kimiko Suzuki, Junko Kohira, Toshiaki Tokimatsu, Takeshi Kawashima, Osamu Ogasawara, Yasukazu Nakamura, Masanori Arita, Toshihisa Takagi ・ NIG : Fumi Hayashi, Takako Mochizuki, Yasuhiro Tanizawa, Naoko Sakamoto, Takatomo Fujisawa ・ AIRC : Jun Sese, Motoko Tsuji, Yukiko Ochi ・ NARO : Tokurou Shimizu, Keisuke Nonaka ・ RIKEN : Norio Kobayashi, Satoshi Kume, Yasuhiro Murakawa ・ RinkaiHackathon : Masaaki Yoshida, Mayuko Hamada, Kunifumi Tagawa, Yoshiaki Morino, Norio Miyamoto