Watsonをささえる ハイパフォーマンスクラウドで はじめるDeep Learning
•
3 gefällt mir•745 views
イベント名：HWAUG & GPU-Accelerated VDI Community Meetup in 札幌 https://h-watson.connpass.com/event/44378/ テーマ：「IBM Watson技術紹介とGPUを利用した高性能仮想デスクトップの最新動向」 主催 : 北海道Watsonユーザー会（HWAUG) & Japan GPU-Accelerated VDI Community
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Andere mochten auch
Andere mochten auch (20)
Ähnlich wie Watsonをささえる ハイパフォーマンスクラウドで はじめるDeep Learning
Ähnlich wie Watsonをささえる ハイパフォーマンスクラウドで はじめるDeep Learning (20)
Mehr von Atsumori Sasaki
Kürzlich hochgeladen
Kürzlich hochgeladen (11)
Watsonをささえる ハイパフォーマンスクラウドで はじめるDeep Learning
- 1. Watsonをささえる ハイパフォーマンスクラウドで はじめるDeep Learning 2016年11⽉21⽇ ⽇本アイ・ビー・エム株式会社 クラウド事業本部 佐々⽊敦守 HWAUG & GPU-Accelerated VDI Community Meetup in 札幌
- 2. ⾃⼰紹介 • 2006年、⽇本IBM⼊社後、システム製品事業にて、HPCクラウド（IBM Computing on Demand）、プライベート・クラウド（IBM Cloud Showcase）の開発・運⽤に従事。2014年より、クラウド事業のテクニカ ル・セールスを担当。 • 最近は、地⽅創⽣を⽬的としたオープン・イノベーション推進プログラム 「イノベート・ハブ九州」にてテクニカル・アドバイザーも担当。 http://www.amazon.co.jp/dp/ B0168EZKOC http://www.amazon.co.jp/dp/B 01C6UWTSW http://www.redbooks.ibm.com/ redbooks/pdfs/sg248073.pdf 佐々⽊ 敦守 ⽇本アイ・ビー・エム株式会社 クラウド事業本部 クラウド・テクニカル・セールス アドバイザリー・アーキテクト http://hash.city.fukuoka.lg.jp/news/archives/140 2
- 3. 本⽇の内容 • クラウドAIファースト • 代表的なクラウドAIのサービス⼀覧 • クラウドAIの利⽤と分類 • IBMのクラウドAIの強み • Visual Recognition v3による画像認識 • ベアメタルGPUによる画像認識 • ベアメタルGPU活⽤事例 • OpenPowerの取り組み • まとめ 3
- 4. クラウドAIファースト IBM is now emerging as a solutions and company. （IBM は コグニティブ･ソリューションとクラウ ド･プラットフォーム の会社です。） We will move from mobile first to an AI first . （私たちはモバイルファーストからAI ファーストの世界へ移るつもりだ。） for every person and organization. （マイクロソフトは、AIをあらゆる⼈々 と組織に対して⺠主化する。） 4 Ginni Rometty Sundar Pichai Satya Nadella
- 5. Facebook、Amazon、Google、IBM、 MicrosoftがAIで歴史的な提携を発表 https://www.partnershiponai.org/ 5 2016年9⽉、⼈⼯知能の普及とベストプラクティスを共有する⾮営利団体「Partnership on AI」を設⽴。 AIの倫理や公平性、プライバシー、透明性などを共同で研究し、その成果を公表することを⽬的とする。 Microsoft IBM Facebook Google
- 6. 代表的なクラウドAIのサービス⼀覧 IBM Google Microsoft ⾔語 • AlchemyLanguage • Conversation • Document Conversion • Language Translator • Natural Language Classifier • Personality Insights • Retrieve and Rank • Tone Analyzer • Translate API • Natural Language API • Bing Spell Check • Language Understanding • Linguistic Analysis • Text Analytics • Translator • WebLM ⾳声 • Speech to Text • Text to Speech • Speech API • Bing Speech Custom Recognition Speaker Recognition 画像・動画 • Visual Recognition (AlchemyAPI) • Vision API • Computer Vision • Content Moderator • Emotion • Face • Video データ・インサイト • AlchemyData News • Discovery • Tradeoff Analytics • Academic • Entity Linking • Knowledge Exploration • Recommendations 6
- 7. クラウドAIの利⽤と分類 モデル開発 （IaaS） データ分析 （PaaS） サービス利⽤ （SaaS） ベアメタルGPUを 利⽤した⾃社モデル開発 l ⼿元のデータから独⾃のモデル を開発する l ディープラーニング・フレーム ワークを利⽤する クラウド・リソースを 利⽤したモデル開発 l すでに効果が⾒えているデータ 群から、リソースを利⽤して機 会学習モデルを設計する • IBM Watson Machine Learning • Google Cloud Machine Learning • Microsoft Azure Machine Learning 既存モデルを 利⽤したサービス利⽤ l トレーニング済みの機械学習 サービスを利⽤したモデル適⽤ を⾏う • Watson Visual Recognition API • Google Cloud Vision API • Microsoft Computer Vision API カスタマイズ性 俊敏性 ⼀般的にクラウド上での機械学習/ディープラーニングの形態は以下３つに分類できます。 7
- 8. IBMクラウドAIの強み Machine Learning Machine Learning (TensorFlowベース) Machine Learning Microsoft Cognitive Services ⾔語 ⾳声 画像 ⾔語 ⾳声 画像⾳声 画像 データ⾔語 Dedicated/Local Watson Machine Learning 9 Redshift dashDB Big Query SQL DW インターネット インターネット インターネット インターネット 各社機能は似通っており、クラウド提供であることから、クラウド・アーキテクチャーも 含めた点が差別化ポイントと考えられます。 ① ソフトバンク経由の⽇本語対応メニューがある ② 豊富な業界ベースのWatson Knowledge Studioがある ③ 豊富なIBMコグニティブコンサルタントが⽀援可能である ④ インターネット接続不要で顧客専有環境での提供が可能 ⑤ ベアメタルGPUやOpenPowerをIaaSとして使える ハイブリッド・クラウド
- 9. Visual Recognition v3 • Visual Recognitionによる事前分類やフィルタリングをすることで、業務における様々な確認や分 析作業を⾏う⼈間の負荷低減をする。 • 不適切な画像のフィルタリング • 画像選択での事前分類 • 商品や制作物の品質確認 • トレーニングデータ • 分類すべきクラスごとに集められた最低10毎の画像（適切な分類品質を得るには50枚以上） • どのクラスにも該当しないネガティブな最低10枚の画像 9 ディープラーニングのアルゴリズムを使⽤して画像分析し、画像に含まれるオブジェクト、顔、 テキストを分析します。
- 10. Visual Recognition v3 Node-RED starter NodeJS Cloudant NoSQL DB 画像URL⼊⼒ 顔認識結果 深層学習のアルゴリズムを使⽤した顔認識（Detect faces）APIにより⼊⼒画像を分析し、画像に 含まれる顔を認識します。画像に含まれる顔を検知し、性別と年齢を判別します。有名⼈について は⼈物の特定もします。 Visual Recognition 10
- 12. Visual Recognition v3 12https://watson-api-explorer.mybluemix.net/apis/visual-recognition-v3#/ $ curl -X GET "https://gateway-a.watsonplatform.net/visual- recognition/api/v3/detect_faces?api_key=6bb7bda55e32e063175c0e9feadf1e063cb13587&u rl=http://www.slate.com/content/dam/slate/uploads/2016/02/27/512501530-republican- presidential-candidate-donald-trump-speaks.jpg.CROP.promo-xlarge2.jpg&version=2016-05- 20”
- 13. Visual Recognition v3 [ { "age": { "min": 65, "score": 0.670626 }, "face_location": { "height": 645, "left": 573, "top": 153, "width": 456 }, "gender": { "gender": "MALE", "score": 0.993307 }, "identity": { "name": "Donald Trump", "score": 0.924142, "type_hierarchy": "/people/celebrities/donald trump" } } ] 顔認識（Detect faces）APIを使⽤することで、画像に含まれる顔を検知し、性別と年齢を判別 します。有名⼈については⼈物の特定もします。 13
- 16. IBMクラウドのコンピューティング選択肢 仮想サーバー “抽象化” “制御” ベアメタル Dedicated Compute High Memory Intensive Disk I/O Isolation Familiar Full Operating System Control コンテナー Portable Flexible Light-weight CF Apps Speed Manage code, not infrastructure OpenWhisk Stateless Event-Driven Short-lived …開発者のニーズに合わせる… 総合制御 柔軟性最⼤効率 DevOps 最少コスト 反応性16
- 18. 時間課⾦GPUベアメタルの構成例 18 項⽬ 仕様 CPU Dual Intel Xeon E5-2620 v4 (16 Cores, 2.10 GHz) RAM 128 GB RAM 1次グラフィック処理装置 NVIDIA Tesla K80 Graphic Card 2次グラフィック処理装置 NVIDIA Tesla K80 Graphic Card OS Ubuntu Linux 16.04 LTS Xenial Xerus (64 bit) ハードディスク SSD 800 GB × 2 (RAID1) アップリンクポート速度 1 Gbps Public & Private Network Uplinks 電源装置 Redundant Power Supply $3.927（約435円）/時間
- 22. TensorFlow on ベアメタルGPU 22 1. Bluemix Infrastructureのポータルより ベアメタルGPUのオーダー 2. Nvidia GPUドライバインストール （ベアメタルOS上） 3. Dockerインストール （ベアメタルOS上） 4. nvidia-dockerインストール （ベアメタルOS上） 5. Tensorflow + GPU の イメージ作成＆実⾏ 構築Step 15分 10分 5分
- 23. Step 1. ベアメタルGPUのオーダー 23 SoftLayerのカスタマー・ポータル（https://control.softlayer.com）よりGUP対応の時間課⾦ベアメタ ル・サーバーをオーダーします。現在時間課⾦に対応しているベアメタルGPUはIntel Xeon E5- 2690v4 + Grid K2モデルとIntel Xeon E5-2620v4 + Tesla K80モデルの2種類です。 15〜30分程度で プロビジョニングが完了！ システム構成情報がポータ ル上から確認できます。
- 24. Step 2. GPUドライバーのインストール 24 OSプロビジョニング後にシステム・アップデートを実施後、OSS標準ドライバ“nouveau”を無効化した 上で最新のNVIDIA GPUドライバーをインストールします。この環境では、最新ドライバーは、wget http://fr.download.nvidia.com/XFree86/Linux-x86_64/367.55/NVIDIA-Linux-x86_64- 367.55.runでダウンロードします。 ./NVIDIA-Linux-x86_64- 367.55.runでインストー ルします。 nvidia-smiコマンドで正 常にインストールされたか を確認できます。
- 25. Step 3. Dockerインストール 25 公式のインストール・マニュアル （https://docs.docker.com/engine/installation/linux/ubuntulinux/）にしたがいDockerをインス トールします。 # sudo apt-get install apt-transport-https ca-certificates # sudo apt-key adv --keyserver hkp://ha.pool.sks- keyservers.net:80 --recv-keys 58118E89F3A912897C070ADBF76221572C52609D # echo "deb https://apt.dockerproject.org/repo ubuntu- xenial main" | sudo tee /etc/apt/sources.list.d/docker.list deb https://apt.dockerproject.org/repo ubuntu-xenial main # sudo apt-get update # apt-cache policy docker-engine # sudo apt-get update # sudo apt-get install linux-image-extra-$(uname -r) linux-image-extra-virtual ここではUbuntu版を利⽤
- 26. Step 4. nvidia-dockerインストール 26 # sudo wget -P /tmp https://github.com/NVIDIA/nvidia- docker/releases/download/v1.0.0-rc.3/nvidia- docker_1.0.0.rc.3-1_amd64.deb sudo dpkg -i /tmp/nvidia- docker*.deb && rm /tmp/nvidia-docker*.deb # sudo nvidia-docker run --rm nvidia/cuda nvidia-smi 公式のQuickStart（http://qiita.com/ttomoaki/items/5a180f61647750eb8d70）にしたがい、 Nvidia-Dockerをインストールします。 ソースコードはGitHubに 公開されています。
- 27. Step 5. TensorFlow + GPU のイメージ 作成＆実⾏ 27 “nvidia-docker run -it -p 8888:8888 gcr.io/tensorflow/tensorflow:latest-gpu”コマンドにより TensorFlow + GPUコンテナが起動します。マスターは、TensorFlowのGithub (https://github.com/tensorflow/tensorflow/tree/master/tensorflow/tools/docker)にも公開され ています。 Dockerを起動後、http://${HOST_IP}:8888/ にアクセスすればjupyterの画⾯が確認できます。 3_mnist_from_scratch.ipynb の notebookを起動して Cell -> Run All でサンプルが動くことを確認します。 jupyterのログでGPUを使って 計算されていることを確認しま す。
- 28. 事例１：Alpaca様 28 個⼈の投資アイデア(認識したい値動きの時系列デー タ)を投資アルゴリズムにする際に、Deep Learning によって⾦融時系列データの認識機を作成。 Dockerを徹底活⽤してベアメタルGPUサーバに ハイパフォーマンスなディープラーニング環境を構築。 Alpaca社のDeep Learningを活⽤したトレーディング・アルゴリズム・サービス（Capitalico）で、 ベアメタルGPUが採⽤されました。 Alpaca Head of Japan R&D 北⼭ 朝也 ⽒ 様々なGPUサービスを⽐較検討した結果、もっともコ スト・パフォーマンスの⾼かったBluemix Infrastructure （旧SoftLayer）のGPUを使って、サービスを開発、およ び本番運⽤しています。
- 29. 事例２：Bitfusion様 29 CPU-only Node 48 Cores 3 TB Memory 72 TB SSD Storage Logically attached GPUs BoostMassive Virtual Node GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU Racks with GPUs GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU GPU • ベアメタルGPU+Bitfusion Boostにより、MapD（GPUを使ったSQLデータベー ス）の400億⾏のデータに対するʻselect carrier_name, count(*) from flights2 group by carrier_nameʼの処理をわずか271msで完了（1秒あたり147億レコード をスキャン。） 対象：1987-2008年の⽶国航空情報（1.28億⾏ x 312レプリカ） 環境：MapD on IBM Cloud BitFusion Boostで、異なる物理マシンの64基 搭載されたGPUを１台にあるかのように！！
- 30. l 1CPUあたり12コア l 1CPUあたり96スレッド l 1 TB RAM l 総I/Oバンド幅7.6Tb/s l GPUs and FPGAs coming… OpenPOWER 従来からの Intel x86サーバー http://www.softlayer.com/bare-metal-search?processorModel[]=9 HPCのためのオープンなハードウェア POWER8 Processo r Memory Buffers Memory Buffers PCI DMI PCI POWER8 Processor POWER8 Processor DMI DMI DMI DMI DMI DMI DMI NODE-to-NODE ON-NODE SMP Infrastructure 30
- 31. DockerCon Europe 2015デモ環境 合計： 10,011コンテナ/1ノード ubuntu (8028台), Node.js(991台), Wordpress (992台) • 広バンド幅、⾼速メモリ・インターフェース、他スレッド⾼速コア • Split-CoreモードによりインタラクティブなWebアプリケーションのサポートを改善 • 2倍のコンテナ密度によるコスト削減 • スループット40%UP、レイテンシー4倍 • OpenPowerエコシステムがハードウェア・プラットフォームの選択肢の幅を提供 OpenPOWERで⾼密度Dockerコンテナ 31
- 32. IBMとNVIDIAによる⼤規模 ディープラーニングソリューション 32 ディープラーニングソフトウェアツール群「IBM PowerAI」を投⼊し、NVLink搭載IBM POWERサーバを組み合わせたアプライアンスによるソリューションを提供します。 IBM Power System S822LC for High Performance Computing
- 33. まとめ lクイックに⾼品質なコグニティブ・ソリューションを開発する ならWatson APIなどクラウドAIサービスが便利です。 l⾃社独⾃モデルを⽤いて本格的にDeep Learningに取り組むの であればIBMクラウドのベアメタルGPU＋各種Deep Learning フレームワークがおすすめです。 lIBMはハイブリッド・クラウドで全⽅位的にクラウドAIをサ ポートします。 33 さらなる詳細は Bluemix(SoftLayer) Advent Calendar 2016にて公開！！ http://qiita.com/advent-calendar/2016/bluemix
- 36. 顔認識アプリケーション • 顔認識アプリケーション（Facial Recognition Application） • 監視カメラのデジタル画像から、⼈を⾃動的に識別するためのコン ピュータ⽤アプリケーションである。 ライブ画像内の顔と思われる部 分を抜き出し、顔⾯画像データベースと⽐較することで識別を⾏う。 監視カメラシステム。顔認識機能 と⾃動⾞の型式、⾊、ナンバーな どを認識する機能がある 煙草の⾃動販売機に備えつけられた 顔認証システム 顔認識とは、任意の画像が、顔画像かどうかを、 コンピュータに判定させる問題 ©Copyright IBM Corporation 2016 36
- 37. Visual Recognitionによる顔認識 深層学習のアルゴリズムを使⽤して画像を分析し、画像に含まれるオブジェクト、顔、テキストを分析します。 顔認識（Detect faces）APIを使⽤することで、画像に含まれる顔を検知し、性別と年齢を判別します。有名⼈に ついては⼈物の特定もします。 [ { "classes": [ { "class": "person", "score": 0.947846, "type_hierarchy": "/people" } ], "classifier_id": "default", "name": "default" } ] [ { "age": { "max": 64, "min": 55, "score": 0.561065 }, "face_location": { "height": 378, "left": 489, "top": 146, "width": 334 }, "gender": { "gender": "MALE", "score": 0.993307 } } ]©Copyright IBM Corporation 2016 37
- 39. システム全体像 Node-RED starter NodeJS Cloudant NoSQL DB 画像URL⼊⼒ 顔認識結果 今回のハンズオンでは、Visual Recognitionではなく AlchemyAPIを使います（将来的に統合されます。） 深層学習のアルゴリズムを使⽤した顔認識（Detect faces）APIに より⼊⼒画像を分析し、画像に含まれる顔を認識します。画像に 含まれる顔を検知し、性別と年齢を判別します。有名⼈について は⼈物の特定もします。 AlchemyAPI ©Copyright IBM Corporation 2016 39
- 40. 全体の流れ • ステップ０：Bluemixアカウントの作成 • ステップ１：Node-REDボイラープレートのプロビジョニング • ステップ２：顔認識アプリケーションの開発 • ステップ３：顔認識アプリケーションの動作確認 ©Copyright IBM Corporation 2016 40
- 43. 0-2. アカウントの確認 ©Copyright IBM Corporation 2016 Hi xxx, Thank you for signing up for Bluemix! Your 30-day trial starts when you confirm your account by clicking the link that follows. During your trial, you'll have access to Bluemix to build apps, with 2GB of runtime and container memory, as well as up to 10 provisioned Bluemix services. And, you won't need to provide any form of payment for this trial. When you click to confirm your account, you accept the Bluemix Terms of Use. Confirm your account If you have any problems logging in, let us know at ibm.biz/bluemixsupport. 差出⼈: "The Bluemix Team" <no-reply@bluemix.net> ⽇時: 2016年8⽉29⽇ 13:35:32 JST 宛先: xxx@xxx.xxx 件名: Confirm your Bluemix account 返信先: "The Bluemix Team" <no-reply@bluemix.net> 通常10分程度でBluemixチームからメールが届きます。”Confirm your account” をクリックしてアカウントをアクティベーションします。 43
- 48. 1-2. Node-RED Starterの選択 カタログからNode-RED Starterのボイラープレートを選択してください。 ©Copyright IBM Corporation 2016 48
- 51. 1-5. AlchemyAPIのバインド 接続メニューを選択し、” AlchemyAPI”を新規に接続します。もともとのボイラー プレートには、Cloudant NoSQL DBが接続されています。 ©Copyright IBM Corporation 2016 51
- 56. 1-10. Node-REDの表⽰ Node-REDの初期ページが表⽰されます。”Go to your Node-RED flow editor”を、 クリックするとNode-REDのフロー・エディターが起動します。 ©Copyright IBM Corporation 2016 56