Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

ML@Loft 20200430

388 Aufrufe

Veröffentlicht am

来栖川電算が正しいと考えるアノテーションプロセス、それを体現するアノテーションツールである AnnoFab について紹介します。さらに、AnnoFab を上手く使って実現できる高度な分析の例を紹介します。
機械学習にまつわるエンジニアリングがやりやすい AnnoFab をよろしくお願いします。

Veröffentlicht in: Technologie
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

ML@Loft 20200430

  1. 1. AnnoFab開発企業が考える アノテーションの課題と対策 A W S L o f t T o k y o 2 0 2 0 . 4 . 3 0 来 栖 川 電 算 山 口 陽 平 M L @ L o f t # 1 2 . ア ノ テ ー シ ョ ン ( オ ン ラ イ ン 開 催 ) # M L L o f t
  2. 2. 今日話すこと 1. はじめに 2. アノテーションの重要性 3. 来栖川電算のアノテーションプロセス 4. AnnoFab 5. アノテーション方法の工夫 6. 付録 2
  3. 3. はじめに 自己紹介 & 会社紹介 3
  4. 4. 山 口 陽 平 @melleo1978 • 所属 – 有限会社 来栖川電算 取締役 – 名古屋工業大学大学院博士前期課程修了 • 実績 – IPA 未踏ソフトウェア創造事業採択 – Mashup Awards 9 優秀賞受賞 • 興味 – 機械学習,強化学習,UI/UX – 高速化,省資源化,並列分散 ※実物に髪の毛はありません 4
  5. 5. 山 口 陽 平 @melleo1978 • [実践]画像認識 を執筆 WEB+DB PRESS Vol.83 – これから画像認識をはじめる人におススメ 5 – OpenCV の使い 方や実装例 – SIFTなどの各種 アルゴリズムや 特定物体認識の しくみ – 精度改善への取 り組み方
  6. 6. 来栖川電算 設立 2003年(名古屋工業大学発ベンチャー) 従業員 70人 • SF 世界の技術を実現し、社会に役立てる – AI 技術のライセンス販売・研究・SI • 文字認識,物体認識,動作認識,行動認識 – スマホアプリの企画・制作・運営 スマートライフ技術 NTTドコモ様との共同研究 スマートドライブ技術 大手自動車メーカー様むけ メイドさん もふくめて 6
  7. 7. 7 AR付箋 書籍の中身を検索するアプリ Cellars ワインラベルで情報検索するアプリ 画像認識API 商品パッケージで情報検索するAPI 生活情報調査 道路沿いの視覚情報を収集し、活用 交通情報調査 道路沿いの視覚情報を収集し、活用 研究開発支援 タンゴチュウ 写真に写る単語を抽出するサービス 走行データ解析 周辺環境を認識し、様々な解析に活用 地図生成 オルソ画像から地物・交通規則を抽出 動作推定API 加速度センサで人の行動を推定 毎朝体操 腕の動きで体操採点するアプリ ヒーローの動きでゲームを制御 なりきり2.0 ー シ ョ ン 認 識 研究開発支援 研究開発支援 AHAB 大量の実験と計算資源を効率的に管理 ANNOFAB 高品質なアノテーションを大量に生産可能 DNNコンパイラ DNNの推論を10~1000倍も効率化 GameControllerizer プログラマブル・ゲームコントローラ 研究開発支援 類似検索 類似検索 類似検索 文字認識 物体認識 物体認識 物体認識 物体認識 モーション認識 モーション認識 モーション認識物体認識 瞳孔位置推定 眼球運動を監視し、眠気の推定に活用
  8. 8. 技術者集団 様々なアルゴリズムや知識で課題解決 • 最先端の AI 技術 – 文字認識,物体認識,モーション認識 • 限界性能を引き出す優れた実装技術 – 機械学習・コンパイラ・データベースなどの アルゴリズムやバイナリハックを駆使した高 精度化・高速化・省資源化・並列化・分散化 • 高品質なソフトウェアを実現する技術 – 言語・アーキテクチャ・プロセスに対する深 い理解に基づく設計と計画 8
  9. 9. スコープ AI に関わる全てを提供 9 技術者育成 プロセス開発 ツール開発 チーム育成 データ収集 データ作成 サービス開発 アルゴリズム研究 アルゴリズム開発 サービス運営 企画
  10. 10. コミュニティ活動 様々な勉強会を主催 スタッフとして協力 会場提供 10
  11. 11. アノテーションの重要性 機械学習はアルゴリズムよりもデータ 11
  12. 12. 深層学習以降の風潮 一貫した正しいデータをたくさん作れたら勝ち • データ整備による性能改善がよく効く 12 推 論 の 誤 り 性 能 の 改 善 モデルアーキテクチャの改善 データ収集・アノテーションの改善 サンプリング・シンセサイズの改善 評価手法の改善 タスク設計の改善
  13. 13. アノテーション データに対する説明 学習や選別に利用 • タスクの内容や学習のさせ方により様々 – トレードオフ:量,正確さ,精密さ,… 13 出典: google street view出典: google street view出典: google street view 種類選択 ⇒ 識別タスク 矩形選択 ⇒ 検出タスク 画素選択 ⇒ 分割タスク
  14. 14. Q. 人はどれ? マネキン,ポスター,信号,映り込み,… 14 出典: google street view
  15. 15. Q. 看板はどれ?境界は? 壁や窓の文字・ロゴ・ポスター,旗,カニ,… 15 出典: google street view
  16. 16. とても悩ましい 我々の問題に対する理解は不十分だと思え! • 簡単そうなのに何故? – 同じ対象であっても使い方によってアノテーショ ン方法が大きく異なる。やらないと分からない。 – 現実は想像より遥かに複雑で、解きたい問題に都 合よく整理されていない。言語化も難しい。 • 機械学習の難しさと根本は同じ – 解き方が分から機械学習を使う。すると問題に対 する理解の不足・誤りがある状況から出発する。 データや実験結果を観察し、問題に対する理解を 深め・訂正してゆくしかない。 16
  17. 17. 来栖川電算の アノテーションプロセス 丸投げなんて絶対しない 17
  18. 18. 来栖川電算のプロセス まじめにアノテーションしようと考えて辿り着いた方式 • ユーザによる観察改善 • 管理者によるユーザの支援 • ランダム検査による教育と理解の統一 18 アノテーションユーザ アノテータ管理者 アノテータ チェッカー 生産 アノテーション仕様 質問・回答 インタビュー アドバイス 生産計画 生産実績 アノテーション 検査 更新 整理 平易化 把握 更新 把握
  19. 19. この方式を採用する理由 ユーザが積極的に関わることは問題解決への近道 • アノテータやチェッカーが多い – 分割統治すると仕様の解釈に方言が生まれる • アノテーションは簡単そうで難しい – 少し複雑な仕様になると、検査(フィードバック を早く受け取れる仕組)が必須となる • そもそも問題への理解が不足している – 観察は品質や生産性を改善するだけでなく、解き たい問題への理解にもつながる – 理解を促進するので、軽めのアノテーションを積 極的に実施できるようにすることが重要である 19
  20. 20. AnnoFab 企業・研究機関・アノテーション企業へ広がりつつある 20
  21. 21. 21 機械学習の専門家のノウハウが詰め込まれた クラウド型アノテーションツールとサービス https://annofab.com/
  22. 22. リッチで生産的なエディタ 漏れと矛盾を防ぎ迅速で正確な作業を可能にする機能が満載 ⇒ 自動検査,入力補完,ショートカット,ガイド表示,検査コメント,… 22
  23. 23. 柔軟なカスタマイズ性 要件ごとに適したエディタをすぐに調達可能 ※途中で変更も可能 ⇒ 様々な図形・属性・入力制限・表示色・ショートカットに対応 23
  24. 24. 分かりやすい一覧 アノテーション全体を素早く把握可能 ⇒ ID・ラベル・属性値によるアノテーションの検索・集計・一括編集 24
  25. 25. きめ細やかな課題管理 指摘と現物を見比べながら円滑な修正が可能 ⇒ タスク一覧,エディタに統合された課題管理(前頁図) 25
  26. 26. 自動的な計測と可視化 リアルタイムな把握と最適化 ※海外拠点の遠隔制御に有効 ⇒ 品質・生産性に関わる様々な指標:時間,完成数,差戻数,指摘数,… 26
  27. 27. その他 様々なタスクに対応 ⇒ 画像・映像・系列データの領域の分割・検出・追跡・識別・属性推定 徹底的な自動化支援 ⇒ Web API・CLI により大量一括処理や外部システムとの連携が容易 ⇒ Web UI でできることは Web API・CLI で全て可能 多言語対応 ⇒ 表示されるメッセージは全て日本語と英語に対応(カスタマイズ可能) プライベートストレージ対応 ⇒ 心配な方のためにユーザのストレージ(オンプレミス or S3)に対応 プロフェッショナルサービス ※有料オプション ⇒ アノテーション,アルゴリズムの研究開発,これらに対するコンサルティング 27
  28. 28. アノテーション方法の工夫 AnnoFab なら簡単にできる 28
  29. 29. 目視サンプリング 動画アノテーションで目視サンプリング 価値が高い(対象が写っている)フレームを動画アノ テーションで特定し、ランダムサンプリングしたもの に画像アノテーションを行う。全体の分布も分かる。 29 動画アノテーション 動画集合 時間帯集合 フレーム集合 サンプリング 画像アノテーション
  30. 30. 疑似 3D on 前方画像 3D 空間上での姿勢を画像アノテーション 物体を囲う矩形だけでなく接地線(タイヤの接地点を つなぐ線)とリンク(物体と接地線の対応)を画像ア ノテーションする。矩形と接地線から姿勢を求める。 30
  31. 31. 疑似 3D on 鳥観画像 3D 空間上での位置と姿勢を画像アノテーション LiDAR データから鳥観画像を作り、画像アノテーショ ンを行う。天井と床を除去、点群を時刻で色分、カメ ラ画像を付与するとアノテーションしやすくなる。 31
  32. 32. 特定物体の時系列変化 物体検出追跡器 × 動画アノテーション 物体検出追跡器を用いて検出枠に物体 ID を付与し、 ID ごとにそれだけを囲った動画を生成する。これに 動画アノテーションを行えば物体ごとに分析できる。 32 物体検出追跡器 動画集合 物体 ID 付き検出枠集合 物体ごとの動画集合 物体 ID でサンプリング 動画アノテーション
  33. 33. まとめ 高度な分析も AnnoFab でスマートに実現可能 • 柔軟なアノテーション仕様 – 様々な図形や属性の組み合わせで対象を記述 • 多段工程を記述できる Web API・CLI – AnnoFab への投入・取得,前後のデータ変換 • アドバイス – 追加投入で何度も実行されるのでスクリプト 化すべし – サンプリングしたフレームには追跡可能なよ うに ID を付与すべし 33
  34. 34. 事例・製品・サービス 付録① 34
  35. 35. 類似検索 膨大なデータの中から類似データを高速・高精度に照合できる 35
  36. 36. 画像認識 API 商品パッケージで情報検索する API 商品パッケージが写った画像を送信するだけで、膨大 な DB から瞬時に種類を特定。クロールした画像から 直接構築した DB を利用。 36
  37. 37. Cellars ワインラベルで情報検索するアプリ ワインラベルにスマホをかざすだけで、18 万件から 瞬時に種類を特定。国内外のコンテストで入賞。株式 会社 Cellars 様による弊社技術の応用事例。 37
  38. 38. AR 付箋 書籍の中身を検索するアプリ 書籍を開いてスマホをかざすだけで、膨大な DB から 瞬時にページを特定し、貼られている付箋を表示。お 客様による弊社技術の応用事例。 38
  39. 39. 物体認識 物体の位置・向き・姿勢・種類を高速・高精度に捉える 39
  40. 40. 走行データ解析 周辺環境を認識し、様々な解析に活用 膨大な走行データから歩行者・車両・白線・標識など を検出・追跡し、索引化。必要に応じて、CAN や Lidar なども活用し、高品質化。 40
  41. 41. 地図生成 オルソ画像から地物・交通規則を抽出 自動運転に使用可能な高品質な地図をオルソ画像から 高速に抽出できる深層学習手法を開発。株式会社トヨ タマップマスター様との応用事例。 41
  42. 42. 交通情報調査 道路沿いの視覚情報を収集し、活用 首都圏を走行する大量の車両のドラレコを解析し、視 覚情報(天候,路面状態,レーン別交通量,危険シー ン,…)を DB 化。顧客との研究事例。 42
  43. 43. 生活情報調査 道路沿いの視覚情報を収集し、活用 アスクル株式会社様の営業車のドラレコを解析し、視 覚情報(ガソリン価格,駐車場満空,渋滞,事故,行 列,…)を DB 化。ヤフー株式会社様との共同研究。 43
  44. 44. 瞳孔位置推定 眼球運動を監視し、眠気の推定に活用 スマートグラスで撮影した映像から瞳孔位置・閉眼状 態を高精度に推定。個人差・外乱に頑健。エッジで 60 fps。知の拠点あいち重点研究プロジェクト事業。 44
  45. 45. 文字認識 様々な書体・外乱に対応した 45
  46. 46. タンゴチュウ 写真に写る単語を抽出するサービス 情景画像(スマホで撮影した写真など)に写る単語を 抽出。様々な書体・配置・劣悪な環境(歪み・隠れ・ 擦れ・照明など)での利用を想定。 46
  47. 47. モーション認識 身体の動き・姿勢を高速・高精度に捉える 47
  48. 48. 動作推定 API 加速度センサで人の行動を推定 スマホやウォッチの動きから静止・歩行・走行・食 事・睡眠などを推定。同じ仕組みで撮影時の手振れ検 出も可能。株式会社 NTT ドコモ様との共同研究。 48
  49. 49. 毎朝体操 腕の動きで体操採点するアプリ 100 ヶ国 20 万人を超えるユーザから日々送られてく るセンサデータを学習することで体操採点の正確さが 自動改善。JFE スチール株式会社様へ導入。 49
  50. 50. なりきり 2.0 ヒーローの動きでゲームを制御 腕や脚に装着したセンサで体の動きを捉え、家庭用 ゲーム機のコマンドを生成。格闘ゲームが遊べるほど の速さと正確さをスマホ上で実現。 50
  51. 51. 研究開発支援 日々使い改良される道具による 51
  52. 52. DNN コンパイラ DNNの推論を 10 ~ 1000 倍も高速化 重みや活性の量子化・スパース化、計算の共有などの 様々な手法で DNN を近似し、高速化・省資源化され た実行形式(Linux・Android・iOS)へ変換。 52
  53. 53. AHAB 大量の実験と計算資源を効率的に管理 計算資源をハイブリッドクラウド化する実験スケ ジューラ。実験のスクリプト化、信頼性や再現性の向 上、資源割り当ての効率化などを促進。 53
  54. 54. ANNOFAB 高品質な教師データを大量に生産可能 品質と生産性のトレードオフ、誤り漏れの削減、きめ 細かく柔軟な仕様・課題・進捗の管理。実務で培った ノウハウが詰まったアノテーションサービス。 54
  55. 55. GameControllerizer プログラマブル・ゲームコントローラ ゲーム機・PC・スマホなどに接続するだけでゲーム 操作をプログラミング可能にするデバイス。ビジュア ル・プログラミング(Node-REDなど)にも対応。 55
  56. 56. ロボット 人と混在する空間で働く 56
  57. 57. 空港で働くロボット カート回収・荷物運搬 ※セントレアで実証実験 LiDAR 点群から求めた物体の3次元姿勢(位置・方 向)をカメラ映像のみから高精度に推定。新明工業株 式会社様・オンクラウズ株式会社様との共同研究。 57
  58. 58. 体制・設備・サポート 付録② 58
  59. 59. 柔軟な体制 AI 実現のための業務と基盤業務をカバー 59 AI アプリ SI インフラ AI インフラ データ モデル 研究者アノテータ デザイナ 開発者 役職 研究者 開発者 デザイナ アノテータ その他 合計 役員・正社員 21.6 % 27.3 % 0.1 % 4.9 % 3.3 % 57.1 % アルバイト/即戦力枠 10.0 % 2.9 % 2.9 % 22.9 % 1.4 % 40.0 % アルバイト/育成枠 0.0 % 0.0 % 0.0 % 0.0 % 0.0 % 0.0 % アルバイト/試用枠 1.4 % 1.4 % 0.0 % 0.0 % 0.0 % 2.9 % 合計 33.0 % 31.6 % 3.0 % 27.7 % 4.7 % 100.0 %
  60. 60. 豊富な資源 研究開発を円滑にするためにあらゆる手を尽くす • 理想的な個人設備 – PC,椅子,モニタ,キーボード,マウス,… • スグに使える計算資源とアノテータ – Ahab:実験用ハイブリッドクラウド – ANNOFAB:アノテーションサービス • 世界中から集まるデータ – 自動運転用データ,商品認識用データ,文字 認識用データ,体操採点用データ,… 60
  61. 61. 創造的な働き方 技術を磨きやすくするためにあらゆる手を尽くす • 様々な働き方 – 自由な時間帯・場所,冒険者制度,… • 優秀な同僚 ※メンタリング(JEDI 制度) – IPA 未踏ソフトウェア創造事業採択者,コン テスト入賞者,OSS コントリビュータ,… • その他 ※全て会社負担 – 自己研鑽のための書籍・機材の購入 – 勉強会・懇親会の開催・参加・移動・宿泊 – 会社の昼会・夕会・飲み会で供される飲食物 61
  62. 62. 62 募集中 研究者 開発者 デザイナ

×