【2018年12月14日 SEMICON JAPAN 2018　Techspotセミナー講演資料】 ・製品不良検査ソフトウェア PFN Visual Inspection 高精度・低コストを実現する外観検査ソフトウェア "Preferred Networks Visual Inspection" 、様々な作業場において容易に設置・運用開始できるピッキングロボットシステム "Preferred Networks plug&pick robot" を紹介します。 製造業の領域で培った深層学習の研究開発成果を盛り込んだパッケージ製品です。 製品紹介HP：https://pvi.preferred-networks.jp/ ・ピッキングロボット　PFN plug&pick robot 様々な生産ラインや作業場に “Plug” したらすぐに、様々なものを “Pick” できるロボットシステムです。 深層学習による最先端のビジョン認識、高速ピッキング動作、賢いロボット制御とリカバリのコア技術と、学習済み画像認識モデルの提供やソフトウェアパッケージ提供によって、実現します。お問合せは以下のe-mailアドレスにご連絡ください。 Videos: https://youtu.be/kS5pOMm30Ic e-mail: pfn-picking@preferred.jp

1. ディープラーニングを応用した
製品不良検査ソフトウェア
および
ピッキングロボットソリューション
SEMICON JAPAN 2018 Techspotセミナー
Preferred Networks
三好 邦彦 / 河合 圭悟

2.  Preferred Networks の会社紹介
 製品不良検査ソフトウェア
Preferred Networks Visual Inspection
 ピッキングロボット
Preferred Networks plug&pick robot
今日お話すること
2
不良

3. Preferred Networks

4. Preferred Networks (PFN)
4
 Founded : March. 2014
 Office : Tokyo. Japan, Berkeley CA. US
 Employees : 180+（8割以上が研究者またはエンジニア）
 Business domains
━ 交通
━ 製造業
━ バイオヘルスケア
━ パーソナルロボット Deep Learning (AI)
Industrial/consumer
IoT

5. パートナー企業様
and Collaborators
5

6. PFN ブース出展しております
 東3ホール 小間番号3538
 深層学習に特化した半導体/クラスター
 製品不良検査ソリューション
 ピッキングロボットソリューション
のご紹介をしております
6

7. 自動外観検査システムを変革する
Preferred Networks
Visual Inspection

8. 自動外観検査システム
キズ 異物 汚れ
留め具のキズ
布の汚れ

9. 自動外観検査システム導入の動機
人手不足 検査基準のぶれ
● 目視検査は重労働
● 教育コストが高い
● 基準の属人化
● 生産拠点間の基準揺れ
携帯端末の外装 布製品自動車の外装回路の実装パターン コネクタ

10. Preferred Networks Visual Inspection の特徴
従来型
マシンビジョン
容易に利用できる／実証完了まで早い
検
知
精
度
が
高
い

11. Preferred Networks Visual Inspection の特徴
従来型
マシンビジョン
容易に利用できる／実証完了まで早い
検
知
精
度
が
高
い
深層学習応用
要アノテーション

12. Preferred Networks Visual Inspection の特徴
従来型
マシンビジョン
容易に利用できる／実証完了まで早い
検
知
精
度
が
高
い
深層学習応用
アノテーション不要
深層学習応用
要アノテーション

13. 従来型
マシンビジョン
容易に利用できる／実証完了まで早い
検
知
精
度
が
高
い
Preferred Networks
Visual Inspection
Preferred Networks Visual Inspection の特徴
深層学習応用
要アノテーション
深層学習応用
アノテーション不要

14. 要アノテーションな深層学習応用製品
全ての不良個所の入力が必要

15. 学習データ準備
良品画像
100枚～
不良品画像
20枚～
学習ツール
良品・不良品画像を区別して登録
（エンジニアは不要です）

16. 少ない枚数でも圧倒的な精度
16
データ種別 データ数
良品データ 79
不良品データ 41
合計 120
データ種別 データ数 良品判定 不良品判定
良品データ 21 21 0
不良品データ 10 0 10
オフィスカーペット画像(PFN作成 )
検証結果
学習データ（学習時間 約45分）
過検知 ゼロ
検知漏れ ゼロ

17. 少ない枚数でも圧倒的な精度
17
データ種別 データ数
良品データ 128
不良品データ 22
合計 150
データ種別 データ数 良品判定 不良品判定
良品データ 850 850 0
不良品データ 128 0 128
DAGM2007 異常検知データセット Class1
検証結果
学習データ（学習時間 約10分）
過検知 ゼロ
検知漏れ ゼロ

18. 問題箇所の可視化
キズ 異物 汚れ

19. 直感的な学習ツールのUI
非エンジニアでも容易に利用可能
DEMO
19

20. 検知基準はポリシーに応じて調整可能
検知漏れを
可能な限りゼロに
過検知と検知漏れの
バランスを重視
判定が難しいものは
検査員にゆだねる
良品しきい値 と 不良しきい値
20

21. 導入フロー
トライアル 実証 導入・運用
学習ツール
検知ライブラリ
• 傷箇所アノテーション不要
• 最小の学習用画像データ
（良品100枚/不良品20枚～）
• CPU版は無償提供
（1～10枚/秒）
• GPU版は高速検知
（最大100枚/秒）

22. 販売・導入体制
システム構築
課題・要件分析学習ツール
検知ライブラリ
PFN パートナー様 導入企業様
22
Phoxter株式会社
異常検知モデルの
短期構築
適切な撮影条件
& 実装ノウハウ
高精度な検知を
短期導入

23. パートナー紹介 : 株式会社 Phoxter様

24. PFN Visual Inspection の4大特徴
異常箇所を強調表示 直感的な学習UI ／ 人間に近い検知スコア
外観検査システムをスピーディかつ安価に構築
様々な素材の外観検査に対応
検知結果の説明性が高い
良品 100枚～
不良品 20枚～
小規模なデータセットでもOK
非エンジニアでも簡単操作
布 金属 プラスチック

25. PFN Visual Inspection 導入効果
作業員の習得支援
ライン・工場増設の期間短縮
立ち上げの期間短縮
品質基準の統一
導入コスト削減
導入
運用
拡大
製造現場のフェーズ

26. PFN Visual Inspection ウェブサイト
https://pvi.preferred-networks.jp/

27. ピッキングロボットソリューション
PFN plug&pick robot
なんでも、どこでも、いつでも

28. 今日お話したいこと
 ロボットによる “物体ピッキング“ の最新技術のご紹介
 本技術を導入・活用されたいお客様や、パートナー様を
募集したい
28

29. Preferred Networksが考える、”ロボティクス” への想い
すべての人にロボットを
https://www.fanuc.co.jp/ja/profile/production/factory1.html
https://newsroom.toyota.co.jp/jp/detail/8709536 29

30. これからのロボティクス
正確な動作 + 環境への 柔軟性
ポインティング + 物体への 接触
(マテハン、組立 etc)
 現場合わせこみの System Integration からの転換
 抽象的なタスクの定義へ
30

31. Picking, Grasping
モノを持つ、掴む
31

32. 研究開発の変遷
CEATEC 2016
Amazon Picking Challenge
2016
EC業者様への
導入検討
ICRA 2017
32

33. Picking の自動化
33
物流
小売の
バックヤード
食品
現状の課題
 人が雇いづらくなっている
（賃金を高くしても集まらない）
 e-コマース等の台頭により、
物流量はどんどん増加
 単調な労働による負担
自動化を進めたい
部品工場

34. ピッキングロボット
34
ものを つかむ おく
いろんな 適切な場所に

35. 自動化、ロボティクスにおける課題
でも結局、導入難しい…
 導入実験したくても、初期コストが高くて予算が出ない！
開発やシステムインテグレーションに、数千万円…
 様々な技術要素が必要
ロボティクス、画像処理、ソフトウェア、ハードウェア…
35

36. PFN plug&pick robot
Plug & Pick !
様々な生産ラインに “Plug” したらすぐ、
様々なものを“Pick” できる
なんでも、どこでも、いつでも
36

37. すぐに導入検討ができる
ピッキングロボット導入に掛かるコスト/時間のイメージ
PFN
plug&pick
robot
Setup
導入
評価
H/W
カスタ
マイズ
通常のロボッ
ト導入時
*想定
H/W
試作
ビジョン系
パラメータ調整
（含 アイテム別対応など）
システム
開発/実装
導入
評価
ロボティクスやビジョンなどの
専門技術が深くなくても
導入評価が開始できる
* スケールはイメージ
37

38. ロボットのかんたん導入
- 学習済みのビジョン認識モデルを提供
- ソフトウェアパッケージ提供を検討
ビジョン認識、モーション生成、判断モジュールの一括提供を検討
- システムキャリブレーション最小化
- 賢いロボット制御とリカバリ動作生成
ロボットを置く ＋ 3Dカメラ設置 → システム起動して作業
38

39. PFN plug&pick robotの技術
ディープラーニングによる、最先端のビジョン認識
• “はじめて見る“ 物体を検出
• 0.2秒で検出完了
39

40. チューニングなしで、様々なものをPick可能
学習済みモデルを使って
追加学習、チューニング無しで
これだけ取れる！
倉庫
コンビニ
スーパー
物流
40
https://youtu.be/kS5pOMm30Ic

41. 学習済みモデルの適用
ディープラーニングによる、
ピッキング対象物体の多様性に対する汎化
すぐ試せる
多様なものに対応できる
学習済みモデルの
適用
41

42. PFN plug&pick robot の技術
• 止まらない、連続した動き
• 6秒でpick→place
（人間が12秒程度）
42
高速 ピッキング動作

43. PFN plug&pick robot の技術
環境への適応
• リアルタイム センサフィードバック
• 衝突回避の計算
• リカバリ動作生成
高度な意思決定
43

44. システム構成
3Dカメラ
(H/W)
ロボット、
ロボットコントローラ、
エンドエフェクタ
(H/W)
GUI
周辺機器
(H/W : コンベアなど)
コントロールシステム
判断モジュール
ビジョン認識
動作生成モジュール
44

45. まとめ
 Plug & Pick
ロボット設置後すぐピッキングの導入評価が開始できる
 3つのコア技術
━ 最先端のビジョン認識
━ 高速ピッキング動作
━ 賢いロボット制御とリカバリ

46. コンタクト情報
Videos & Information
Videos: https://youtu.be/kS5pOMm30Ic
e-mail: pfn-picking@preferred.jp
Web: https://www.preferred-networks.jp
46

47. 本ソリューションにご興味を持って頂けましたら…
ユーザー様、パートナー様を
募集しております
お声がけください！
47

48. さいごに

49. PFN ブース出展しております
 深層学習に特化した半導体/クラスター MN-Core
 製品不良検査ソフトウェア PFN Visual Inspection
 ピッキングロボット PFN plug&pick robot
ぜひお越しください！
49
東3ホール 小間番号3538
不良

50. Copyright © 2018-
Preferred Networks All Right Reserved.

51. 既存のロボットシステムとの比較
ピッキングシステムの
難易度
（アイテムのバラエティ など）
導入までにかかる手間
HighLow
Low
High
アイテムのバラエティが増えても、導入がかんたん
51
PFN plug&pick
robot
既存の
ロボットシステム

52. 52
製品リリース実績
Robot : AI Bin Picking
(FIELD System Application)
Robomachine：AI Thermal Displacement Compensation
Preventive Maintenance Feature of
Injection Molding Machine Using AI
FANUC様の商品として、複数機能をリリース済み