SlideShare a Scribd company logo
1 of 50
自分で考えるロボットの実現による
ものづくりの革新に向けて
井尻 善久
オムロン株式会社、オムロン サイニックエックス株式会社
オムロン株式会社 林剣之介氏が部分的に資料作成協力
2© OMRON Corporation All Rights Reserved
これからの製造業で求められる技術革新
超柔軟性超生産性
カスタムメイド・バイク
カスタムメイド・シューズ
品種
一品一様生産
少品種大量生産
変種変量生産
生
産
量
労働者人口の減少
発展途上国における
賃金高騰
消費者志向の多様化
3© OMRON Corporation All Rights Reserved
現状
様々な機器を必死につないで、システムを作り込む
専用機化した機械:都度作り込みが必要で融通がきかない
4© OMRON Corporation All Rights Reserved
ロボットに対する期待
作るもの
作り方
汎用機械が
変化に合わせ
自律調整し生産
専用機化した機械:都度作り込みが必要で融通がきかない
対象や作業に合わせて自律調整し、作るものや作り方が変わっても即応
5© OMRON Corporation All Rights Reserved
しかしロボットも、現状は作り込みの世界
画像出典: Schunk社ウェブサイト 画像出典: Schmalz社ウェブサイト
対象や作業に合わせて作込み&調整
6© OMRON Corporation All Rights Reserved
作り込みの要素
ソフトウェアハードウェア
ロボット本体
周辺環境
ロボット選定
ハンド設計・選定
ロボット
動作手順教示
ロボット
ジグ設計
操作対象の
教示
コンベア等との
連携教示
ハンド制御
調整
センサ設計・選定
センサ設置調整
センサ動作
タイミング等教示
対象操作方法の
教示
干渉物等
教示
ロボット本体/周辺環境、ソフト/ハード全面に渡って作り込みが必要
7© OMRON Corporation All Rights Reserved
これからのロボット
ソフトウェアハードウェア
ロボット本体
周辺環境
ロボット選定
ハンド設計・選定
ロボット
動作手順教示
ロボット
ジグ設計
操作対象の
教示
コンベア等との
連携教示
ハンド制御
調整
センサ設計・選定
センサ設置調整
センサ動作
タイミング等教示
対象操作方法の
教示
干渉物等
教示
対象や作業に合わせてハードを作り込むと変化に弱い
ユニバーサルなハードと、それを自分で考えて使いこなす知能が必要
8© OMRON Corporation All Rights Reserved
自分で考えるロボットの第一歩として自律ピッキング技術
・自分でアームの動きを考える
・自分でつかみ方を考える
本日の内容
多様な対象の自律把持
専用ハンド/プログラムを
作り込まなくても
ユーザの意図通りの自律把持
ユーザが教示をしなくても
構造物/人にぶつからない
動作をリアルタイム自律生成
自律動作計画 多様な対象の自律配置
専用治具なしでも
高速・高精度に自律配置
対象や求められる作業に応じて
ロボットが自分で考えて動きを変更しなければならない
9
自分でアームの動きを考える
10© OMRON Corporation All Rights Reserved
自分で動きを考えるためには・・・
与えられたスタートからゴールに至る
(設置された環境でぶつからない)
動きを作り出すこと
???
どう動かせばよいか?
学術分野では、モーションプランニング(Motion Planning)と呼ばれ
研究が進んできた。
11© OMRON Corporation All Rights Reserved
障害物をよけながらゴールにたどりつく
方法論を見出すこと
モーションプランニングとは?
一般的な経路計画問題 (2次元)
スタート
ゴール
例:壁に沿って進む
…障害物
…経路
12© OMRON Corporation All Rights Reserved
ピアノ運搬問題(Piano mover’s problem)
http://blog.livedoor.jp/petorofu123/archives/65014627.html
画像: 三菱重工
画像: SBSロジコム
13© OMRON Corporation All Rights Reserved
6軸の垂直多関節ロボットの各軸(Joint)には役割が
あり、対象ワークの位置と姿勢に対しそれぞれ3軸
割り当てられている。
位置決定:Joint1,2,3
姿勢決定:Joint4,5,6
で構成されることが多い。
7軸以上あるものは冗長マニピュレータと呼ばれる。
多軸ロボットの状態の表現
VIPER s650(CAD)
J1
J2
J3
J5
J6
J4


















n
n
j
j
j
j
1
2
1
q
JnはJointの角度(エンコーダ情報)
nはJoint数
6軸であればn=6の
6次元ベクトルとなる。
例:6つのjointで構成される垂直多関節ロボットの場合
14© OMRON Corporation All Rights Reserved
多軸ロボットの座標系:コンフィギュレーション空間
…
実空間へ写像
(Forward Kinematics)
1s 2s 3s ns
3q
2q
1q
nq
Configuration Space:一般化座標空間
(ロボットの位置姿勢を特徴づける空間)
実空間:デカルト座標空間
(実際の位置姿勢が観測される空間)
可視化が難しいよくわからない空間
6軸の垂直多関節ロボットの状態は、6つのJointを基底とする
6次元のConfiguration Spaceと呼ばれる空間で決定される。
各ジョイント値 j を与えた時に、一つの姿勢qが決まる。
以降、Configuration Spaceは長い
ので、C-spaceと略する
15© OMRON Corporation All Rights Reserved
実空間で障害物に干渉しない→C-spaceで許された領域
実空間で障害物に干渉するもしくは動作リミット外→C-spaceで禁止された領域
干渉回避のための制約
Cspace: ロボットが取りうる
全位置姿勢に対応する空間
Cfree : ロボットが動作出来る空間
Cobs : ロボットが干渉する空間
※左図の状態ではゴールにた
どり着くことが出来ない。
障害物
ロボットの可動範囲と障害物の関係例(2次元)
Cfree = Cspace Cobs
ロボットが取り得る全ての位置・姿勢の空間をCspaceと定義する。
障害物などにより実空間上でとることの出来ない位置姿勢を障害物領域Cobsとすると、
経路計画はCspaceから障害物領域を除いた空間Cfree内で、最適な経路を探索する問題と定義できる
16© OMRON Corporation All Rights Reserved
障害物との干渉チェック
1s
実空間(結果が観測される空間)C-space
  sq f
順運動学(FK: Forward Kinematics)
1q
可視化が難しい6次元空間
1j
2j
1nj
nj
FKを解いて実空間でのロボットの姿勢(状態)を求める
ロボットが障害物に干渉しているかチェックする。
前提
・障害物の実空間での情報が既知(モデルが与えられる)
・C-spaceから実空間に写像が既知(FKなど)
17© OMRON Corporation All Rights Reserved
C-Space中でのモーション(Q)を、C-Space中の点列として定義する
モーションプランニングの問題設定
}q,...qq,{q 121 mmQ 
動きをm個の姿勢を繋いだもので表現する
評価関数Vの候補として
・手先経路長(実空間で最短)
・動作速度(C-space上で最短)
・姿勢
等が考えられる
モーションプランニングとは、評価関数Vの値を最大(小)化するQを求める問題
argmax
QÎCfree
V Q( )( )
q1 = qstart qm = qgoalただし、 、
starts qstart goals qgoal
18© OMRON Corporation All Rights Reserved
モーションプランニングのパラダイム
sensing representation
planning
model-based planning
path-planning trajectory-planning
meta-sensor
reactive planning
feedback control
inverse kinematics
actuation
[Otte, 2009]
モーション
プランニング
パス(経路)
プランニング
トラジェクトリ(軌跡)
プランニング
バッチプランニング
リアクティブ
プランニング
逐次プランニング
動きは、経路(Path)と、時間情報を含む軌跡(Trajectory)にわけられる。
ロボットが動くためには最終的に軌跡が必要であるが、経路計画問題も狭義のモー
ションプランニングと呼ぶ。この場合、軌跡は後段処理に任せる。
19© OMRON Corporation All Rights Reserved
ノード(途中の状態)の置き方、つなぎ方、最適経路の選択のアルゴリズムにより
計算コスト、収束性、最適性が異なる
モーションプランニングのフロー(バッチ型)
…ノード
…障害物領域
…選択経路
…グラフ/ツリー(経路)
障害物
A
S
G
障害物B
C-Space上では未知
初期・目標姿勢
入力
経路探索
(経路発見)
最適化
(経路/軌跡最適化)
20© OMRON Corporation All Rights Reserved
モーションプランニングのフロー(バッチ型)
…ノード
…障害物領域
…選択経路
…グラフ/ツリー(経路)
障害物
A
S
G
障害物B
ノード(途中の状態)の置き方、つなぎ方、最適経路の選択のアルゴリズムにより
計算コスト、収束性、最適性が異なる
初期・目標姿勢
入力
経路探索
(経路発見)
最適化
(経路/軌跡最適化)
C-Spaceを離散化し
グラフ探索もしくは
ツリー構築する。
21© OMRON Corporation All Rights Reserved
モーションプランニングのフロー(バッチ型)
…ノード
…障害物領域
…選択経路
…グラフ/ツリー(経路)
障害物
A
S
G
障害物B
ノード(途中の状態)の置き方、つなぎ方、最適経路の選択のアルゴリズムにより
計算コスト、収束性、最適性が異なる
初期・目標姿勢
入力
経路探索
(経路発見)
最適化
(経路/軌跡最適化)
22© OMRON Corporation All Rights Reserved
1. ポテンシャル法 Artificial Potential Fields
ゴールに引力(Attractive)、障害物に斥力(Repulsive)を設定。ポテンシャル
場の中で、ボールが転がるイメージ。
考え方はシンプルだが、全空間で
ポテンシャルを計算しなければいけないため
複雑な空間(3次元以上)での計算が膨大になる。
ポテンシャル影響範囲を設定するのが一般的
Goal
Obstacle Obstacle
斥力と引力がつりあう局所解が存在する。また、全領域において力場を
事前算出する(ポテンシャルのグラディエント)ため、計算コストが高い。
[B.Kuipers]より転載
23© OMRON Corporation All Rights Reserved
2. Roadmap法:セル分解によるグラフ構築
C-Spaceの次元数が上がると分割する数が指数的に増加
高次元空間では探索空間が爆発、効率的ではない
軸数 2 3 4 5 6 7
空間分割数 4n 8n 16n 32n 64n 128n
C-Spaceを(等)分割していき、その中に障害物領域が含むか調べ、含まれる場合
は再度分割。スタートからゴールまで障害物を含まないセルを結ぶことで経路
生成(ノードは分割された領域の重心点)。分割を細かくすることで、細い経路も
見つけることが可能。
24© OMRON Corporation All Rights Reserved
事前準備:
C-Spaceで、事前に、ノードをランダムにサンプリングし、それらを最近傍法で繋いでいく。
プランニング時:
与えられたスタートとゴールの組に対して、最も近いノード間をつなぐ。最適経路探索はダイク
ストラ法等を利用する。
2. Roadmap法:事前サンプリング法
PRM(Probabilistic RoadMap) [Kavraki, 1996]
最近傍のノードを探索し繋げるものを繋ぐ
全てのノードに対して探索を行いマップを作る
ノードをランダムに配置(サンプリング)
ゴールまでの最短経路を探す
25© OMRON Corporation All Rights Reserved
3. サンプリング法:
RRT(Rapidly-exploring Random Tree) [LaValle, 1998]
C-Spaceで、スタート/ゴールの組が与えられると、ノードをランダムにサンプリングしながら、
ゴールまで繋いでいく。
事前にサンプリングしておくのがPRMで、毎回行うのがRRTである。
ノードをスタート付近にランダムに配置し繋げたら繋ぐ 繋げたら次のノードを配置しゴール付近にたどり着いたら終了。つなげる際
に、新たな追加候補点とそれまでの木が最も近くのノードに繋げるのがポイ
ント。
26© OMRON Corporation All Rights Reserved
RRTのバリエーション
Fig. 5(b),
4) Collision is more likely to be in the midpoint between
two configurations, asshown in Fig. 5.
FIGURE 5. Illustration of the observations made by Sánchez and Latombe
[133]. (a) The midpoint of a colliding path between two free
configurations is more likely to be in Cobs (b) It is difficult to have a
colliding path between two free configurations that are separated by a
short distance. The collision is still more likely to be towards the midpoint
of the short line.
A collision checking algorithm isemployed by SBL based
on the observations made in [133]. Naive CC is performing
incremental checking at some interval from one end to the
other along a path, shown in Fig. 6(a). SBL checks the mid-
point between two configurations dividing the path into two
that are identified using the bridge test [135]. A problem
arises when attempting to connect two trees for differentially
constrained systems where the local planning is not a simple
straight line, resulting in what isknown asaboundary valued
problem [136]. Methods to overcome this problem will be
discussed in section IV.
FIGURE 7. Unidirectional search coverage area (left) and bidirectional
search (right). The search is started from the diamond shaped
configuration and the final configuration is circle-shaped. Employing two
search trees is more effective since less area is searched to find the
solution.
It can beseen that using NN search to connect thesampled
nodetothenearest nodedoesnot necessarily improvethepath
cost. A k-near RRT employs NN search to find the nearest
k nodes, where k is a positive integer [121]. The path is
evaluated for all the k-nearest nodes and the node with the
best solution isconnected toimprovetheoverall solution. The
drawback of thisapproach iscomputational overhead as, NN
search is called, and metrics are evaluated more frequently.
62 VOLUME 2, 2014
スタート、ゴールの両方から木を成長させるこ
とで、高速な探索を可能とする。
・RRT-Connect, Triple RRT, Multi-RRTs
既存の知識活用と探索をバランスさせるように
探索をガイドする。
・EET (Balancing Exploitation & Exploring
Trees)
パスの最適性を高める。
・RRT*, BIT*
27© OMRON Corporation All Rights Reserved
軌跡最適化をエネルギー最小化問題として解く
4. 軌跡最適化
S
G
S
G
スタートとゴールを直線で繋ぐ@C-Space 直線上にノードを等間隔に配置(N分割) 各ノードがコスト関数(障害物との距離等)が
最小化(安定)する位置に移動する(勾配法等)
S
G
例:STOMP
軌跡:時間軸をConfiguration Spaceに追加した経路
CHOMP [Ratliff, 2009], STOMP [Kalakrishnan, 2011], GPMP [Mukadam, 2016]など
-コスト候補1:3次元空間上での障害物との距離(障害物を通らないようにする)
-コスト候補2:C空間上の経路の滑らかさ(経路の最短性を保つ)
-コスト候補3:トルク量の限界値(無理な動きを無くす)
-コスト候補4:手先の移動制約(動きの目的を果たす→コップの水をこぼさないなど)
  






θRθθ
θ
~~
2
1~
Εmin
1
~
T
N
i
iq
コスト関数
・干渉物
・制約
軌跡の滑らかさ
θ
~:C空間上でのノードの位置
R:有限差分行列
例:STOMP
28© OMRON Corporation All Rights Reserved
Completeness:
もしスタートからゴールへの解が存在する際には、必ずその解が見
つかること。
Probabilistically Completeness:
もしスタートからゴールへの解が存在する際には、確率的にその解
が見つかること。十分な試行回数を重ねると解が見つかる。
Resolution Completeness:
適当な解像度パラメータが選択された際に、解が見つかること。
モーションプランニングの解の存在
K. Goldberg, Completeness in Robot Motion Planning , The First Workshop on the Algorithmic Foundations of
Robotics, 1994.
29© OMRON Corporation All Rights Reserved
モーションプランニングは与えられた空間に対し、姿勢列を探索する手法
・ロボットの動作目的(始点、終点)
・環境(干渉判定)
が与えられることによって評価を最大化する姿勢列を求める問題
これらに対するアプローチのうち非学習ベースの手法を紹介した
まとめ:モーションプランニング
代表的な手法 メリット デメリット
ポテンシャル場 ポテンシャル法 計算量が一定
経路算出が高速
事前計算量が多い
(解像度とのトレードオフ)
動的変化に弱い
ロードマップ
(事前マップ形成)
セル分割
ボロノイ分割
直接グラフ構築
PRM(サンプリング
ベースでもある)
簡単な問題に対して計
算量が少ない
扱うC-Spaceの次元に対して
計算量が指数的に増加
※PRMを除く、PRMは特徴的
にはサンプリングベースと同
じ。
サンプリングベース RRT 計算量が少ない
(探索が効率的)
ノード数が不安定。手法に
よっては計算量が多くなるこ
ともある。
軌跡最適化 CHOMP, STOMP,
GPMP, TrajOpt
ノード数が一定 計算量が多くなる場合が多い
局所解に陥りやすい
計算量の観点からサンプリング法と軌跡最適化法が主流
30© OMRON Corporation All Rights Reserved
・干渉物が時変の際のモーションプランニング
・学習ベースのモーションプランニング
・ダイナミクスを考慮したモーションプランニング
・Kinodynamic motion planning
本日触れなかった話題
31© OMRON Corporation All Rights Reserved
前提にしていたところも自動化、モデル化する必要がある
ロボットが自律的に動くには
前提にしていたもの
・スタート位置、ゴール位置は予め与えられる
→スタート、ゴールを、目的に沿って自動で与える手段
・障害物の実空間での情報が既知(モデルが与えられる)
→環境モデルを構築する、環境モデリング手段
※ビジョンとの融合問題として興味深い
・C-spaceから実空間に写像することが出来る
→対象とするモデルの構造が既知
(独立な変数で構成され、その数、範囲が既知)
一つ一つが研究課題
・把持計画、物体認識
・SLAM
・ロボット機構学…etc
32
自分でつかみ方を考える
33© OMRON Corporation All Rights Reserved
自分でつかみ方を考える
つかみ動作の評価基準を満たす
つかみ姿勢を自律的に求める問題
学術分野では、把持合成(グラスプ合成)もしくはグラスププランニング
(Grasp Synthesis, Grasp planning)と呼ばれ、研究が進んできた。
画像:Wikipedia commons
34© OMRON Corporation All Rights Reserved
把持合成 [Bohg2016, Sahbani2011]
対象 認識 把持合成
既知 物体検出
姿勢推定
予め定めた方法
物理則ベース手法
既知対象に類似
もしくは既知対象の
ばらつき
物体照合
形状分類
予め定めた方法
物理則ベース手法
形状ベース手法
学習ベース手法
未知 画像/三次元計測 物理則ベース手法
形状ベース手法
学習ベース学習法
ビジョン-モーション統合学習ベース手法
少品種
大量生産
変種
変量生産
未知の対象を扱うには一般化が必要。これに対する既存手法は、
対象認識手法・把持合成、これらをモジュール化するか全体最適化を図るか?
35© OMRON Corporation All Rights Reserved
物理モデルの例:フォースクロージャ
http://www-personal.umd.umich.edu/~yuuzheng/research_grasping.html
各接触面において、静摩擦力
と垂直抗力の合力が摩擦円錐
の中に、入っている限り滑り
落ちない。
各接触面において、力・モー
メントのからなるレンチ集合
(レンチ空間)に、原点が内
包されること
任意の方向の外力・モーメントに対して、釣り合う力・モーメントを接触点で発生さ
せられること。代表的な静力学的な把持解析手法。
物理則ベースで表現できない部分や、未知対象の物理定数は不確定であることが、精度低下の要因となる。
36© OMRON Corporation All Rights Reserved
形状に基づく把持箇所推定 [Domae+, 2014]
グリッパモデルと、把持点モデルを、対象の二値化形状に畳み込むことで、
把持しやすい位置を推定
Domae, et al., Fast Graspability Evaluation on Single Depth Maps for Bin Picking with General Grippers, in Proc. of ICRA, 2014
https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6907124
対象の形状は考慮しているが、摩擦特性等は考慮していない。
37© OMRON Corporation All Rights Reserved
人手で把持箇所ラベリング [Saxena+, 2008]
人であれば把持するであろう箇所をラベルとして与え、教師付き学習
人為的にラベル付け
ロジスティック回帰で学習
十分な汎化性能を確保するには、相当数のデータが必要であり、それら全てに人がラベル付けするのは困難
人の把持は、人間の身体性に最適化しているのに加え、様々なコンテクストを含んだものであり、
様々な把持可能性を表現するものではない
Saxena et al., Robotic grasping of Novel Objects using Vision, IJRR, 2008
38© OMRON Corporation All Rights Reserved
実試行による把持箇所推定 [Pinto, 2015]
5万回の実把持試行を行い、画像を元に把持位置・角度を予測する
経験的なモデルを構築。成功判定はロボットの力センサ。
Pinto et al., Supersizing Self-supervision: Learning to Grasp from 50K Tries and 700 Robot Hours, in Proc. of ICRA, 2016.
https://arxiv.org/abs/1509.06825
対象の形状特性に基づいて、実試行により成功可能性が高いつかみ方を推定(摩擦特性も陰に反映)
入力は2D画像
39© OMRON Corporation All Rights Reserved
推定の高速化 [Lenz, 2014]
二段階のカスケード構造を持った深層学習により、粗密探索実現
二段階のカスケード構造を持った深層学習
一段階目で、把持候補を出し、
二段階目で、より詳細な特徴を使って
ランキング
Lenz et al., Deep learning for detecting robotic grasps, IJRR, 2016.
https://arxiv.org/abs/1301.3592
40© OMRON Corporation All Rights Reserved
シミュレーションの利用:DexNet2.0 [Mahler2017]
Mahler et al., Dex-Net 2.0: Deep Learning to Plan Robust Grasps with Synthetic Point Clouds and Analytic Grasp Metrics, In Proc. Of RSS, 2017.
https://arxiv.org/abs/1703.09312
1500種類の3Dモデルに対する670万回の把持シミュレーションと
フォースクロージャに基づく把持クオリティデータに基づき、把持成功確率を予測
41© OMRON Corporation All Rights Reserved
シミュレーションの利用:DexNet3.0 [Mahler2018]
Mahler et al., Dex-Net 3.0: Computing Robust Robot Suction Grasp Targets in Point Clouds using a New Analytic Model and Deep Learning
https://arxiv.org/abs/1709.06670
1500種類の3Dモデルに対する280万回の吸着シミュレーションと
吸着シミュレーションに基づく把持クオリティデータに基づき、把持成功確率を予測
吸着パッドが対象形状に対して真空を形成
できるか?
吸着パッドが重力や外乱に対して十分な
吸着力を発揮できるか
吸着パッドを、外周バネモデル、外周曲が
りバネ、円錐バネ、からなるモデルで表現
し、任意の吸着方向から対象形状に馴染め
るかチェック
吸着パッドの外周のサンプリング点で、
剥がれずに保持できるか?
剥がれないならば、どの程度の把持レン
チを生み出せるか
※この実試行バージョンはFanucとPFNが共同で2015年に国際ロボット展でデモ展示
42© OMRON Corporation All Rights Reserved
Domain randomization [Tobin, 2017]
Tobin et al., Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World, in Proc. of IROS, 2017.
https://arxiv.org/abs/1703.06907
学習させたいもの以外の要素を、ランダムにばらつかせて生成することで、
従来困難と思われていたシミュレータによる学習サンプル生成でも高い精度を実現
目標:
• 対象物の三次元位置推定
ばらつかせたもの:
• 周辺物体
• 数や形状、位置、テクスチャ、反射特性
※テーブルの形状は固定
• 対象物体
• 位置、テクスチャ、反射特性
※対象物体の形状は固定
• カメラ・照明の位置、角度
• ノイズ
学習させたいのは、
対象の形状から三次元位置への写像
形状以外の要素をランダムに生成
43© OMRON Corporation All Rights Reserved
ビジョン-モーション統合学習 [Levine, 2016]
80万回の把持試行データを用い、画像とモーターコマンドを元に把持成功確率を
予測する経験的なモデルを構築。成功判定は差分画像で実施。
Levine, et al., Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-scale Data Collection, arXiv, 2016.
https://arxiv.org/pdf/1603.02199.pdf
モーターコマンドを直接学習しており、それまでの把持箇所を推定する手法と異なり、カメラキャリブレーションが必要ない
センサ情報処理の不確定性に合わせた全体最適化が可能
44© OMRON Corporation All Rights Reserved
・大きく分けて、物理則ベース・形状ベース・学習ベースの手法が存在
・近年は下記の2つで研究が進む
・大量試行を元に学習する手法
・より効率的に学習する手法
・入力は、画像(2D)・形状(3D)が多い。
・対象認識・把持箇所推定・把持実行のモジュール最適化に対し、
カメラキャリブレーションが必要ないビジョン-モーション統合学習手法も出現。
一方で、大量試行が必要であり、適切なモジュール化や強化学習の文脈で研究が進む。
まとめ:グラスププランニング
代表的な手法 メリット デメリット
物理則ベース手法 フォースクロージャ判
定
解析が可能、ハンドの
設計にも応用可能
計算量が多い
現実との差異
形状ベース手法 Domae, 2014 計算量が少なく高速 複雑な三次元形状や計測誤差
に弱い
実試行ベース学習法 Pinto-Gupta, 2015 摩擦なども考慮可能 大量の試行が必要
シミュレーションベース
学習法
DexNet 大量学習データを用意
しやすい
現実との差異
ビジョン-モーション統
合学習法
Levine, 2016 全体最適 大量の試行が必要
未知の対象を把持するには、対象によらない把持の一般化が必要
45© OMRON Corporation All Rights Reserved
認識系
・対象選択
・対象登録 – 1ショット学習等
・視覚情報以外の利用
マニピュレーション系
・柔軟物の把持
・多様なスキルの学習
学習系
・少数のデータに基づく学習手法
・強化学習に基づく手法
・模倣学習等
本日触れなかった話題
46© OMRON Corporation All Rights Reserved
対象のみならず作業の種類に対してもスケールする手法が必要
ロボットが自律的に作業するには
・様々な作業を統一的なフレームワークで実現すること
・反転(ひっくり返す)
・はめ込み・挿入
・ネジ締め
・面合わせ
:
・物理モデルベースは一品一様になりがち。
一方、学習手法は大量試行が必要でサンプル効率が課題
・クロスモーダルな学習
視覚(画像)・奥行き(3D)以外のセンシングモダリティ
・複数作業からなる手順の獲得
一つ一つが研究課題
・強化学習
・階層的強化学習
・模倣学習
47© OMRON Corporation All Rights Reserved
ロボットが自律的に動くようになるには様々な技術が必要
本日は下記のみ紹介
・アームの動き方プランニング
・つかみ方のプランニング
グラスピング以外の作業にもスケールさせていく必要があり、それらは全
て現在のアクティブな研究分野。
最後に
まだまだ人が頑張らないと
ロボットに教えられない。
誰でも自然に使いこなし
恩恵を受けられる機械
には程遠い
48© OMRON Corporation All Rights Reserved
参考文献:モーションプランニング
分類参考
* A. Gasparetto, Path Planning and Trajectory Planning Algorithms A General Overview, Springer, 2015.
* V. Hlavac, Motion planning methods, 2015.
http://cmp.felk.cvut.cz/~hlavac/TeachPresEn/55IntelligentRobotics/100MotionPlanningMethods.pdf
全般
* M. Otte, A Survey of Machine Learning Approaches to Robotic Path-Planning, 2009.
* H. Choset, CMU RI lecture material on motion planning, 2007.
http://www.cs.cmu.edu/~./motionplanning/lecture/
* Texas A&M Univ. Algorithms and application group website,
https://parasol.tamu.edu/groups/amatogroup/research/.
* K. Goldberg, Completeness in Robot Motion Planning , The First Workshop on the Algorithmic
Foundations of Robotics, 1994.
* Wikipedia motion planning, https://en.wikipedia.org/wiki/Motion_planning
サンプリング法
* M. Elbanhawi and M. Simic, Sampling-based robot motion planning: A review, IEEE Access 2, pp.56-77,
2014.
最適化手法
* Matthew Zucker, CHOMP: Covariant Hamiltonian Optimization for Motion Planning, International Journal
of Robotics Research, 2013. (and the same title at ICRA2009)
* Mrinal Kalakrishnan, STOMP: Stochastic trajectory optimization for motion planning, ICRA, 2011.
49© OMRON Corporation All Rights Reserved
参考文献:把持合成
分類参考
* K. Shimoga, Robot Grasp Synthesis Algorithms: A survey, The international journal of Robotics
Research,pp.230-266, 1996.
* Shabani et al., An overview of 3D object grasp synthesis algorithms, Robotics and Autonomous Systems,
Elsevier, 2011.
* Bohg et al., Data-driven Grasp Synthesis – A Survey, IEEE trans. on robotics, 2016.
形状ベース
* Domae, et al., Fast Graspability Evaluation on Single Depth Maps for Bin Picking with General Grippers,
in Proc. of ICRA, 2014
実試行ベース
* Pinto et al., Supersizing Self-supervision: Learning to Grasp from 50K Tries and 700 Robot Hours, arXiv,
2015.
シミュレーションベース
* Mahler et al., Dex-Net 2.0: Deep Learning to Plan Robust Grasps with Synthetic Point Clouds and
Analytic Grasp Metrics, arXiv, 2018.
* Mahler et al., Dex-Net 3.0: Computing Robust Robot Suction Grasp Targets in Point Clouds using a New
Analytic Model and Deep Learning
* Tobin, “Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real
World”, IROS, 2017.
End-to-end学習法
* Levine, et al., Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-
scale Data Collection, arXiv, 2016
ISS2018 seminar

More Related Content

What's hot

Optimizer入門&最新動向
Optimizer入門&最新動向Optimizer入門&最新動向
Optimizer入門&最新動向Motokawa Tetsuya
 
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDeep Learning JP
 
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法SSII
 
【メタサーベイ】Video Transformer
 【メタサーベイ】Video Transformer 【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformercvpaper. challenge
 
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)Yoshitaka Ushiku
 
Transformer メタサーベイ
Transformer メタサーベイTransformer メタサーベイ
Transformer メタサーベイcvpaper. challenge
 
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習cvpaper. challenge
 
汎用ニューラルネットワークポテンシャル「PFP」による材料探索_MRS-J2021招待講演_2021/12/15
汎用ニューラルネットワークポテンシャル「PFP」による材料探索_MRS-J2021招待講演_2021/12/15汎用ニューラルネットワークポテンシャル「PFP」による材料探索_MRS-J2021招待講演_2021/12/15
汎用ニューラルネットワークポテンシャル「PFP」による材料探索_MRS-J2021招待講演_2021/12/15Matlantis
 
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion  for Generation and Editing[DL輪読会]GLIDE: Guided Language to Image Diffusion  for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and EditingDeep Learning JP
 
Tensor コアを使った PyTorch の高速化
Tensor コアを使った PyTorch の高速化Tensor コアを使った PyTorch の高速化
Tensor コアを使った PyTorch の高速化Yusuke Fujimoto
 
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係についてDeep Learning JP
 
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings  (EMNLP 2021)【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings  (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)Deep Learning JP
 
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Yusuke Uchida
 
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
【DL輪読会】The Forward-Forward Algorithm: Some PreliminaryDeep Learning JP
 
3D CNNによる人物行動認識の動向
3D CNNによる人物行動認識の動向3D CNNによる人物行動認識の動向
3D CNNによる人物行動認識の動向Kensho Hara
 
機械学習で泣かないためのコード設計 2018
機械学習で泣かないためのコード設計 2018機械学習で泣かないためのコード設計 2018
機械学習で泣かないためのコード設計 2018Takahiro Kubo
 
Transformer 動向調査 in 画像認識(修正版)
Transformer 動向調査 in 画像認識(修正版)Transformer 動向調査 in 画像認識(修正版)
Transformer 動向調査 in 画像認識(修正版)Kazuki Maeno
 

What's hot (20)

Optimizer入門&最新動向
Optimizer入門&最新動向Optimizer入門&最新動向
Optimizer入門&最新動向
 
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
 
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
 
【メタサーベイ】Video Transformer
 【メタサーベイ】Video Transformer 【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer
 
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
 
Transformer メタサーベイ
Transformer メタサーベイTransformer メタサーベイ
Transformer メタサーベイ
 
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
 
汎用ニューラルネットワークポテンシャル「PFP」による材料探索_MRS-J2021招待講演_2021/12/15
汎用ニューラルネットワークポテンシャル「PFP」による材料探索_MRS-J2021招待講演_2021/12/15汎用ニューラルネットワークポテンシャル「PFP」による材料探索_MRS-J2021招待講演_2021/12/15
汎用ニューラルネットワークポテンシャル「PFP」による材料探索_MRS-J2021招待講演_2021/12/15
 
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion  for Generation and Editing[DL輪読会]GLIDE: Guided Language to Image Diffusion  for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
 
coordinate descent 法について
coordinate descent 法についてcoordinate descent 法について
coordinate descent 法について
 
Tensor コアを使った PyTorch の高速化
Tensor コアを使った PyTorch の高速化Tensor コアを使った PyTorch の高速化
Tensor コアを使った PyTorch の高速化
 
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について
 
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings  (EMNLP 2021)【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings  (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
 
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
 
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
 
3D CNNによる人物行動認識の動向
3D CNNによる人物行動認識の動向3D CNNによる人物行動認識の動向
3D CNNによる人物行動認識の動向
 
HiPPO/S4解説
HiPPO/S4解説HiPPO/S4解説
HiPPO/S4解説
 
ELBO型VAEのダメなところ
ELBO型VAEのダメなところELBO型VAEのダメなところ
ELBO型VAEのダメなところ
 
機械学習で泣かないためのコード設計 2018
機械学習で泣かないためのコード設計 2018機械学習で泣かないためのコード設計 2018
機械学習で泣かないためのコード設計 2018
 
Transformer 動向調査 in 画像認識(修正版)
Transformer 動向調査 in 画像認識(修正版)Transformer 動向調査 in 画像認識(修正版)
Transformer 動向調査 in 画像認識(修正版)
 

ISS2018 seminar

  • 2. 2© OMRON Corporation All Rights Reserved これからの製造業で求められる技術革新 超柔軟性超生産性 カスタムメイド・バイク カスタムメイド・シューズ 品種 一品一様生産 少品種大量生産 変種変量生産 生 産 量 労働者人口の減少 発展途上国における 賃金高騰 消費者志向の多様化
  • 3. 3© OMRON Corporation All Rights Reserved 現状 様々な機器を必死につないで、システムを作り込む 専用機化した機械:都度作り込みが必要で融通がきかない
  • 4. 4© OMRON Corporation All Rights Reserved ロボットに対する期待 作るもの 作り方 汎用機械が 変化に合わせ 自律調整し生産 専用機化した機械:都度作り込みが必要で融通がきかない 対象や作業に合わせて自律調整し、作るものや作り方が変わっても即応
  • 5. 5© OMRON Corporation All Rights Reserved しかしロボットも、現状は作り込みの世界 画像出典: Schunk社ウェブサイト 画像出典: Schmalz社ウェブサイト 対象や作業に合わせて作込み&調整
  • 6. 6© OMRON Corporation All Rights Reserved 作り込みの要素 ソフトウェアハードウェア ロボット本体 周辺環境 ロボット選定 ハンド設計・選定 ロボット 動作手順教示 ロボット ジグ設計 操作対象の 教示 コンベア等との 連携教示 ハンド制御 調整 センサ設計・選定 センサ設置調整 センサ動作 タイミング等教示 対象操作方法の 教示 干渉物等 教示 ロボット本体/周辺環境、ソフト/ハード全面に渡って作り込みが必要
  • 7. 7© OMRON Corporation All Rights Reserved これからのロボット ソフトウェアハードウェア ロボット本体 周辺環境 ロボット選定 ハンド設計・選定 ロボット 動作手順教示 ロボット ジグ設計 操作対象の 教示 コンベア等との 連携教示 ハンド制御 調整 センサ設計・選定 センサ設置調整 センサ動作 タイミング等教示 対象操作方法の 教示 干渉物等 教示 対象や作業に合わせてハードを作り込むと変化に弱い ユニバーサルなハードと、それを自分で考えて使いこなす知能が必要
  • 8. 8© OMRON Corporation All Rights Reserved 自分で考えるロボットの第一歩として自律ピッキング技術 ・自分でアームの動きを考える ・自分でつかみ方を考える 本日の内容 多様な対象の自律把持 専用ハンド/プログラムを 作り込まなくても ユーザの意図通りの自律把持 ユーザが教示をしなくても 構造物/人にぶつからない 動作をリアルタイム自律生成 自律動作計画 多様な対象の自律配置 専用治具なしでも 高速・高精度に自律配置 対象や求められる作業に応じて ロボットが自分で考えて動きを変更しなければならない
  • 10. 10© OMRON Corporation All Rights Reserved 自分で動きを考えるためには・・・ 与えられたスタートからゴールに至る (設置された環境でぶつからない) 動きを作り出すこと ??? どう動かせばよいか? 学術分野では、モーションプランニング(Motion Planning)と呼ばれ 研究が進んできた。
  • 11. 11© OMRON Corporation All Rights Reserved 障害物をよけながらゴールにたどりつく 方法論を見出すこと モーションプランニングとは? 一般的な経路計画問題 (2次元) スタート ゴール 例:壁に沿って進む …障害物 …経路
  • 12. 12© OMRON Corporation All Rights Reserved ピアノ運搬問題(Piano mover’s problem) http://blog.livedoor.jp/petorofu123/archives/65014627.html 画像: 三菱重工 画像: SBSロジコム
  • 13. 13© OMRON Corporation All Rights Reserved 6軸の垂直多関節ロボットの各軸(Joint)には役割が あり、対象ワークの位置と姿勢に対しそれぞれ3軸 割り当てられている。 位置決定:Joint1,2,3 姿勢決定:Joint4,5,6 で構成されることが多い。 7軸以上あるものは冗長マニピュレータと呼ばれる。 多軸ロボットの状態の表現 VIPER s650(CAD) J1 J2 J3 J5 J6 J4                   n n j j j j 1 2 1 q JnはJointの角度(エンコーダ情報) nはJoint数 6軸であればn=6の 6次元ベクトルとなる。 例:6つのjointで構成される垂直多関節ロボットの場合
  • 14. 14© OMRON Corporation All Rights Reserved 多軸ロボットの座標系:コンフィギュレーション空間 … 実空間へ写像 (Forward Kinematics) 1s 2s 3s ns 3q 2q 1q nq Configuration Space:一般化座標空間 (ロボットの位置姿勢を特徴づける空間) 実空間:デカルト座標空間 (実際の位置姿勢が観測される空間) 可視化が難しいよくわからない空間 6軸の垂直多関節ロボットの状態は、6つのJointを基底とする 6次元のConfiguration Spaceと呼ばれる空間で決定される。 各ジョイント値 j を与えた時に、一つの姿勢qが決まる。 以降、Configuration Spaceは長い ので、C-spaceと略する
  • 15. 15© OMRON Corporation All Rights Reserved 実空間で障害物に干渉しない→C-spaceで許された領域 実空間で障害物に干渉するもしくは動作リミット外→C-spaceで禁止された領域 干渉回避のための制約 Cspace: ロボットが取りうる 全位置姿勢に対応する空間 Cfree : ロボットが動作出来る空間 Cobs : ロボットが干渉する空間 ※左図の状態ではゴールにた どり着くことが出来ない。 障害物 ロボットの可動範囲と障害物の関係例(2次元) Cfree = Cspace Cobs ロボットが取り得る全ての位置・姿勢の空間をCspaceと定義する。 障害物などにより実空間上でとることの出来ない位置姿勢を障害物領域Cobsとすると、 経路計画はCspaceから障害物領域を除いた空間Cfree内で、最適な経路を探索する問題と定義できる
  • 16. 16© OMRON Corporation All Rights Reserved 障害物との干渉チェック 1s 実空間(結果が観測される空間)C-space   sq f 順運動学(FK: Forward Kinematics) 1q 可視化が難しい6次元空間 1j 2j 1nj nj FKを解いて実空間でのロボットの姿勢(状態)を求める ロボットが障害物に干渉しているかチェックする。 前提 ・障害物の実空間での情報が既知(モデルが与えられる) ・C-spaceから実空間に写像が既知(FKなど)
  • 17. 17© OMRON Corporation All Rights Reserved C-Space中でのモーション(Q)を、C-Space中の点列として定義する モーションプランニングの問題設定 }q,...qq,{q 121 mmQ  動きをm個の姿勢を繋いだもので表現する 評価関数Vの候補として ・手先経路長(実空間で最短) ・動作速度(C-space上で最短) ・姿勢 等が考えられる モーションプランニングとは、評価関数Vの値を最大(小)化するQを求める問題 argmax QÎCfree V Q( )( ) q1 = qstart qm = qgoalただし、 、 starts qstart goals qgoal
  • 18. 18© OMRON Corporation All Rights Reserved モーションプランニングのパラダイム sensing representation planning model-based planning path-planning trajectory-planning meta-sensor reactive planning feedback control inverse kinematics actuation [Otte, 2009] モーション プランニング パス(経路) プランニング トラジェクトリ(軌跡) プランニング バッチプランニング リアクティブ プランニング 逐次プランニング 動きは、経路(Path)と、時間情報を含む軌跡(Trajectory)にわけられる。 ロボットが動くためには最終的に軌跡が必要であるが、経路計画問題も狭義のモー ションプランニングと呼ぶ。この場合、軌跡は後段処理に任せる。
  • 19. 19© OMRON Corporation All Rights Reserved ノード(途中の状態)の置き方、つなぎ方、最適経路の選択のアルゴリズムにより 計算コスト、収束性、最適性が異なる モーションプランニングのフロー(バッチ型) …ノード …障害物領域 …選択経路 …グラフ/ツリー(経路) 障害物 A S G 障害物B C-Space上では未知 初期・目標姿勢 入力 経路探索 (経路発見) 最適化 (経路/軌跡最適化)
  • 20. 20© OMRON Corporation All Rights Reserved モーションプランニングのフロー(バッチ型) …ノード …障害物領域 …選択経路 …グラフ/ツリー(経路) 障害物 A S G 障害物B ノード(途中の状態)の置き方、つなぎ方、最適経路の選択のアルゴリズムにより 計算コスト、収束性、最適性が異なる 初期・目標姿勢 入力 経路探索 (経路発見) 最適化 (経路/軌跡最適化) C-Spaceを離散化し グラフ探索もしくは ツリー構築する。
  • 21. 21© OMRON Corporation All Rights Reserved モーションプランニングのフロー(バッチ型) …ノード …障害物領域 …選択経路 …グラフ/ツリー(経路) 障害物 A S G 障害物B ノード(途中の状態)の置き方、つなぎ方、最適経路の選択のアルゴリズムにより 計算コスト、収束性、最適性が異なる 初期・目標姿勢 入力 経路探索 (経路発見) 最適化 (経路/軌跡最適化)
  • 22. 22© OMRON Corporation All Rights Reserved 1. ポテンシャル法 Artificial Potential Fields ゴールに引力(Attractive)、障害物に斥力(Repulsive)を設定。ポテンシャル 場の中で、ボールが転がるイメージ。 考え方はシンプルだが、全空間で ポテンシャルを計算しなければいけないため 複雑な空間(3次元以上)での計算が膨大になる。 ポテンシャル影響範囲を設定するのが一般的 Goal Obstacle Obstacle 斥力と引力がつりあう局所解が存在する。また、全領域において力場を 事前算出する(ポテンシャルのグラディエント)ため、計算コストが高い。 [B.Kuipers]より転載
  • 23. 23© OMRON Corporation All Rights Reserved 2. Roadmap法:セル分解によるグラフ構築 C-Spaceの次元数が上がると分割する数が指数的に増加 高次元空間では探索空間が爆発、効率的ではない 軸数 2 3 4 5 6 7 空間分割数 4n 8n 16n 32n 64n 128n C-Spaceを(等)分割していき、その中に障害物領域が含むか調べ、含まれる場合 は再度分割。スタートからゴールまで障害物を含まないセルを結ぶことで経路 生成(ノードは分割された領域の重心点)。分割を細かくすることで、細い経路も 見つけることが可能。
  • 24. 24© OMRON Corporation All Rights Reserved 事前準備: C-Spaceで、事前に、ノードをランダムにサンプリングし、それらを最近傍法で繋いでいく。 プランニング時: 与えられたスタートとゴールの組に対して、最も近いノード間をつなぐ。最適経路探索はダイク ストラ法等を利用する。 2. Roadmap法:事前サンプリング法 PRM(Probabilistic RoadMap) [Kavraki, 1996] 最近傍のノードを探索し繋げるものを繋ぐ 全てのノードに対して探索を行いマップを作る ノードをランダムに配置(サンプリング) ゴールまでの最短経路を探す
  • 25. 25© OMRON Corporation All Rights Reserved 3. サンプリング法: RRT(Rapidly-exploring Random Tree) [LaValle, 1998] C-Spaceで、スタート/ゴールの組が与えられると、ノードをランダムにサンプリングしながら、 ゴールまで繋いでいく。 事前にサンプリングしておくのがPRMで、毎回行うのがRRTである。 ノードをスタート付近にランダムに配置し繋げたら繋ぐ 繋げたら次のノードを配置しゴール付近にたどり着いたら終了。つなげる際 に、新たな追加候補点とそれまでの木が最も近くのノードに繋げるのがポイ ント。
  • 26. 26© OMRON Corporation All Rights Reserved RRTのバリエーション Fig. 5(b), 4) Collision is more likely to be in the midpoint between two configurations, asshown in Fig. 5. FIGURE 5. Illustration of the observations made by Sánchez and Latombe [133]. (a) The midpoint of a colliding path between two free configurations is more likely to be in Cobs (b) It is difficult to have a colliding path between two free configurations that are separated by a short distance. The collision is still more likely to be towards the midpoint of the short line. A collision checking algorithm isemployed by SBL based on the observations made in [133]. Naive CC is performing incremental checking at some interval from one end to the other along a path, shown in Fig. 6(a). SBL checks the mid- point between two configurations dividing the path into two that are identified using the bridge test [135]. A problem arises when attempting to connect two trees for differentially constrained systems where the local planning is not a simple straight line, resulting in what isknown asaboundary valued problem [136]. Methods to overcome this problem will be discussed in section IV. FIGURE 7. Unidirectional search coverage area (left) and bidirectional search (right). The search is started from the diamond shaped configuration and the final configuration is circle-shaped. Employing two search trees is more effective since less area is searched to find the solution. It can beseen that using NN search to connect thesampled nodetothenearest nodedoesnot necessarily improvethepath cost. A k-near RRT employs NN search to find the nearest k nodes, where k is a positive integer [121]. The path is evaluated for all the k-nearest nodes and the node with the best solution isconnected toimprovetheoverall solution. The drawback of thisapproach iscomputational overhead as, NN search is called, and metrics are evaluated more frequently. 62 VOLUME 2, 2014 スタート、ゴールの両方から木を成長させるこ とで、高速な探索を可能とする。 ・RRT-Connect, Triple RRT, Multi-RRTs 既存の知識活用と探索をバランスさせるように 探索をガイドする。 ・EET (Balancing Exploitation & Exploring Trees) パスの最適性を高める。 ・RRT*, BIT*
  • 27. 27© OMRON Corporation All Rights Reserved 軌跡最適化をエネルギー最小化問題として解く 4. 軌跡最適化 S G S G スタートとゴールを直線で繋ぐ@C-Space 直線上にノードを等間隔に配置(N分割) 各ノードがコスト関数(障害物との距離等)が 最小化(安定)する位置に移動する(勾配法等) S G 例:STOMP 軌跡:時間軸をConfiguration Spaceに追加した経路 CHOMP [Ratliff, 2009], STOMP [Kalakrishnan, 2011], GPMP [Mukadam, 2016]など -コスト候補1:3次元空間上での障害物との距離(障害物を通らないようにする) -コスト候補2:C空間上の経路の滑らかさ(経路の最短性を保つ) -コスト候補3:トルク量の限界値(無理な動きを無くす) -コスト候補4:手先の移動制約(動きの目的を果たす→コップの水をこぼさないなど)          θRθθ θ ~~ 2 1~ Εmin 1 ~ T N i iq コスト関数 ・干渉物 ・制約 軌跡の滑らかさ θ ~:C空間上でのノードの位置 R:有限差分行列 例:STOMP
  • 28. 28© OMRON Corporation All Rights Reserved Completeness: もしスタートからゴールへの解が存在する際には、必ずその解が見 つかること。 Probabilistically Completeness: もしスタートからゴールへの解が存在する際には、確率的にその解 が見つかること。十分な試行回数を重ねると解が見つかる。 Resolution Completeness: 適当な解像度パラメータが選択された際に、解が見つかること。 モーションプランニングの解の存在 K. Goldberg, Completeness in Robot Motion Planning , The First Workshop on the Algorithmic Foundations of Robotics, 1994.
  • 29. 29© OMRON Corporation All Rights Reserved モーションプランニングは与えられた空間に対し、姿勢列を探索する手法 ・ロボットの動作目的(始点、終点) ・環境(干渉判定) が与えられることによって評価を最大化する姿勢列を求める問題 これらに対するアプローチのうち非学習ベースの手法を紹介した まとめ:モーションプランニング 代表的な手法 メリット デメリット ポテンシャル場 ポテンシャル法 計算量が一定 経路算出が高速 事前計算量が多い (解像度とのトレードオフ) 動的変化に弱い ロードマップ (事前マップ形成) セル分割 ボロノイ分割 直接グラフ構築 PRM(サンプリング ベースでもある) 簡単な問題に対して計 算量が少ない 扱うC-Spaceの次元に対して 計算量が指数的に増加 ※PRMを除く、PRMは特徴的 にはサンプリングベースと同 じ。 サンプリングベース RRT 計算量が少ない (探索が効率的) ノード数が不安定。手法に よっては計算量が多くなるこ ともある。 軌跡最適化 CHOMP, STOMP, GPMP, TrajOpt ノード数が一定 計算量が多くなる場合が多い 局所解に陥りやすい 計算量の観点からサンプリング法と軌跡最適化法が主流
  • 30. 30© OMRON Corporation All Rights Reserved ・干渉物が時変の際のモーションプランニング ・学習ベースのモーションプランニング ・ダイナミクスを考慮したモーションプランニング ・Kinodynamic motion planning 本日触れなかった話題
  • 31. 31© OMRON Corporation All Rights Reserved 前提にしていたところも自動化、モデル化する必要がある ロボットが自律的に動くには 前提にしていたもの ・スタート位置、ゴール位置は予め与えられる →スタート、ゴールを、目的に沿って自動で与える手段 ・障害物の実空間での情報が既知(モデルが与えられる) →環境モデルを構築する、環境モデリング手段 ※ビジョンとの融合問題として興味深い ・C-spaceから実空間に写像することが出来る →対象とするモデルの構造が既知 (独立な変数で構成され、その数、範囲が既知) 一つ一つが研究課題 ・把持計画、物体認識 ・SLAM ・ロボット機構学…etc
  • 33. 33© OMRON Corporation All Rights Reserved 自分でつかみ方を考える つかみ動作の評価基準を満たす つかみ姿勢を自律的に求める問題 学術分野では、把持合成(グラスプ合成)もしくはグラスププランニング (Grasp Synthesis, Grasp planning)と呼ばれ、研究が進んできた。 画像:Wikipedia commons
  • 34. 34© OMRON Corporation All Rights Reserved 把持合成 [Bohg2016, Sahbani2011] 対象 認識 把持合成 既知 物体検出 姿勢推定 予め定めた方法 物理則ベース手法 既知対象に類似 もしくは既知対象の ばらつき 物体照合 形状分類 予め定めた方法 物理則ベース手法 形状ベース手法 学習ベース手法 未知 画像/三次元計測 物理則ベース手法 形状ベース手法 学習ベース学習法 ビジョン-モーション統合学習ベース手法 少品種 大量生産 変種 変量生産 未知の対象を扱うには一般化が必要。これに対する既存手法は、 対象認識手法・把持合成、これらをモジュール化するか全体最適化を図るか?
  • 35. 35© OMRON Corporation All Rights Reserved 物理モデルの例:フォースクロージャ http://www-personal.umd.umich.edu/~yuuzheng/research_grasping.html 各接触面において、静摩擦力 と垂直抗力の合力が摩擦円錐 の中に、入っている限り滑り 落ちない。 各接触面において、力・モー メントのからなるレンチ集合 (レンチ空間)に、原点が内 包されること 任意の方向の外力・モーメントに対して、釣り合う力・モーメントを接触点で発生さ せられること。代表的な静力学的な把持解析手法。 物理則ベースで表現できない部分や、未知対象の物理定数は不確定であることが、精度低下の要因となる。
  • 36. 36© OMRON Corporation All Rights Reserved 形状に基づく把持箇所推定 [Domae+, 2014] グリッパモデルと、把持点モデルを、対象の二値化形状に畳み込むことで、 把持しやすい位置を推定 Domae, et al., Fast Graspability Evaluation on Single Depth Maps for Bin Picking with General Grippers, in Proc. of ICRA, 2014 https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6907124 対象の形状は考慮しているが、摩擦特性等は考慮していない。
  • 37. 37© OMRON Corporation All Rights Reserved 人手で把持箇所ラベリング [Saxena+, 2008] 人であれば把持するであろう箇所をラベルとして与え、教師付き学習 人為的にラベル付け ロジスティック回帰で学習 十分な汎化性能を確保するには、相当数のデータが必要であり、それら全てに人がラベル付けするのは困難 人の把持は、人間の身体性に最適化しているのに加え、様々なコンテクストを含んだものであり、 様々な把持可能性を表現するものではない Saxena et al., Robotic grasping of Novel Objects using Vision, IJRR, 2008
  • 38. 38© OMRON Corporation All Rights Reserved 実試行による把持箇所推定 [Pinto, 2015] 5万回の実把持試行を行い、画像を元に把持位置・角度を予測する 経験的なモデルを構築。成功判定はロボットの力センサ。 Pinto et al., Supersizing Self-supervision: Learning to Grasp from 50K Tries and 700 Robot Hours, in Proc. of ICRA, 2016. https://arxiv.org/abs/1509.06825 対象の形状特性に基づいて、実試行により成功可能性が高いつかみ方を推定(摩擦特性も陰に反映) 入力は2D画像
  • 39. 39© OMRON Corporation All Rights Reserved 推定の高速化 [Lenz, 2014] 二段階のカスケード構造を持った深層学習により、粗密探索実現 二段階のカスケード構造を持った深層学習 一段階目で、把持候補を出し、 二段階目で、より詳細な特徴を使って ランキング Lenz et al., Deep learning for detecting robotic grasps, IJRR, 2016. https://arxiv.org/abs/1301.3592
  • 40. 40© OMRON Corporation All Rights Reserved シミュレーションの利用:DexNet2.0 [Mahler2017] Mahler et al., Dex-Net 2.0: Deep Learning to Plan Robust Grasps with Synthetic Point Clouds and Analytic Grasp Metrics, In Proc. Of RSS, 2017. https://arxiv.org/abs/1703.09312 1500種類の3Dモデルに対する670万回の把持シミュレーションと フォースクロージャに基づく把持クオリティデータに基づき、把持成功確率を予測
  • 41. 41© OMRON Corporation All Rights Reserved シミュレーションの利用:DexNet3.0 [Mahler2018] Mahler et al., Dex-Net 3.0: Computing Robust Robot Suction Grasp Targets in Point Clouds using a New Analytic Model and Deep Learning https://arxiv.org/abs/1709.06670 1500種類の3Dモデルに対する280万回の吸着シミュレーションと 吸着シミュレーションに基づく把持クオリティデータに基づき、把持成功確率を予測 吸着パッドが対象形状に対して真空を形成 できるか? 吸着パッドが重力や外乱に対して十分な 吸着力を発揮できるか 吸着パッドを、外周バネモデル、外周曲が りバネ、円錐バネ、からなるモデルで表現 し、任意の吸着方向から対象形状に馴染め るかチェック 吸着パッドの外周のサンプリング点で、 剥がれずに保持できるか? 剥がれないならば、どの程度の把持レン チを生み出せるか ※この実試行バージョンはFanucとPFNが共同で2015年に国際ロボット展でデモ展示
  • 42. 42© OMRON Corporation All Rights Reserved Domain randomization [Tobin, 2017] Tobin et al., Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World, in Proc. of IROS, 2017. https://arxiv.org/abs/1703.06907 学習させたいもの以外の要素を、ランダムにばらつかせて生成することで、 従来困難と思われていたシミュレータによる学習サンプル生成でも高い精度を実現 目標: • 対象物の三次元位置推定 ばらつかせたもの: • 周辺物体 • 数や形状、位置、テクスチャ、反射特性 ※テーブルの形状は固定 • 対象物体 • 位置、テクスチャ、反射特性 ※対象物体の形状は固定 • カメラ・照明の位置、角度 • ノイズ 学習させたいのは、 対象の形状から三次元位置への写像 形状以外の要素をランダムに生成
  • 43. 43© OMRON Corporation All Rights Reserved ビジョン-モーション統合学習 [Levine, 2016] 80万回の把持試行データを用い、画像とモーターコマンドを元に把持成功確率を 予測する経験的なモデルを構築。成功判定は差分画像で実施。 Levine, et al., Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-scale Data Collection, arXiv, 2016. https://arxiv.org/pdf/1603.02199.pdf モーターコマンドを直接学習しており、それまでの把持箇所を推定する手法と異なり、カメラキャリブレーションが必要ない センサ情報処理の不確定性に合わせた全体最適化が可能
  • 44. 44© OMRON Corporation All Rights Reserved ・大きく分けて、物理則ベース・形状ベース・学習ベースの手法が存在 ・近年は下記の2つで研究が進む ・大量試行を元に学習する手法 ・より効率的に学習する手法 ・入力は、画像(2D)・形状(3D)が多い。 ・対象認識・把持箇所推定・把持実行のモジュール最適化に対し、 カメラキャリブレーションが必要ないビジョン-モーション統合学習手法も出現。 一方で、大量試行が必要であり、適切なモジュール化や強化学習の文脈で研究が進む。 まとめ:グラスププランニング 代表的な手法 メリット デメリット 物理則ベース手法 フォースクロージャ判 定 解析が可能、ハンドの 設計にも応用可能 計算量が多い 現実との差異 形状ベース手法 Domae, 2014 計算量が少なく高速 複雑な三次元形状や計測誤差 に弱い 実試行ベース学習法 Pinto-Gupta, 2015 摩擦なども考慮可能 大量の試行が必要 シミュレーションベース 学習法 DexNet 大量学習データを用意 しやすい 現実との差異 ビジョン-モーション統 合学習法 Levine, 2016 全体最適 大量の試行が必要 未知の対象を把持するには、対象によらない把持の一般化が必要
  • 45. 45© OMRON Corporation All Rights Reserved 認識系 ・対象選択 ・対象登録 – 1ショット学習等 ・視覚情報以外の利用 マニピュレーション系 ・柔軟物の把持 ・多様なスキルの学習 学習系 ・少数のデータに基づく学習手法 ・強化学習に基づく手法 ・模倣学習等 本日触れなかった話題
  • 46. 46© OMRON Corporation All Rights Reserved 対象のみならず作業の種類に対してもスケールする手法が必要 ロボットが自律的に作業するには ・様々な作業を統一的なフレームワークで実現すること ・反転(ひっくり返す) ・はめ込み・挿入 ・ネジ締め ・面合わせ : ・物理モデルベースは一品一様になりがち。 一方、学習手法は大量試行が必要でサンプル効率が課題 ・クロスモーダルな学習 視覚(画像)・奥行き(3D)以外のセンシングモダリティ ・複数作業からなる手順の獲得 一つ一つが研究課題 ・強化学習 ・階層的強化学習 ・模倣学習
  • 47. 47© OMRON Corporation All Rights Reserved ロボットが自律的に動くようになるには様々な技術が必要 本日は下記のみ紹介 ・アームの動き方プランニング ・つかみ方のプランニング グラスピング以外の作業にもスケールさせていく必要があり、それらは全 て現在のアクティブな研究分野。 最後に まだまだ人が頑張らないと ロボットに教えられない。 誰でも自然に使いこなし 恩恵を受けられる機械 には程遠い
  • 48. 48© OMRON Corporation All Rights Reserved 参考文献:モーションプランニング 分類参考 * A. Gasparetto, Path Planning and Trajectory Planning Algorithms A General Overview, Springer, 2015. * V. Hlavac, Motion planning methods, 2015. http://cmp.felk.cvut.cz/~hlavac/TeachPresEn/55IntelligentRobotics/100MotionPlanningMethods.pdf 全般 * M. Otte, A Survey of Machine Learning Approaches to Robotic Path-Planning, 2009. * H. Choset, CMU RI lecture material on motion planning, 2007. http://www.cs.cmu.edu/~./motionplanning/lecture/ * Texas A&M Univ. Algorithms and application group website, https://parasol.tamu.edu/groups/amatogroup/research/. * K. Goldberg, Completeness in Robot Motion Planning , The First Workshop on the Algorithmic Foundations of Robotics, 1994. * Wikipedia motion planning, https://en.wikipedia.org/wiki/Motion_planning サンプリング法 * M. Elbanhawi and M. Simic, Sampling-based robot motion planning: A review, IEEE Access 2, pp.56-77, 2014. 最適化手法 * Matthew Zucker, CHOMP: Covariant Hamiltonian Optimization for Motion Planning, International Journal of Robotics Research, 2013. (and the same title at ICRA2009) * Mrinal Kalakrishnan, STOMP: Stochastic trajectory optimization for motion planning, ICRA, 2011.
  • 49. 49© OMRON Corporation All Rights Reserved 参考文献:把持合成 分類参考 * K. Shimoga, Robot Grasp Synthesis Algorithms: A survey, The international journal of Robotics Research,pp.230-266, 1996. * Shabani et al., An overview of 3D object grasp synthesis algorithms, Robotics and Autonomous Systems, Elsevier, 2011. * Bohg et al., Data-driven Grasp Synthesis – A Survey, IEEE trans. on robotics, 2016. 形状ベース * Domae, et al., Fast Graspability Evaluation on Single Depth Maps for Bin Picking with General Grippers, in Proc. of ICRA, 2014 実試行ベース * Pinto et al., Supersizing Self-supervision: Learning to Grasp from 50K Tries and 700 Robot Hours, arXiv, 2015. シミュレーションベース * Mahler et al., Dex-Net 2.0: Deep Learning to Plan Robust Grasps with Synthetic Point Clouds and Analytic Grasp Metrics, arXiv, 2018. * Mahler et al., Dex-Net 3.0: Computing Robust Robot Suction Grasp Targets in Point Clouds using a New Analytic Model and Deep Learning * Tobin, “Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World”, IROS, 2017. End-to-end学習法 * Levine, et al., Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large- scale Data Collection, arXiv, 2016

Editor's Notes

  1. 本当は連続値と離散値で考え方がかわるしよく見ると強化学習の枠組みで語れる。。。
  2. ファンデルワールス力みたいなもの。 計算量はフィルタ処理の様なイメージ
  3. この系列の手法一覧 Visibility graph Voronoi diagram Cell decomposition Silhouette Subgoal Networks
  4. PRM:コネクト後の最短経路はダイクストラ法などで探す