Pre-Survey 2020 05-25:2020-05-31

1. Pre-Survey 2020
2020-05-25 ~ 2020-05-31
Robotpaper.Challenge

2. > Paper-URL list on this survey
1. https://arg-nctu.github.io/publications/text-pick-n-place-paper.pdf
2. https://arxiv.org/abs/1809.07081
3. https://arxiv.org/abs/1904.02223
4. https://arxiv.org/abs/1906.09836
5. https://ieeexplore.ieee.org/document/8967895
6. https://arxiv.org/abs/1903.04053
7. https://ieeexplore.ieee.org/document/8769898

3. Pose-Aware Placement of Objects with Semantic Labels -
Brandname-based Affordance Prediction and Cooperative Dual-Arm Active Manipulation
Yung-Shan Su, Shao-Huang Lu, Po-Sheng Ser, Wei-Ting Hsu, Wei-Cheng Lai, Biao Xie, Hong-Ming Huang, Teng-Yok Lee, Hung-Wen
Chen, Lap-Fai Yu, Hsueh-Cheng Wang
- バラ積みピッキングとブランド名の認識による配置を行う双腕システムの構築．吸着ツールでピッキングを
行い，平行グリッパで持ち替えと配置を行う．
- ブランド名の認識により吸着点と把持点を推定する．平行グリッパのみで操作か可能な場合と，吸着によ
る持ち替えが必要な場合に応じて操作方法をアクティブに変更する．
- ブランド名が隠れていて見えていないときは，吸着による持ち上げをしてブランド名を平行グリッパについた
ハンドアイで認識して配置を行う．
- 学習による認識のためのバラ積みシーンをシミュレーションで作成している．
まとめた人：makihara

4. A Multi-task Convolutional Neural Network for Autonomous Robotic Grasping in
Object Stacking Scenes
Hanbo Zhang, Xuguang Lan, Site Bai, Lipeng Wan, Chenjie Yang, and Nanning Zheng
- 山積みされた状況から隠れている特定の物体を把持する手法．ステップごとに操作を行なって最終的な目標
物体を把持する．
- RGB画像からROIを抽出し，物体検出と把持姿勢候補検出をする．そして物体の重なり方の関係を示したツ
リー構造を構築し，これに基づいてステップごとに障害となる物体を把持し取り除いていく．
- 山積みの度合いが違う３パターンのシーンについて，ベースラインとなる Fully Convolutional Grasp Detection
Networkよりも大幅に成功率が向上している．
まとめた人：makihara

5. Learning Physics-Based Manipulation in Clutter:
Combining Image-Based Generalization and Look-Ahead Planning
Wissam Bejjani, Mehmet R. Dogar and Matteo Leonetti
- 多段階の物体操作が必要なタスクを行う手法．乱雑な状況から目標位置まで特定の物体を移動させるタ
スクなどを実行する．
- 現実のRGB画像から物体領域などの特徴を抽出し，物理シミュレーション上に状況を再現する．このシミュ
レーション上で計画して成功が予測された操作を現実の動きにフィードバックする．
- 動作の種類として，押し動作や把持と移動を組み合わせた動作を学習し，乱雑な環境に応じてできるだけ
周りの物を動かさないような動作軌道を学習する．
- 様々な大きさの物体とその数を変えた状況でのタスクにおいて，成功率が非常に高い結果が得られてい
る．
まとめた人：makihara

6. Learning Grasp Affordance Reasoning through Semantic Relations
Paola Ard´on, Eric`Pairet, Ronald P. A. Petrick, Subramanian Ramamoorthy, and Katrin S. Lohan
- 物体にある複数の部分領域ごとのアフォーダンスを抽出する手法．
- ソフトな推論を行うMarkov Logic Networks を使って知識ベースのグラフ表現を行う．置かれている状況，
物体の部分領域のプリミティブな形状，そのアフォーダンスを表現する．
- アフォーダンスと把持領域を紐づけるために３ Dモデルにマッピングを行い，アフォーダンス推定確率の最
も高い場所で把持を実行する．
- カメラのRGB画像から物体のカテゴリ認識からアフォーダンス推定と把持までの end-to-endを生成するア
ルゴリズムを使って， PR２を使った実験を行なっている．
まとめた人：makihara

7. PPR-Net:Point-wise Pose Regression Network for Instance Segmentation
and 6D Pose Estimation in Bin-picking Scenarios
Zhikai Dong, Sicheng Liu, Tao Zhou, Hui Cheng, Long Zeng, Xingyao Yu, Houde Liu
- 物体が重度のocclusionを伴ってランダムに積み重なっている場合の6次元姿勢推定を行うPoint-wise Pose Regression
Network (PPR-Net)を提案．
- 生の点群を入力とし、各点について、まず、その点が属するinstanceの6D poseを回帰する. その後、pose空間において、ま
とめられた点群から複数のinstanceをsegment化するclustering手法を用いる．instanceのposeは、各補助点のpose予測を
平均化することで算出することが可能．
- 実験では，産業用の把持設定を用いたベンチマークであるSileaneデータセットを用いた．提案手法は、最先端の6次元姿勢
推定アプローチを平均精度で15%～41%上回る結果を得た．
まとめた人：souta hriose

8. Affordance Learning for End-to-End Visuomotor Robot Control
Aleksi H¨am¨al¨ainen, Karol Arndt, Ali Ghadirzadeh and Ville Kyrki
- end-to-endのdeep robot policyを学習する為に、多くのドメイン、タスク、ハードウェア固有のデータが必要であり、データ収
集にはコストがかかることが多い．この問題を解決するために、perception、policy、trajectoryの各部分から構成される
modular architectureを持つDNNを提案．
- システムの各部分は、合成データ上またはシミュレーション上で訓練した．合成データは、affordanceとtrajectoryの低次元
の潜在表現としてシステムの各部分間で交換される．次に、性能をFraka Pandaロボットアームを用いてzero-shot transfer
scenarioで評価する．その結果、RGB画像から抽出されたscene affordancesの低次元表現が、マニピュレータポリシーの学
習に十分であることが示された．
まとめた人：souta hriose

9. 3D Deformable Object Manipulation using Deep Neural Networks
Zhe Hu, Tao Han, Peigen Sun, Jia Pan, and Dinesh Manocha
- 変形特性が未知の変形物体の位置と形状をサーボ制御する為のDNNをベースとしたControllerの提案．
- 提案手法では，end-effectorの動きと物体の変形計測値との対応付けに多層NNを用い，オンライン学習戦略を用いて
end-effectorの動きと物体の変形計測値との対応付けを行う．更に、変形可能な物体の変形特性を記述するための新しい特徴
量を導入した．この特徴量は，従来のように2次元画像からではなく，3次元点群から直接抽出される．また，変形物体の追跡と
再構成を同時に行うことで，変形物体操作時の部分観測(occlusion exist)の問題を解決する．
- 検証では，ABB Yumiを用いてロールタオルの曲げ加工、ペグインホール、プラスチックシートの曲げ加工、タオルの折り加工、
スポンジの操作などの操作タスクを設定し、DNNコントローラのテストを行った．各タスクをランダムな構成から 10 回実行した結
果、これらの操作タスクの平均成功率は約 90%を観測．
まとめた人：souta hriose