Suche senden
Hochladen
深層強化学習を用いた複合機の搬送制御
•
2 gefällt mir
•
1,450 views
Deep Learning Lab(ディープラーニング・ラボ)
Folgen
菅井駿 コニカミノルタ株式会社 DLLAB 強化学習 Day 2021
Weniger lesen
Mehr lesen
Technologie
Melden
Teilen
Melden
Teilen
1 von 51
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
[DL輪読会]World Models
[DL輪読会]World Models
Deep Learning JP
多様な強化学習の概念と課題認識
多様な強化学習の概念と課題認識
佑 甲野
AbemaTVにおける推薦システム
AbemaTVにおける推薦システム
cyberagent
強化学習における好奇心
強化学習における好奇心
Shota Imai
強化学習 DQNからPPOまで
強化学習 DQNからPPOまで
harmonylab
「世界モデル」と関連研究について
「世界モデル」と関連研究について
Masahiro Suzuki
DQNからRainbowまで 〜深層強化学習の最新動向〜
DQNからRainbowまで 〜深層強化学習の最新動向〜
Jun Okumura
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
Yamato OKAMOTO
Empfohlen
[DL輪読会]World Models
[DL輪読会]World Models
Deep Learning JP
多様な強化学習の概念と課題認識
多様な強化学習の概念と課題認識
佑 甲野
AbemaTVにおける推薦システム
AbemaTVにおける推薦システム
cyberagent
強化学習における好奇心
強化学習における好奇心
Shota Imai
強化学習 DQNからPPOまで
強化学習 DQNからPPOまで
harmonylab
「世界モデル」と関連研究について
「世界モデル」と関連研究について
Masahiro Suzuki
DQNからRainbowまで 〜深層強化学習の最新動向〜
DQNからRainbowまで 〜深層強化学習の最新動向〜
Jun Okumura
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
Yamato OKAMOTO
Deeplearning輪読会
Deeplearning輪読会
正志 坪坂
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
Satoshi Hara
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
Masahiro Suzuki
Structure from Motion
Structure from Motion
Ryutaro Yamauchi
深層強化学習と実装例
深層強化学習と実装例
Deep Learning Lab(ディープラーニング・ラボ)
POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用
Yasunori Ozaki
Prophet入門【Python編】Facebookの時系列予測ツール
Prophet入門【Python編】Facebookの時系列予測ツール
hoxo_m
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
Deep Learning JP
型安全性入門
型安全性入門
Akinori Abe
最近強化学習の良記事がたくさん出てきたので勉強しながらまとめた
最近強化学習の良記事がたくさん出てきたので勉強しながらまとめた
Katsuya Ito
【DL輪読会】Is Conditional Generative Modeling All You Need For Decision-Making?
【DL輪読会】Is Conditional Generative Modeling All You Need For Decision-Making?
Deep Learning JP
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
AGIRobots
Lucas kanade法について
Lucas kanade法について
Hitoshi Nishimura
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
Deep Learning JP
強化学習の実適用に向けた課題と工夫
強化学習の実適用に向けた課題と工夫
Masahiro Yasumoto
IIBMP2016 深層生成モデルによる表現学習
IIBMP2016 深層生成モデルによる表現学習
Preferred Networks
強化学習の基礎的な考え方と問題の分類
強化学習の基礎的な考え方と問題の分類
佑 甲野
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
Yuta Kikuchi
カスタムSIで使ってみよう ~ OpenAI Gym を使った強化学習
カスタムSIで使ってみよう ~ OpenAI Gym を使った強化学習
Hori Tasuku
深層学習の数理
深層学習の数理
Taiji Suzuki
20141006 JPNAPユーザ会 計測プローブを用いた国内インターネットの構造分析
20141006 JPNAPユーザ会 計測プローブを用いた国内インターネットの構造分析
Satoshi KAMEI
The Economics of a Cloud Computer 「クラウドコンピュータ」の経済学 - 楽天テクノロジーカンファレンス講演
The Economics of a Cloud Computer 「クラウドコンピュータ」の経済学 - 楽天テクノロジーカンファレンス講演
Atsushi Nakada
Weitere ähnliche Inhalte
Was ist angesagt?
Deeplearning輪読会
Deeplearning輪読会
正志 坪坂
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
Satoshi Hara
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
Masahiro Suzuki
Structure from Motion
Structure from Motion
Ryutaro Yamauchi
深層強化学習と実装例
深層強化学習と実装例
Deep Learning Lab(ディープラーニング・ラボ)
POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用
Yasunori Ozaki
Prophet入門【Python編】Facebookの時系列予測ツール
Prophet入門【Python編】Facebookの時系列予測ツール
hoxo_m
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
Deep Learning JP
型安全性入門
型安全性入門
Akinori Abe
最近強化学習の良記事がたくさん出てきたので勉強しながらまとめた
最近強化学習の良記事がたくさん出てきたので勉強しながらまとめた
Katsuya Ito
【DL輪読会】Is Conditional Generative Modeling All You Need For Decision-Making?
【DL輪読会】Is Conditional Generative Modeling All You Need For Decision-Making?
Deep Learning JP
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
AGIRobots
Lucas kanade法について
Lucas kanade法について
Hitoshi Nishimura
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
Deep Learning JP
強化学習の実適用に向けた課題と工夫
強化学習の実適用に向けた課題と工夫
Masahiro Yasumoto
IIBMP2016 深層生成モデルによる表現学習
IIBMP2016 深層生成モデルによる表現学習
Preferred Networks
強化学習の基礎的な考え方と問題の分類
強化学習の基礎的な考え方と問題の分類
佑 甲野
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
Yuta Kikuchi
カスタムSIで使ってみよう ~ OpenAI Gym を使った強化学習
カスタムSIで使ってみよう ~ OpenAI Gym を使った強化学習
Hori Tasuku
深層学習の数理
深層学習の数理
Taiji Suzuki
Was ist angesagt?
(20)
Deeplearning輪読会
Deeplearning輪読会
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
Structure from Motion
Structure from Motion
深層強化学習と実装例
深層強化学習と実装例
POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用
Prophet入門【Python編】Facebookの時系列予測ツール
Prophet入門【Python編】Facebookの時系列予測ツール
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
型安全性入門
型安全性入門
最近強化学習の良記事がたくさん出てきたので勉強しながらまとめた
最近強化学習の良記事がたくさん出てきたので勉強しながらまとめた
【DL輪読会】Is Conditional Generative Modeling All You Need For Decision-Making?
【DL輪読会】Is Conditional Generative Modeling All You Need For Decision-Making?
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
Lucas kanade法について
Lucas kanade法について
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
強化学習の実適用に向けた課題と工夫
強化学習の実適用に向けた課題と工夫
IIBMP2016 深層生成モデルによる表現学習
IIBMP2016 深層生成モデルによる表現学習
強化学習の基礎的な考え方と問題の分類
強化学習の基礎的な考え方と問題の分類
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
カスタムSIで使ってみよう ~ OpenAI Gym を使った強化学習
カスタムSIで使ってみよう ~ OpenAI Gym を使った強化学習
深層学習の数理
深層学習の数理
Ähnlich wie 深層強化学習を用いた複合機の搬送制御
20141006 JPNAPユーザ会 計測プローブを用いた国内インターネットの構造分析
20141006 JPNAPユーザ会 計測プローブを用いた国内インターネットの構造分析
Satoshi KAMEI
The Economics of a Cloud Computer 「クラウドコンピュータ」の経済学 - 楽天テクノロジーカンファレンス講演
The Economics of a Cloud Computer 「クラウドコンピュータ」の経済学 - 楽天テクノロジーカンファレンス講演
Atsushi Nakada
Distributed agile team_agile_transformation_20210225
Distributed agile team_agile_transformation_20210225
Kei Nakahara
KDDCUP2020 RL Track : 強化学習部門入賞の手法紹介
KDDCUP2020 RL Track : 強化学習部門入賞の手法紹介
NTTDOCOMO-ServiceInnovation
202007 contrail cloud-operator-contrail_v1.2
202007 contrail cloud-operator-contrail_v1.2
Hiromi Tsukamoto
Zipcカンファレンス20110927
Zipcカンファレンス20110927
Akira Kubo
Japan Linux Conference 2010 Porting MeeGo to Android platforms 20101112
Japan Linux Conference 2010 Porting MeeGo to Android platforms 20101112
Mitz Amano
OpenStack Ops Mid-Cycle Meetup & Project Team Gathering出張報告
OpenStack Ops Mid-Cycle Meetup & Project Team Gathering出張報告
NTT Communications Technology Development
『宇宙エレベーター技術競技会報告』JpSEC2010(20101212) @oku_zawa
『宇宙エレベーター技術競技会報告』JpSEC2010(20101212) @oku_zawa
oku_zawa
Aws summit tokyo 2016
Aws summit tokyo 2016
Shotaro Motomura
電通、リクルート、サントリーショッピングクラブ、有名企業がいち早く選んだ kintone を徹底解説
電通、リクルート、サントリーショッピングクラブ、有名企業がいち早く選んだ kintone を徹底解説
Cybozucommunity
製造現場×kintone 情報流通効率の向上に着目した製造現場における無駄の排除
製造現場×kintone 情報流通効率の向上に着目した製造現場における無駄の排除
Cybozucommunity
Approved spt
Approved spt
akipower
人が注目する箇所を当てるSaliency Detectionの最新モデル UCNet(CVPR2020)
人が注目する箇所を当てるSaliency Detectionの最新モデル UCNet(CVPR2020)
Shintaro Yoshida
★20210826 imug製品サービス分科会ーアンケート募集要項
★20210826 imug製品サービス分科会ーアンケート募集要項
NTTDATA INTRAMART
【Hinemos World 2013】B-2:クラウドと共に発展する、Hinemosクラウド管理オプションの最新情報(株式会社NTTデータ)
【Hinemos World 2013】B-2:クラウドと共に発展する、Hinemosクラウド管理オプションの最新情報(株式会社NTTデータ)
Hinemos
「歩留り」で管理するストリーミング配信 2013 3-21
「歩留り」で管理するストリーミング配信 2013 3-21
Yoichiro Takehora
【HinemosWorld2014】A1-3_01_NTT Comのグローバルクラウド戦略とHinemosとの連携について
【HinemosWorld2014】A1-3_01_NTT Comのグローバルクラウド戦略とHinemosとの連携について
Hinemos
【HinemosWorld2015】B1-4_政令指定都市におけるHinemosの活用事例
【HinemosWorld2015】B1-4_政令指定都市におけるHinemosの活用事例
Hinemos
第14回 KAIM M5StickV(K210)をDNNアクセラレータとして使おうとした試み
第14回 KAIM M5StickV(K210)をDNNアクセラレータとして使おうとした試み
tomitomi3 tomitomi3
Ähnlich wie 深層強化学習を用いた複合機の搬送制御
(20)
20141006 JPNAPユーザ会 計測プローブを用いた国内インターネットの構造分析
20141006 JPNAPユーザ会 計測プローブを用いた国内インターネットの構造分析
The Economics of a Cloud Computer 「クラウドコンピュータ」の経済学 - 楽天テクノロジーカンファレンス講演
The Economics of a Cloud Computer 「クラウドコンピュータ」の経済学 - 楽天テクノロジーカンファレンス講演
Distributed agile team_agile_transformation_20210225
Distributed agile team_agile_transformation_20210225
KDDCUP2020 RL Track : 強化学習部門入賞の手法紹介
KDDCUP2020 RL Track : 強化学習部門入賞の手法紹介
202007 contrail cloud-operator-contrail_v1.2
202007 contrail cloud-operator-contrail_v1.2
Zipcカンファレンス20110927
Zipcカンファレンス20110927
Japan Linux Conference 2010 Porting MeeGo to Android platforms 20101112
Japan Linux Conference 2010 Porting MeeGo to Android platforms 20101112
OpenStack Ops Mid-Cycle Meetup & Project Team Gathering出張報告
OpenStack Ops Mid-Cycle Meetup & Project Team Gathering出張報告
『宇宙エレベーター技術競技会報告』JpSEC2010(20101212) @oku_zawa
『宇宙エレベーター技術競技会報告』JpSEC2010(20101212) @oku_zawa
Aws summit tokyo 2016
Aws summit tokyo 2016
電通、リクルート、サントリーショッピングクラブ、有名企業がいち早く選んだ kintone を徹底解説
電通、リクルート、サントリーショッピングクラブ、有名企業がいち早く選んだ kintone を徹底解説
製造現場×kintone 情報流通効率の向上に着目した製造現場における無駄の排除
製造現場×kintone 情報流通効率の向上に着目した製造現場における無駄の排除
Approved spt
Approved spt
人が注目する箇所を当てるSaliency Detectionの最新モデル UCNet(CVPR2020)
人が注目する箇所を当てるSaliency Detectionの最新モデル UCNet(CVPR2020)
★20210826 imug製品サービス分科会ーアンケート募集要項
★20210826 imug製品サービス分科会ーアンケート募集要項
【Hinemos World 2013】B-2:クラウドと共に発展する、Hinemosクラウド管理オプションの最新情報(株式会社NTTデータ)
【Hinemos World 2013】B-2:クラウドと共に発展する、Hinemosクラウド管理オプションの最新情報(株式会社NTTデータ)
「歩留り」で管理するストリーミング配信 2013 3-21
「歩留り」で管理するストリーミング配信 2013 3-21
【HinemosWorld2014】A1-3_01_NTT Comのグローバルクラウド戦略とHinemosとの連携について
【HinemosWorld2014】A1-3_01_NTT Comのグローバルクラウド戦略とHinemosとの連携について
【HinemosWorld2015】B1-4_政令指定都市におけるHinemosの活用事例
【HinemosWorld2015】B1-4_政令指定都市におけるHinemosの活用事例
第14回 KAIM M5StickV(K210)をDNNアクセラレータとして使おうとした試み
第14回 KAIM M5StickV(K210)をDNNアクセラレータとして使おうとした試み
Mehr von Deep Learning Lab(ディープラーニング・ラボ)
Edge AI ソリューションを支える Azure IoT サービス
Edge AI ソリューションを支える Azure IoT サービス
Deep Learning Lab(ディープラーニング・ラボ)
DLLAB Healthcare Day 2021 Event Report
DLLAB Healthcare Day 2021 Event Report
Deep Learning Lab(ディープラーニング・ラボ)
ICTを用いた健康なまちづくりの 取り組みとAI活用への期待
ICTを用いた健康なまちづくりの 取り組みとAI活用への期待
Deep Learning Lab(ディープラーニング・ラボ)
医学と工学の垣根を越えた医療AI開発
医学と工学の垣根を越えた医療AI開発
Deep Learning Lab(ディープラーニング・ラボ)
Intel AI in Healthcare 各国事例からみるAIとの向き合い方
Intel AI in Healthcare 各国事例からみるAIとの向き合い方
Deep Learning Lab(ディープラーニング・ラボ)
厚生労働分野におけるAI技術の利活用について
厚生労働分野におけるAI技術の利活用について
Deep Learning Lab(ディープラーニング・ラボ)
先端技術がもたらす「より良いヘルスケアのかたち」
先端技術がもたらす「より良いヘルスケアのかたち」
Deep Learning Lab(ディープラーニング・ラボ)
AIによる細胞診支援技術の紹介と、AI人材が考える医療バイオ領域における参入障壁の乗り越え方
AIによる細胞診支援技術の紹介と、AI人材が考える医療バイオ領域における参入障壁の乗り越え方
Deep Learning Lab(ディープラーニング・ラボ)
「言語」×AI Digital Device
「言語」×AI Digital Device
Deep Learning Lab(ディープラーニング・ラボ)
Azure ML 強化学習を用いた最新アルゴリズムの活用手法
Azure ML 強化学習を用いた最新アルゴリズムの活用手法
Deep Learning Lab(ディープラーニング・ラボ)
Jetson x Azure ハンズオン DeepStream With Azure IoT 事前準備
Jetson x Azure ハンズオン DeepStream With Azure IoT 事前準備
Deep Learning Lab(ディープラーニング・ラボ)
Jetson x Azure ハンズオン DeepStream With Azure IoT
Jetson x Azure ハンズオン DeepStream With Azure IoT
Deep Learning Lab(ディープラーニング・ラボ)
Jetson x Azure ハンズオン DeepStream Azure IoT
Jetson x Azure ハンズオン DeepStream Azure IoT
Deep Learning Lab(ディープラーニング・ラボ)
Jetson 活用による スタートアップ企業支援
Jetson 活用による スタートアップ企業支援
Deep Learning Lab(ディープラーニング・ラボ)
[Track 4-6] ディープラーニングxものづくりが日本を強くする ~高専DCONの挑戦~
[Track 4-6] ディープラーニングxものづくりが日本を強くする ~高専DCONの挑戦~
Deep Learning Lab(ディープラーニング・ラボ)
[Track3-2] AI活用人材の社内育成に関する取り組みについて ~ダイキン情報技術大学~
[Track3-2] AI活用人材の社内育成に関する取り組みについて ~ダイキン情報技術大学~
Deep Learning Lab(ディープラーニング・ラボ)
[Track1-1] AIの売上予測を発注システムに組み込んだリンガーハットのデータ活用戦略
[Track1-1] AIの売上予測を発注システムに組み込んだリンガーハットのデータ活用戦略
Deep Learning Lab(ディープラーニング・ラボ)
[Track1-2] ディープラーニングを用いたワインブドウの収穫量予測
[Track1-2] ディープラーニングを用いたワインブドウの収穫量予測
Deep Learning Lab(ディープラーニング・ラボ)
[Track3-4] アカデミックにおけるAI/ディープラーニング の教育と学習支援に関する研究
[Track3-4] アカデミックにおけるAI/ディープラーニング の教育と学習支援に関する研究
Deep Learning Lab(ディープラーニング・ラボ)
[Track4-6] ディープラーニングxものづくりが日本を強くする ~高専DCONの挑戦~
[Track4-6] ディープラーニングxものづくりが日本を強くする ~高専DCONの挑戦~
Deep Learning Lab(ディープラーニング・ラボ)
Mehr von Deep Learning Lab(ディープラーニング・ラボ)
(20)
Edge AI ソリューションを支える Azure IoT サービス
Edge AI ソリューションを支える Azure IoT サービス
DLLAB Healthcare Day 2021 Event Report
DLLAB Healthcare Day 2021 Event Report
ICTを用いた健康なまちづくりの 取り組みとAI活用への期待
ICTを用いた健康なまちづくりの 取り組みとAI活用への期待
医学と工学の垣根を越えた医療AI開発
医学と工学の垣根を越えた医療AI開発
Intel AI in Healthcare 各国事例からみるAIとの向き合い方
Intel AI in Healthcare 各国事例からみるAIとの向き合い方
厚生労働分野におけるAI技術の利活用について
厚生労働分野におけるAI技術の利活用について
先端技術がもたらす「より良いヘルスケアのかたち」
先端技術がもたらす「より良いヘルスケアのかたち」
AIによる細胞診支援技術の紹介と、AI人材が考える医療バイオ領域における参入障壁の乗り越え方
AIによる細胞診支援技術の紹介と、AI人材が考える医療バイオ領域における参入障壁の乗り越え方
「言語」×AI Digital Device
「言語」×AI Digital Device
Azure ML 強化学習を用いた最新アルゴリズムの活用手法
Azure ML 強化学習を用いた最新アルゴリズムの活用手法
Jetson x Azure ハンズオン DeepStream With Azure IoT 事前準備
Jetson x Azure ハンズオン DeepStream With Azure IoT 事前準備
Jetson x Azure ハンズオン DeepStream With Azure IoT
Jetson x Azure ハンズオン DeepStream With Azure IoT
Jetson x Azure ハンズオン DeepStream Azure IoT
Jetson x Azure ハンズオン DeepStream Azure IoT
Jetson 活用による スタートアップ企業支援
Jetson 活用による スタートアップ企業支援
[Track 4-6] ディープラーニングxものづくりが日本を強くする ~高専DCONの挑戦~
[Track 4-6] ディープラーニングxものづくりが日本を強くする ~高専DCONの挑戦~
[Track3-2] AI活用人材の社内育成に関する取り組みについて ~ダイキン情報技術大学~
[Track3-2] AI活用人材の社内育成に関する取り組みについて ~ダイキン情報技術大学~
[Track1-1] AIの売上予測を発注システムに組み込んだリンガーハットのデータ活用戦略
[Track1-1] AIの売上予測を発注システムに組み込んだリンガーハットのデータ活用戦略
[Track1-2] ディープラーニングを用いたワインブドウの収穫量予測
[Track1-2] ディープラーニングを用いたワインブドウの収穫量予測
[Track3-4] アカデミックにおけるAI/ディープラーニング の教育と学習支援に関する研究
[Track3-4] アカデミックにおけるAI/ディープラーニング の教育と学習支援に関する研究
[Track4-6] ディープラーニングxものづくりが日本を強くする ~高専DCONの挑戦~
[Track4-6] ディープラーニングxものづくりが日本を強くする ~高専DCONの挑戦~
深層強化学習を用いた複合機の搬送制御
1.
© KONICA MINOLTA 2021/1/22 コニカミノルタ株式会社
第2デバイス制御開発部 深層強化学習を用いた複合機の搬送制御 DLLAB 強化学習Day 2021
2.
© KONICA MINOLTA 目次 1 •
コニカミノルタのご紹介 • 強化学習取り組みの動機 • 強化学習適用のスコープ • 強化学習適用のステップ • Step0 状態、行動、報酬を設定する • Step1 シミュレータ上で用紙を搬送する • Step2 実際の機械で用紙を搬送する • Step3 実際の機械で安定的に用紙を搬送する • まとめ
3.
コニカミノルタのご紹介
4.
© KONICA MINOLTA コニカミノルタのご紹介 3 ※2020年3月31日現在 170社 連結子会社数 約150カ国 セールス/サービス体制 43,961人 従業員数 約200万社 顧客企業数 日本 1,918億円 19.3% アジア (日本を除く) その他 2,303億円 23.1% 欧州 2,942億円 29.5% 米国 2,798億円 28.1% 19年度 売上高 9,961億円 地域別売上高
5.
© KONICA MINOLTA コニカミノルタのご紹介 4 お客様の ワークフロー改革を 支援する ソリューション を提供 医療のデジタル化を支え 診断のデジタル化に貢献 オフィス事業
プロフェッショナルプリント事業 ヘルスケア事業 産業用材料・機器事業 デジタル印刷ニーズ に応える最適な 出力ソリューション を提供 光学・材料技術を結集し モノづくりに革新を
6.
強化学習の取り組みの動機
7.
© KONICA MINOLTA 6 目指す姿 既存コア技術 (制御、組み込みノウハウ) エ ッ ジ セ ン シ ン グ 技 術 多 様 化 す る 要 望 お客様
制御の自動生成技術 お客様環境の再現 要望の定量化 共 通 動 作 お客様の要望に沿ったメカトロニクス動作を即座に提供する
8.
強化学習適用スコープ
9.
© KONICA MINOLTA プリンタ オフィス複合機 プロダクションプリント機 大判インクジェット機 強化学習適用スコープ 8 開発対象製品はA4プリンタから産業用プリンタまで多岐にわたる
10.
© KONICA MINOLTA 強化学習適用スコープ 9 ①給紙 ②搬送 ③現像 ⑤定着 ④転写 ⑥排紙
・印刷された用紙を排紙して積載する ・用紙を一枚ごとに捌いて印刷部に給紙する ・用紙を真っすぐな姿勢に保ちながら搬送する ・静電気を制御して印刷したい画を作り出す ・静電気を制御して印刷したい画を用紙に移す ・画と用紙に熱を与え用紙に画を定着する
11.
© KONICA MINOLTA 強化学習適用スコープ 10 ①給紙 ②搬送 ③現像 ⑤定着 ④転写 ⑥排紙
・印刷された用紙を排紙して積載する ・用紙を一枚ごとに捌いて印刷部に給紙する ・用紙を真っすぐな姿勢に保ちながら搬送する ・静電気を制御して印刷したい画を作り出す ・静電気を制御して印刷したい画を用紙に移す ・画と用紙に熱を与え用紙に画を定着する プリンタ ~ 大判インクジェット機で 共通する用紙搬送技術に適用する
12.
© KONICA MINOLTA 強化学習適用スコープ 11 給紙
搬送 排紙
13.
© KONICA MINOLTA 強化学習適用スコープ 12 給紙
搬送 排紙 停止ローラへの衝突 用紙同士の衝突 進行方向に対するの用紙傾き 進行方向
14.
© KONICA MINOLTA 強化学習適用スコープ 13 2.所定時 間内で所定 の枚数を機 外へ排出す る 1.用紙に ダメージを 与えずに搬 送する 用紙を機外へ排 出できること 所定時間内に狙 いの枚数排出で きること 経路内で搬送中の 用紙が衝突しない こと 経路内で搬送中の 用紙傾きを補正で きること 用紙搬送の「真っ直ぐダメージ無く」
「所定枚数」搬送することをスコープとする 目的 要件
15.
強化学習の適用ステップ
16.
© KONICA MINOLTA 強化学習とは 15 エージェント
環境 報酬 行動 状態 AIの一つで報酬を設定して試行錯誤することで学習の精度を上げていく仕組み 機械学習 教師なし学習 教師あり学習 AI 強化学習 ニューラルネット ワーク
17.
© KONICA MINOLTA
16 Step1 シミュレータ上で 用紙を搬送する Step2 実際の機械で 用紙を搬送する Step3 実際の機械で 安定的に用紙を搬送する 強化学習により達成したいこと: 用紙を「真っ直ぐダメージ無く」 「所定枚数」搬送する 強化学習の適用ステップ Step0 状態、行動、報酬 を設定する
18.
© KONICA MINOLTA 17 Step1 シミュレータ上で 用紙を搬送する Step2 実際の機械で 用紙を搬送する Step3 実際の機械で 安定的に用紙を搬送する 採用 アルゴリズム 狙い 取り組み •
Q学習 • シミュレータ上で強化学習 により自動設計が可能であ るか確認 • Q学習に必要な用紙位置情 報を仮想センサで対応 • シミュレータ上でQ学習で 動作する搬送環境を構築 • DQN • シミュレータ上で動作した 学習モデルを使って実際の 機械を動かす • 実機に合わせたNNを構成 • 実機動作と推論実行可能な HW環境を構築 • PPO • 実際の機械で安定的に用紙 を搬送できるかを確認 • 学習すべきバラつき要因を 設定 • シミュレータSim2Real環 境を構築 強化学習の適用ステップ Step0 状態、行動、報酬 を設定する 強化学習により達成したいこと: 用紙を「真っ直ぐダメージ無く」 「所定枚数」搬送する
19.
Step0 状態、行動、報酬を設定する Step1 シミュレータ上で 用紙を搬送する Step2 実際の機械で 用紙を搬送する Step3 実際の機械で 安定的に用紙を搬送する Step0 状態、行動、報酬 を設定する
20.
© KONICA MINOLTA Step0
状態、行動、報酬を設定する 19 エージェント 環境 ③報酬 ②行動 ①状態 Step2 Step3 Step1 Step0
21.
© KONICA MINOLTA Step0
状態、行動、報酬を設定する 20 エージェント 環境 ③報酬 ②負荷出力制御 ①用紙位置情報 エージェント 環境 ③報酬 ②行動 ①状態 ①状態=用紙位置情報、②行動=負荷出力制御(モータ、クラッチ) とする Step2 Step3 Step1 Step0
22.
© KONICA MINOLTA Step0
状態、行動、報酬を設定する 21 エージェント 環境 ③報酬 ②負荷出力制御 ①用紙位置情報 用紙位置情報 負荷出力制御 エージェント 環境 ③報酬 ②行動 ①状態 ①状態=用紙位置情報、②行動=負荷出力制御(モータ、クラッチ) とする Step2 Step3 Step1 Step0
23.
© KONICA MINOLTA Step0
状態、行動、報酬を設定する 22 ③報酬=「真っ直ぐダメージ無く」 「所定枚数」搬送するための報酬を設定 用紙を1枚排出 できた 1分間に狙いの 枚数を排出でき た 用紙が衝突した 用紙傾き補正し ない/できない +報酬 +報酬 -報酬 -報酬 所定時間内 で所定の枚 数を機外へ 排出する 用紙にダ メージを与 えずに搬送 する 用紙を機外へ排 出できること 所定時間内に狙 いの枚数排出で きること 経路内で搬送中の 用紙が衝突しない こと 経路内で搬送中の 用紙傾きを補正で きること 目的 要件 報酬定義 Step2 Step3 Step1 Step0
24.
Step1 シミュレータ上で用紙を搬送する Step1 シミュレータ上で 用紙を搬送する Step2 実際の機械で 用紙を搬送する Step3 実際の機械で 安定的に用紙を搬送する Step0 状態、行動、報酬 を設定する
25.
© KONICA MINOLTA 24 Step1 シミュレータ上で 用紙を搬送する Step2 実際の機械で 用紙を搬送する Step3 実際の機械で 安定的に用紙を搬送する 採用アルゴリズム 狙い 取り組み •
Q学習 • シミュレータ上で強化学習 により自動設計が可能であ るか確認 • Q学習に必要な用紙位置情 報を仮想センサで対応 • シミュレータ上でQ学習で 動作する搬送環境を構築 • DQN • シミュレータ上で動作した 学習モデルを使って実際の 機械を動かす • 実機に合わせたNNを構成 • 実機動作と推論実行可能な HW環境を構築 • PPO • 実際の機械で安定的に用紙 を搬送できるかを確認 • 学習すべきバラつき要因を 設定 • シミュレータSim2Real環 境を構築 強化学習の適用ステップ Step0 状態、行動、報酬 を設定する 強化学習により達成したいこと: 用紙を「真っ直ぐダメージ無く」 「所定枚数」搬送する Step2 Step3 Step1 Step0
26.
© KONICA MINOLTA Step1
シミュレータ上で用紙を搬送する 25 Step2 Step3 Step1 メインモータ 排紙CL 給紙CL 給紙R 排紙R 給紙カセット TmgCL S1 S2 S3 S4 S5 S10 S11 S12 S13 S14 TmgR DmmyR S6 S7 S8 ループ距離 S9 Q学習に合わせて用紙状態を仮想センサON/OFF で表現した Step0
27.
© KONICA MINOLTA Step1
シミュレータ上で用紙を搬送する 26 メインモータ 排紙CL 給紙CL 給紙R 排紙R 給紙カセット TmgCL S1 S2 S3 S4 S5 S10 S11 S12 S13 S14 TmgR DmmyR S6 S7 S8 ループ距離 S9 仮想センサの全組合せに対する 行動テーブルを用意して行動する度に更新する Step2 Step3 Step1 Step0
28.
© KONICA MINOLTA Step1
シミュレータ上で用紙を搬送する 27 エージェント 環境 ③報酬 ②負荷出力制御 ①用紙位置情報 メインモータ 排紙CL 給紙CL 給紙R 排紙R 給紙カセット TmgCL S1 S2 S3 S4 S5 S10 S11 S12 S13 S14 TmgR DmmyR S6 S7 S8 ループ距離 S9 簡易構成シミュレータ Step2 Step3 Step1 Step0 Q学習と簡易構成シミュレータにより、学習環境を構築
29.
© KONICA MINOLTA Step1
シミュレータ上で用紙を搬送する 28 -報酬の影響が大きく、+報酬を獲得しても状態価値が維持できず学習が進まない 用紙を1枚排出 できた 1分間に狙いの 枚数を排出でき た 用紙が衝突した 用紙傾き補正し ない/できない +報酬 +報酬 -報酬 -報酬 報酬定義 Step2 Step3 Step1 Step0 タイミングよく 褒たり、叱った りしてほしい
30.
© KONICA MINOLTA Step1
シミュレータ上で用紙を搬送する 29 用紙1枚ごとの +報酬 を追加することで状態価値を安定することができた 用紙を1枚排出 できた 1分間に狙いの 枚数を排出でき た 用紙が衝突した 用紙傾き補正し ない/できない +報酬 +報酬 -報酬 -報酬 報酬定義 追加 Step2 Step3 Step1 Step0
31.
© KONICA MINOLTA Step1
シミュレータ上で用紙を搬送する 30 報酬を適切なタイミングで与え、繰り返し学習することで 性能が向上することを確認 シミュレータ上で強化学習により自動設計が可能 1回目 2回目 3回目 Step2 Step3 Step1 Step0
32.
Step2 実際の機械で用紙を搬送する Step1 シミュレータ上で 用紙を搬送する Step2 実際の機械で 用紙を搬送する Step3 実際の機械で 安定的に用紙を搬送する Step0 状態、行動、報酬 を設定する
33.
© KONICA MINOLTA 32 Step1 シミュレータ上で 用紙を搬送する Step2 実際の機械で 用紙を搬送する Step3 実際の機械で 安定的に用紙を搬送する 採用アルゴリズム 狙い 取り組み •
Q学習 • シミュレータ上で強化学習 により自動設計が可能であ るか確認 • Q学習に必要な用紙位置情 報を仮想センサで対応 • シミュレータ上でQ学習で 動作する搬送環境を構築 • DQN • シミュレータ上で動作した 学習モデルを使って実際の 機械を動かす • 実機に合わせたNNを構成 • 実機動作と推論実行可能な HW環境を構築 • PPO • 実際の機械で安定的に用紙 を搬送できるかを確認 • 学習すべきバラつき要因を 設定 • シミュレータSim2Real環 境を構築 強化学習の適用ステップ Step0 状態、行動、報酬 を設定する 強化学習により達成したいこと: 用紙を「真っ直ぐダメージ無く」 「所定枚数」搬送する Step2 Step3 Step1 Step0
34.
© KONICA MINOLTA Step2
実際の機械で用紙を搬送する 33 機構制御と推論実行に必要なパフォーマンスを満たすHW環境を構築 MFP制御CPU 機器制御実行 推論CPU RX65N NN推論実行 用紙位置情報 出力制御情報 ループ量:3.3[mm]に必要な 学習周期 20[msec] 入力層は最大3枚分の用紙位置 NNの隠れ層は最大128x2 1枚目 先端位置 1枚目 後端位置 2枚目 先端位置 2枚目 後端位置 3枚目 先端位置 3枚目 後端位置 Step2 Step3 Step1 Step0
35.
© KONICA MINOLTA Step2
実際の機械で用紙を搬送する 34 DQNと実機構成シミュレータにより、学習環境を構築 実機構成シミュレータ Step2 Step3 Step1 Step0 エージェント 環境 ③報酬 ②負荷出力制御 ①用紙位置情報
36.
© KONICA MINOLTA Step2
実際の機械で用紙を搬送する 35 ハイパーパラメータ調整を行ったが安定して狙いの性能を達成できない 散発的に狙いとする所定枚数 を排出できる場合がある 安定するが、狙いとする 所定枚数を排出できない パラメータ調整では トレードオフ解消できず Case1 Case2 Step2 Step3 Step1 Step0
37.
© KONICA MINOLTA Step2
実際の機械で用紙を搬送する 36 用紙傾き補正タイミング判断できる補助情報により、狙いの性能と安定性を確保 補助情報(用紙傾き補正タイミング)を状態に追加することでNNが迷うことが減ると仮定した 用紙傾き補正タイミング情報 Step2 Step3 Step1 Step0 ヒントを貰える と短い時間で効 率的に学べます
38.
© KONICA MINOLTA Step2
実際の機械で用紙を搬送する 37 実機構成シミュレータで生成した学習モデルを実機HWで推論実行 実機構成シミュレータ Step2 Step3 Step1 Step0 エージェント 環境 ③報酬 ②負荷出力制御 ①用紙位置情報
39.
© KONICA MINOLTA Step2
実際の機械で用紙を搬送する 38 実機構成シミュレータ Step2 Step3 Step1 Step0 実機構成シミュレータで生成した学習モデルを実機HWで推論実行 エージェント 環境 ③報酬 ②負荷出力制御 ①用紙位置情報
40.
© KONICA MINOLTA Step2
実際の機械で用紙を搬送する 39 Step2 Step3 Step1 Step0 実機HWで推論実行し、用紙搬送が行えることを確認できた
41.
Step3 実際の機械で安定的に用紙を搬送する Step1 シミュレータ上で 用紙を搬送する Step2 実際の機械で 用紙を搬送する Step3 実際の機械で 安定的に用紙を搬送する Step0 状態、行動、報酬 を設定する
42.
© KONICA MINOLTA 41 Step1 シミュレータ上で 用紙を搬送する Step2 実際の機械で 用紙を搬送する Step3 実際の機械で 安定的に用紙を搬送する 採用アルゴリズム 狙い 取り組み •
Q学習 • シミュレータ上で強化学習 により自動設計が可能であ るか確認 • Q学習に必要な用紙位置情 報を仮想センサで対応 • シミュレータ上でQ学習で 動作する搬送環境を構築 • DQN • シミュレータ上で動作した 学習モデルを使って実際の 機械を動かす • 実機に合わせたNNを構成 • 実機動作と推論実行可能な HW環境を構築 • PPO • 実際の機械で安定的に用紙 を搬送できるかを確認 • 学習すべきバラつき要因を 設定 • シミュレータSim2Real環 境を構築 強化学習の適用ステップ Step0 状態、行動、報酬 を設定する 強化学習により達成したいこと: 用紙を「真っ直ぐダメージ無く」 「所定枚数」搬送する Step2 Step3 Step1 Step0
43.
© KONICA MINOLTA Step2
実際の機械で用紙を搬送する 42 給紙バラつきにより狙いの制御ができていない ⇒ バラつきも学習する必要がある • 27ppmを発揮するモデルを使用して実機を動作させた結果 18ppm 学習時にできていた、 狙いとする所定枚数の排出を再現できない 通紙センサによる 用紙到着待機が発生 →用紙が想定より遅い 給送ログ波形より給紙ローラ送り速度を試算した結果、 理論値:175.2mm/sec に対し 実測値:154.5mm/sec 実機とSimの送り速度差により 推論がうまくいかない? Step2 Step3 Step1 Step0 教えてもらって いないことはで きません
44.
© KONICA MINOLTA Step3
実際の機械で安定的に用紙を搬送する 43 バラつきを学習するために Sim2Real(Domain Randomization)の適用を検討 Env1 Env2 Env3 Simulatorによる学習 搬送用NN ダイナミクスパラメータを振りつつ シミュレートして学習 実機における推論 マシン固有のダイナミクスパラメータ システムは値を知る手段はない ダイナミクスパラメータは中央値で シミュレートして学習 入力は理想の搬送のみを想定している 出力も理想の搬送のみを想定している 入力はバラツクことを想定している 出力はバラツクことを想定している 状態 理想的な動き 行動 理想的な動きをしたときの状態 状態 理想的な動き 行動 理想的な動きをしたときの状態 マシン固有の動き GAP 理想的な動き GAP 状態 マシン固有の動きを考慮 行動 マシン固有の動きをしたときの状態 マシン固有の動き マシン固有のダイナミクスパラメータ システムは値を知る手段はない DomainRandomization Step2 Step3 Step1 Step0
45.
© KONICA MINOLTA Step3
実際の機械で安定的に用紙を搬送する 44 Step2で構築したシミュレーション環境をPPOに変更し、DR機能を搭載 実機構成シミュレータ Step2 Step3 Step1 Step0 エージェント 環境 ③報酬 ②負荷出力制御 ①用紙位置情報 Domain Randomization
46.
© KONICA MINOLTA Step3
実際の機械で安定的に用紙を搬送する 45 設計上の最大バラつきをDRに設定し、狙いの搬送を学習できるか検討中 120 122 124 126 128 130 132 134 136 138 140 142 0 20 40 60 80 100 120 140 DR環境下におけるTmgR到達までの理想位置と実位置のGAP 理想 実1(MAX) 実2(MIN) 171mm/sec 150mm/sec TmgR位置 給紙CL OFF可能 給紙CL OFF不可 給紙CL OFF可能 (次ステップでTmgR到達) ループ量:1.1mm ループ量:3.62mm 制御タイミング 給紙CL OFF可能 どちらも成立するタイミング OK NG NG 搬送速度が最大14%ば らついても正常搬送可能 な給紙クラッチ制御を学 習する 正常搬送できる 用紙位置領域 搬送速度が最大14%バラついても狙いのタイミングで給紙クラッチを制御を学習する Step2 Step3 Step1 Step0
47.
まとめ
48.
© KONICA MINOLTA まとめ 47 適切なタイミングで報酬 を与えることで、学習が 進み、負荷出力の動作タ イミングを自動設計可能 であると判断できた。 用紙状態の表現が複雑に なったが、補助情報を与 えることでシミュレータ 上で狙いの性能に到達で きた。 実機にDQNで学習したモ デルを搭載して用紙を一 定間隔で搬送することが できた。 安定的に搬送するために、 バラつきを含めた学習を 行うことが重要。 給紙速度と用紙状態の組 み合わせは膨大になり学 習を性能を向上するため の更なる施策が必要。 Step1 シミュレータ上で 用紙を搬送する Step2 実際の機械で 用紙を搬送する Step3 実際の機械で 安定的に用紙を搬送する 取り組みで得られたこと Step0 状態、行動、報酬 を設定する 強化学習により達成したいこと:
用紙を「真っ直ぐダメージ無く」 「所定枚数」搬送する
49.
© KONICA MINOLTA まとめ 48 人が働く場を制御対象と捉え、人とメカトロニクス製品が働きやすい環境構築を目指す
50.
© KONICA MINOLTA まとめ 49 •
AI先端技術動向調査 • 新規技術導入におけるサポート • 課題の設定 • 提案技術の課題への応用、検証 菅井 駿 第2デバイス制御開発部 鈴木 悠太 小川 雄太郎 大串 和正 AIテクノロジー部
51.
50
Jetzt herunterladen