DLLAB 製造分科会　2018年度成果報告

DLLAB製造分科会
2018年度成果報告
DLLAB製造分科会事務局
2019 年 3 月 22 日

アジェンダ
1. はじめに/参加企業紹介事務局 5分
2. 不定形フォーマットカタログからの製品情報抽出
① 課題紹介ミスミグループ本社 7分
② 検証結果報告３AS 20分
③ 結果総評ミスミグループ本社 5分
3. CAD図面からの物体自動学習
① 課題紹介トヨタ紡織 7分
② 検証結果報告３AS、SCSK、BLUETAG 各社20分
③ 結果総評トヨタ紡織 5分
4. おわりに事務局 5分

DLLAB製造分科会のコンセプト
実ビジネス課題に対し、オープンイノベーションの場を提供する
ユーザー企業パートナー企業
・ビジネス課題詳細が分からない
・学習データが揃わない
・技術力をアピールしきれない
・研究開発の方向性に迷っている
・実プロジェクト経験が不足している
・ビジネス課題への適用技術が不明
・社内でAI技術を評価しきれない
・ベンチャー企業との取引には慎重
・現段階で大きな予算を付けられない
・実プロジェクト経験が不足している
DLラボ分科会で共同実験を実施。
実証機会
プレPoC成果が出るか想像しにくい
課題にトライしたい
大企業のリアルな課題と
データに触れたい

活動概要
• 実施期間 2018年8月～2019年2月（7ヶ月）
• 参加資格 DLLAB参加の「ユーザー企業」と「パートナー企業」
• 参加費用無料
• テーマ第二弾「製造業×画像認識・センサーデータ分析技術」

活動スケジュール
推進スケジュール
7月 8月９月１０月１１月１２月１月２月
イベント
フェーズ
ユーザー
企業様
パート
ナー
企業様
▲8月上旬
募集告知
▲8/17
参加説明会
ユーザ募集
参加検討
検証骨子作成
課題選定
▲10/26
全体会議①
トライアル
提供データ準備
課題ﾃｰﾏ
×
ｿﾘｭｰｼｮﾝ
選定
検証実施
課題準備
▲1/17
全体会議③
（結果共有）
成果報告
参加検討
評価
まとめ
企画
ﾊﾟｰﾄﾅｰ募集
＆ﾏｯﾁﾝｸﾞ
検証準備評価報告
準備
成果報告
11/23▲
全体会議②
(進捗共有)▲9/28
パートナー企業
参加説明会 ▲11/9
検証開始
▲12/7
検証終了
▲10/12
応募締切

参加企業
ＳＣＳＫ株式会社
株式会社ミスミグループ本社株式会社３ＡＳ
日本マイクロソフト株式会社
トヨタ紡織株式会社
BLUE TAG株式会社

設定課題①
不定形フォーマットカタログからの
製品情報抽出
株式会社ミスミグループ本社

製造分科会
課題説明＋結果総評
IT基盤展開室
先端技術評価チーム
宋美沙

自己紹介
• 宋美沙（そんみさ）
• IT基盤展開室先端技術評価チームディレクター
• もともとはJava系Webアプリ屋さん
• ECパッケージ製品開発、SI導入、非機能監査
• 2014年にミスミへ転職
• マーケティングシステム担当（～17年度いっぱい）
MA／レコメンドエンジンリプレース・内製化
• PM寄りの情シスの中で浮いていたからか、
18年4月から「先端技術いっちょかみ」担当に
• 趣味は登山、引っ越し
• 今年の目標は八ヶ岳完全テン泊全山縦走
9

会社紹介
事業
• B2B生産材プラットフォーム
• メーカー事業
（FA事業/金型部品事業）
• 流通事業
• 顧客業務支援
事業特徴
• 少量多品種
• 2,070万アイテム、
800垓品番（1垓＝1兆 * 1億）
• 3,324メーカー
• 「確実短納期一個流し」
設立 1963年2月23日
売上高（連結） 312,969百万円
※2018年3月期
従業員数（連結） 11,241名
※2018年3月末日時点
「ものづくりの、明日を支える。」
▲ECサイト「MiSUMi-VONA」https://jp.misumi-ec.com/

ものづくりのあらゆるところに
生産・加工ライン部品だけでなく、
電気制御部品、梱包・物流用品、安全保護用品、
文具その他消耗品、設計支援ソフトウェアまで

本分科会参加の動機
• 自分自身がとにかく知識／経験不足で、エヴァンジェリスト
として機能しない
とにかく足りないところを埋めないと話が始まらない
技術／知識経験
• 書籍
• セミナー、イベント
• 学会
• とにかく自分で書いて動かす
（これが一番早かったり）
→ やればいいだけ
• PoC/案件を数こなしたい…
• 期待値コントロールができる
ようにならないと、企画が通らな
いし、途中で挫折する…
• でもそれには経験が必要…
→ ゼロイチがきつい、きつすぎる
→ ！
何かお題を持参して経験豊富な皆様の胸を借りよう

業務課題
• 廃番品情報が一部DB上で未整備、施策（代替品提案、
顧客分析など）に影響
• 未整備の廃番品情報は過去の紙カタログの中に…
→人手抽出は作業コストが極大
構造化／
半構造化
データ
紙カタログ
商品マスタ
ECサイト
廃番…
廃番になった
商品情報抽出
代替品提案
※廃番品検索時すべて
代替品提案※一部不可
ASISTOBE
今回の対象領域

・・・単なるOCRでは？

問題１紙面が複雑
カテゴリごとに別レイアウト

同一カテゴリでも別レイアウト

１ページに複数の情報パーツ
（テキスト、表、図）

１ページに複数の情報パーツ
（テキスト、表、図）
説明文、画像、外形図、規格表、
注意書き、アイコン・・・

問題２認識ミスしやすそう①
• 紙面いっぱいに限界ぎりぎりまで詰め込まれた多種の情報

専門用語

行間狭くて文字が
くっついている

こういうのってどうなる
んでしょう…？

マイナス？
ハイフン？
問題２認識ミスしやすそう②
• 人間が見てもうっかり間違えそうな文字
※コンテキストから判断するしかない
オー？
ゼロ？

分科会でのお題
商品ペー
ジを認識
情報パー
ツの抽出
文字系／
その他に
分別
文字デー
タ抽出
キー項目（型
番）を特定
データ構造化／
半構造化
• 業務課題解決までのステップ
①テキスト抽出
②構造化

キー項目（型
番）を特定
データ構造化／
半構造化
②構造化
分科会でのお題
商品ペー
ジを認識
情報パー
ツの抽出
文字系／
その他に
分別
文字デー
タ抽出
• 業務課題解決までのステップ
①テキスト抽出
素人目にも無謀そうな「データ構造化」は無視して、
経験／技術の汎化力が高そうな
「テキスト抽出」に絞る

検証結果
株式会社３AS

３ＡＳ
カタログからの構造化データ抽出
株式会社 3AS
山元博生

３ＡＳ目次
1. 会社紹介
2. 取り組みのスコープとアプローチ
3. アプローチについての説明その1（ページ内情報エリアの識別方法）
4. アプローチについての説明その2（情報種類に合わせた文字識別）
5. アプローチについての説明その3（文字領域と表領域の学習）
6. アプローチについての説明その4（文字領域と表領域の推論）
7. アプローチについての説明その5（文字領域からの文字抽出）
8. 検証結果

３ＡＳ1. 会社紹介
Internet of Things（IoT）を実現するため、AIや画像認識などの先端技術を利用し、想像力あふれる
自由な発想と行動力でIT Innovationを起こす技術集団を目指しています。
 主な事業内容
 大規模システムから小規模までの処理方式設計や製造を行っています。
 大規模システムから小規模までのアプリケーション基盤、フレームワーク、資源管理などの提案や
導入支援を行っています。
 小売店向け無人店舗システムなどで利用するDeep Learningの導入支援や画像認識処理にかかわる周辺
機能の開発などを手掛けています。
 人の動作による行動認識のDeep Learningの導入支援と開発をしています。

３ＡＳ2. 取り組みのスコープとアプローチ
 スコープ
本取り組みでは、廃番となったアイテムの構造化データが一部未整備のため、過去のペーパーカタログ
から構造化データを抽出したいと要望を頂いていますので以下を範囲とします。
• ペーパーカタログから文字、表、ページ種別を抽出します。
カタログ
アウトプットインプット
学習
文字領域
表領域
物体検出モデルに『学習』させる
物体検出モデルに『推論』させる
推論
文字領域
表領域
学習データ
文字領域
表領域
画像認識
文字領域や
表領域から
１文字単位
に文字を切
り出す
文字列切り出し
文字領域
表領域
文字領域
表領域
学習
文字
画像
※特殊文字
を含む
画像認識モデルに『学習』させる
画像認識モデルに『推論』させる
推論
文字
画像
学習データ
文字認識
1文字
1文字
学習
文字
画像
※特殊文字
を含む
自然言語モデルに『学習』させる
自然言語モデルに『推論』させる
推論
文字
画像
学習データ
構造化
データ
構造化
データ
文字を連結
し文書にし
ます
文字連結
スコープ
範囲

 アプローチ
対象の範囲が広いため、本取り組みでは過去のペーパーカタログから文字領域や表領域に含まれる文字を
検出させて学習させます。

３ＡＳ3. アプローチについての説明その1（ページ内情報エリアの識別方法）
 ペーパーカタログのページ認識方法
ペーパーカタログから文字領域、表領域の位置を識別し、ページ認識情報のアノテーション（※1）を
作成します。
※1 アノテーション：対象となるデータに対して正解ラベル（タグ）や対象物の座標等関連する情報を注釈として付与することを指します。
アウトプットインプット
物体検出
文字領域
表領域

３ＡＳ4. アプローチについての説明その2（情報種類に合わせた文字識別）
 ペーパーカタログの文字認識方法
ペーパーカタログから文字領域、表領域を抽出し、表領域からはその中に含まれる文字領域を再抽出しま
す。抽出された文字領域から1文字単位に文字を切り出して画像認識情報のアノテーションを作成します。
アウトプット
インプット
画像
認識
表領域
表内用文字
説明文字、注意書
文字領域
文字領域
から１文
字単位に
文字を切
り出しま
す
文字領域
A B C
文字領域
文字領域
表領域内から文字領域
を物体検出する
画像認識させ文字を
判別させます
D E F

３ＡＳ5. アプローチについての説明その3（文字領域と表領域の学習）
 画像認識（文字領域、表領域）の学習方法
ペーパーカタログ上の各種領域を画像として抽出し、文字領域と表領域は分けて学習させます。
また、ページ内の複数ある文字領域は別々の領域として学習させます。
この例になっているペーパーカタログは左記の領域を抽出して
学習することを想定しています。
凡例
文字領域文字領域① 文字領域② 文字領域③
表領域

３ＡＳ6. アプローチについての説明その4（文字領域と表領域の推論）
 文字領域と表領域の推論
ペーパーカタログから文字領域と表領域が抽出された画像は、学習データをもとに推論されます。
なお、表領域内にある文字は表領域の一部として分類するようにしています。
文字領域
表領域

３ＡＳ7. アプローチについての説明その5（文字領域からの文字抽出）
 文字領域から文字抽出
抽出された文字領域から個々の文字の輪郭をもとに１文字づつ文字を抽出して文字認識します。
画像認識
スイツチング電源

３ＡＳ8. 検証結果
本取り組みによる検証結果を下記に記します。
※1 再現率：実際に正解であるものを物体検出でとれだけ認識できたかの確率のことを指す。
※2 適合率：物体検出で真であると予測したときに実際にそれが真である確率のことを指す。
アプローチ/タスク学習データ量学習時間検証データ量再現率適合率
文字領域黒画像：134枚 4時間対象：54 95 % 82 %
赤画像：44枚対象：16 86 % 76 %
青画像：69枚対象：37 80 % 72 %
表領域画像：53枚対象：22 81 % 78 %
文字ス画像：3枚 1時間対象：2 96 % 100 %
イ画像：3枚対象：2 90 % 100 %
ツ画像：3枚対象：2 90 % 100 %

３ＡＳ最後に
本プロジェクトの目的
 ペーパーカタログ上から特定エリアの文字認識するための手法の検証
 文字認識する際の問題点の洗い出し
最後までご清聴ありがとうございました。

総評
結果についての技術的評価コメントというよりは、
本分科会を通して学んだ
「ユーザ企業が気をつけるべき点」

重要な前置き
本分科会は、運営側のみなさま・
パートナーのみなさまが様々な制約の
中で精一杯ご尽力いただいたおかげで
成り立っているものです。
これから挙げる「学び」はあくまでも
本分科会を通じて得られた経験の
「自社への持ち帰り課題」であり、
本分科会へのディスでは
まったくございません！

ユーザ企業としての学び①
1. アプローチ方針／課題設定
• テキスト抽出の中で大きな課題のひとつと考えていた
「情報パーツの抽出」「文字系／その他に分別※」がメイン
※3ASさまアプローチにおいては「文字領域」と「表領域」の2種として
• パートナー企業が設計した中ボスである「文字データ抽出」に至るまで
の大まかな流れは、当方で想定していたものと同じ
• ただし実際の工程は当方のイメージよりも一段細かく、人間が無意識に
できてしまうがゆえに課題設定として漏らしてしまうことがまだまだあ
る（＝設定課題が大きすぎる）ことを反省
• 経験を積めば汎用的な課題設定技術は身につく…のか…？
• しかし採用するアルゴリズムによってもまるきり異なってくるはずで、
アルゴリズムについてある程度詳しく知っていなければダメなのでは
商品ページ
を認識
情報パーツ
の抽出
文字系／そ
の他に分別
文字データ
抽出
3ASさまカバー領域
学び

ユーザ企業としての学び②
2. アプローチ
• 画像データから、文字色ごとに文字領域を抽出＋表領域を抽出
• 抽出した各領域から文字を１文字ずつ切り出して文字認識
• 文字認識等、構築済みモデルが入手できそうなものは積極的に使うのが
よさそうだが、ユーザ企業はそのあたりの知識も少なかったりする
→ 情報収集活動のテーマに追加しよう‥
• ユースケースにアプローチがフィットするかどうか、事前の協議は必要
（例：１文字ずつの切り出しだと、小書き文字が分からなくなり、既存商品情報と情報レベ
ルが変わってしまう）
• 本格的にモデル構築・運用しようとしたときの各種作業ボリュームは
（アノテーション等）、ユーザ企業にとっては超重要情報
（精度高くても作業負荷が大きいと導入はできない）
• アプローチ検討の際には、ユースケースとFitしているかの都度確認がで
きるとよい…？費用対効果が期待できるかどうかも、このタイミング
でざっくり考えられるなら嬉しいが…
学び

ユーザ企業としての学び②
3. アルゴリズム
• （各推論モデルがどのようなアルゴリズムで構築されたかについては
報告書中には記載されていないので本資料でも割愛）
• ユーザ企業がお題を出してあとは「お任せ」状態なのはよくない。
パートナー企業を信頼するのと、全部お任せで結果だけチョーダイ、
は全くの別物
• 帰納型である推論システムへの「信頼」を作るのは、結果より経過、
経緯
• ユーザ企業とパートナー企業との間で、利用アルゴリズムについての
ディスカッション・コミュニケーションがコンスタントにあるほうが、
システムへの信頼度も上げやすくなる
• ユーザ企業側にそういった人材がいない場合も、橋渡しできそうな人を
なんとかして外から連れてくるか、最低限理解できるまでのレクチャー
を実施するべきでは
学び

ユーザ企業としての学び③
4. 結果
• 領域抽出文字領域黒：0.88, 赤：0.80, 青：0.75
表領域 0.79（F値）
• 文字識別ス：0.97、イ：0.94、ツ：0.94
• 試して→結果を評価して→次の一歩を考えて→試して…のサイクルにな
るはずで、結果そのものよりは結果評価が肝
• 結果評価（もっと頑張れる/そろそろ限界/無理筋/良すぎて疑わしい）
がユーザ企業とパートナー企業とでずれると悲劇。すり合わせ大事
• 探索的な開発となるので、Scrum的な反復的開発方法論が合いそう
• ゴールポストを動かすのは帰納的システムでは大アリ
• 当初期待したゴールでなくても、別の価値あるゴールが近くに見つかっ
たらそれでよい。ひらめき＋判断力もユーザ企業には必要
学び
※ いずれもF値

分科会報告まとめ
• 素人でも壁打ちができた
• リアルなテーマ＋データを使えるので臨場感抜群
• 壁打ちでも「我が事感」強く、シナリオ思索によい
• MLシステム構築のためのユーザ側「レシピ」に育てたい
• パートナー企業の皆様とのつながりができた
• 新しい領域でチャレンジされている方々とお話できるの
は本当に楽しいです
• もっとつながりを増やして＋深めていきたい

大変貴重な機会をいただきました。
ありがとうございました！

設定課題②
CAD図面からの物体自動学習

２－１．課題テーマ①
課題テーマ説明
ＩＴ推進部
田尻泰彦
51

３Dデータ
×
部品名
インプット
部品形状
×
部品名
学習
多方向アングル
スナップショット
×
部品名
課題設定テーマ
テーマ
CAD図面からの物体自動学習
概要
ＡＩへの期待
背景やりたいこと
デジタルツインによる高効率な生産を目指して、
AI技術を活用し工場内全ての部品の動きや
作業状況のトラッキングなどしていきたいが、
全部品、全製品へのアノテーションは非現実である。
※1シート製品に含まれる部品は300点 × 教師数
製品設計の成果物である３Dデータに対して、
多方向アングルでのスナップショットにより形状を学習
↓
アノテーション作業無く（少なく）
工場内の部品・仕掛品・製品を物体認識させたい
工場内
動画・
静止画
インプット
部品形状
×
部品名
部品名
アウトプット推論
52

３ＡＳ
3D部品による物体検出
株式会社 3AS
山元博生

３ＡＳ目次
1. 会社紹介
2. 取り組みのスコープとアプローチ
3. アプローチについての説明その1（3Dデータから2Dデータに変換）
4. アプローチについての説明その2（学習データの種類）
5. 検証結果その1（カラー画像）
6. 検証結果その2（グレースケール変換後にエッジ検出）
7. 検証結果その3（グレースケール変換かつネガポジ反転後にエッジ検出）
8. 総評

 スコープ
本取り組みでは、製品設計の成果物である３Dデータをもとに、多方向アングルでのスナップショット
から学習させるための２Ｄデータを作成して評価するところまでを範囲とします。
3D部品データ
アウトプット
物体学習
モデルに『学習』させる
部品の分類
多方向性
アングルから
のデータ作成
部品A
部品B
部品C
部品D
モデルに『推論』させる
物体推論
学習用データ作成
（3Dデータから2Dデータ作成）
工場内画像
2D 部品
A
インプット
学習データ
スコープ範囲

 アプローチ
3Dデータをもとに２Ｄデータに変換することにより物体検出処理で認識できるようにすることで、
アノテーション(※1)を作成します。
※1 アノテーション：対象となるデータに対して正解ラベル（タグ）や対象物の座標等関連する情報を注釈として付与することを指します。
 実施手順
① ３Dデータ作成用のソフトで多方向アングルからの画像を作成します。
② ２Dデータを作成しますが、学習データは物体検出で特徴を捉えるため3パターンの画像を用意します。
• カラー画像
• グレースケール変換した画像
• グレースケール変換かつネガポジ反転した画像(※2)
③ ２Ｄデータを教師データとして学習させ、3Dデータから部品を検出します。
※2 ネガポジ反転：色の反転の一種です。

３ＡＳ3.アプローチについての説明その1（3Dデータから2Dデータに変換）
 3Dデータ作成用のソフトで多方向アングルからビューの作成
• カメラ位置を固定して3Dデータを多方向に回転させます。また、光源を多方向から照らし物体検出の
際に使用する教師データとしてビューを作成して２Dデータに変換します。
• 提供頂いた3Dデータは光源の設定ができなかったために、本取り組みでは学習させるデータとして光
源なしで学習用データを作成する方針とします。
※ 物体検出の際に光源による陰影等で正しく検出できない場合があります。
カメラ
光源

３ＡＳ4. アプローチについての説明その2（学習データの種類）
 アノテーションに利用する学習データの種類
本取り組みでは、物体検出の際に特徴を捉えるために有効と考えられる2Dデータを３種類作成することと
します。
• カラー画像
学習用の教師データに手を加えないカラー画像で学習する。
• グレースケール変換した画像とエッジ抽出
学習用の教師データにカラー画像からグレースケール変換してエッジ検出します。エッジ検出することにより物体
の特徴が発見しやすいと考えます。
• グレースケール変換しネガポジ反転後にエッジ検出
学習用の教師データにグレースケール変換した後に反転させてエッジ検出します。グレースケール変換した後に反
転させることで物体が鮮明になり特徴が発見しやすいと考えます。

３ＡＳ5. 検証結果その1（カラー画像）
加工しないカラー画像を学習させて物体検出させた結果です。
• 一部の部品を検出することができました。
• 部品が検出できないものと、学習データから推論した結
果で誤認識されているものがあるが、他の変換された画
像データよりも検出率は高かった。
• 光源の変更が出来る3Dデータをもとに入力データを作成
することが出来れば検出率は高くなると考えられます。

３ＡＳ6. 検証結果その2（グレースケール変換後にエッジ検出）
グレースケール変換後にエッジ検出させた画像を学習させて物体検出させた結果です。
• 部品を検出することがほぼできませんでした。
• 光源による陰影を操作した画像のパターンが不足してい
るため、部品の特徴を捉えることができなかったと思わ
れます。

３ＡＳ
7. 検証結果その3
（グレースケール変換かつネガポジ反転後にエッジ検出）
グレースケール変換かつネガポジ反転後にエッジ検出させた画像を学習させて物体検出させた結果です。
• 一部の部品を検出することができましたが、検出率はあ
まりよくありませんでした。
• グレースケール変換時のパターンを増やすことで部品の
特徴を捉えやすくなる可能性がありますが、本取り組み
では時間が足らず実施できませんでした。

３ＡＳ8. 総評
• 光源の変更が出来る3Dデータをもとに入力データを作成することが出来れば検出率は高くなると考えられます。
• グレースケール変換もしくはグレースケール変換かつネガポジ変換からのエッジ検出は、カラー画像と比べると再現率、適合率がかなり低
いスコアとなってしまった。これは、グレースケール変換時にしきい値のパターンを用意してエッジ検出することで物体の特徴を捉えられ
るようにアプローチの方法を検討する必要があります。
アプローチ/タスク学習データ量学習時間検証データ量再現率 (※1) 適合率 (※2)
カラー画像画像：75枚 1時間対象：15 45 % 72 %
グレースケール変換から
エッジ検出
画像：75枚 1時間対象：15 21 % 19 %
グレースケール変換かつ
ネガポジ変換後にエッジ検出
画像：75枚 1時間対象：15 22 % 21 %
※1 再現率：実際に正解であるものを物体検出でとれだけ認識できたかの確率のことを指す。
※2 適合率：物体検出で真であると予測したときに実際にそれが真である確率のことを指す。

３ＡＳ最後に
本プロジェクトの目的
 3Dデータからでも物体認識する手法の検証
 物体認識する際の問題点の洗い出し
最後までご清聴ありがとうございました。

会社紹介
21,152百万円
3,366億円
資本金
売上高
ＳＣＳＫ株式会社
1969（昭和44）年10月25日
代表取締役社長執行役員谷原徹 12,054名
会社名
設立年月日
代表者従業員数
（連結ベース 2018年3月期）
（連結ベース 2018年3月末）
顧客接点のデジタル化オペレーションのデジタル化ビジネス変革
・顧客応対をもっと効率化したい
・シームレスな顧客体験を実現したい
・顧客情報の集約、活用を進めたい等
・現在の業務実態を明らかにしたい
・作業の自動化、効率化を進めたい
・小規模でも迅速に業務立ち上げしたい等
・デジタルで新ビジネスモデルを策定したい
・新ビジネスを支えるモード2 ITを導入したい
等
・次世代コンタクトセンター
・多言語対応、自然言語解析ソリューション
・金融機関向けサービス、Fintechアプリケーション
・先進AI／IoT活用ソリューション
・業務自動化、アウトソーシングサービス
・ものつくり改革、超高速開発ソリューション
・DXコンサルティング
・グローバル企業ネットワーク
・国内外ベンチャー企業からの技術発掘
課
題
Ｄ
Ｘ
推
進
サ
ー
ビ
ス
ＳＮＮ
先端IT＋長年の業務運営実績先端IT＋働き方改革実績グループ会社・各種パートナーとのネットワーク

アプローチ
本トライアルでは、多種製品が混在する製造現場にDNNモデルを適用するために、いかに学習
フェーズを簡素化できるかに挑戦しました。
そのため、CADから生成した様々な角度のCG画像に対して、機械的に多種多様な背景を組み合わ
せ、アノテーション作業なしで学習を実施しています。
出来上がった学習済みモデルを、実際の生産現場の映像で推論を行い、精度検証を実施しました。

検証結果サマリ
提案概要実施内容結果
対象作業：
3Dデータからの実写(FC)検出
AI活用案：
以下のステップによるFC検出を提案
1.データ加工
⇒物体の特徴を効率よく際立たせる
ためのデータ加工
2.複合ステップで精度向上
⇒作業画像からのシート全体検出
⇒検出したシートを推論対象とする
ことで、精度の良いFC検出を目指
す
実施概要：
提案手法を2タスクに分割して
実現性を検証
タスク① 作業映像からシート全体
検出
タスク② 検出したシート全体から
FCを検出
実施環境：
クラウドGPU環境で実施
弊社AIツール「SNN検出モデル」を
利用
期間：
2018年11月上旬～2018年12月末
(約2ヶ月)
実験結果：
タスク①
△ シート全体検出
適合率94.4%
再現率53.1%
タスク②
× FC検出
追加アプローチ：
①実写画像の混在
②学習量パターンの増加

提案概要
設計データの特徴を効率よく、際立たせて学習するために、対象物の様々な角度の画像を抽出し、
多種多様な背景に組み合わせた画像を学習データとして利用します。

実施内容
タスク①
・CGデータからの学習データを作成
・シート全体検出
タスク②
タスク①で検出したシート全体からのFC
部分の検出
・データ準備
・学習データ作成
・モデル作成
・解析
・学習データ作成
・モデル作成
・解析
タスク① タスク②
CGデータに多種多様な背景画像を組み合わせる
ことで、物体の特徴を効率よく、際立たせる。
精度の良い部品検知を目指し、まずシート全体を
検出した上で、その中のFC部分を検出する2段階
方式でトライを実施する。

結果（タスク①）参考：シート以外の検出例
【結果】
シート全体の解析結果は以下の通り。(結果の良い色調整の解析結果)
再現率＝５３．１（％） ※再現率：映像のシートをＡＩがシートとして検出できた割合
適合率＝９４．４（％） ※適合率：ＡＩが検出したシートが映像のシートである割合
ＡＩによる誤検出（シート以外をシートとして認識）は少ないため適合率が高い。
ただし、シートの検出漏れが多いため再現率が低い。
【考察】
学習工程の自動化のため、学習件数２００件にて実施したが十分な精度には至っていない。
精度向上のアプローチとして、以下の方式を想定した。
追加検証① CGデータに加え、実写データを混在させた学習（特徴不足の補完）
追加検証② 背景画像の組合せパターンを増やし、学習件数を増加（学習不足の補完）

結果（タスク②）
【結果】
FCの検出結果としては、ほぼ検出ができず、検出できた場合でも誤検出となった。
【考察】
・今回トライしたFCは、シートの背もたれと特徴が似ており、誤検出につながった。
・シート全体からのパーツ検出の有効性を確認するためには、はっきりとした特徴持ったパーツ
(例えば、ヘッドレスト)での検証が必要。
・シートの向き・状態を判断したうえで、相対位置とFC検出を組み合わせたアプローチなどの
設計データからのロジックベースなどを検討。
参考：誤検出例

【結果】
シート全体の解析結果は以下の通り。
※再現率：
映像のシートをＡＩがシートとして検出できた割合
※適合率：
ＡＩが検出したシートが映像のシートである割合
●パターン(1)：学習用(CG:250枚)、検証用(実写:11枚)
●パターン(2)：学習用(CG:210枚)、検証用(CG:40枚、実写:11枚)
全体として誤検出（シート以外をシートとして認識）や検出漏れが目立つ。
【結論】
検出できなかったシートが検出されたものもあったため、実写データ混在の
有効性は一部確認でき、実写データの数を増やすなど更なる検証余地もある。
結果（タスク①：追加検証①）
再現率(%) 適合率(%)
パターン(1) 26.7 23.5
パターン(2) 33.3 35.7
誤検出未検出
追加
検出

【結果】
250種類のアングル画像に対して、15枚の背景を合成し、3,750枚を作成
学習データ増やす前の推論結果と比べ、全体の検出数は減る結果となったが、
検出したケースではシート全体を検出する傾向が出ている。
（データが少ない場合は、シートの一部を検出するケースが多い）
【考察】
データを増やすことで、CGデータの特徴を細かく判定するようになった。
今後検討できる要素としては(形として特徴を捉えるためには)
・学習データのシート画像の色パターンを増やす
⇒光の当たり具体の違い(色の違い)を吸収できるのではないか？
・推論用データの色味を調整し、学習データの色味に近づける
等が考えられる。
結果（タスク①：追加検証②）
再現率(%) 適合率(%)
追加検証② 9.3 75.0

アプローチ/タスク学習データ量学習時間検証データ量(※) 再現率適合率
タスク① 画像：250枚 1.5時間対象：32 ５３．１％９４．４％
タスク①追加(1) 画像：250枚 1.5時間対象：15 ２６．７％２３．５％
タスク①追加(2) 画像：250枚 1.5時間対象：15 ３３．３％３５．７％
タスク② 画像：384枚 1.5時間対象：33 - -
※目視で認識できたシート数(シートの8割以上が確認できるもの)

今後に向けて
【今後に向けて】
今回のご提供データのみを使った学習・推論では、十分な検出精度が出なかった。
今後、精度向上を目指すためには、以下のような検証が考えられる。
(ただし、手間がかからない方法を検討)
①より実写に近い画像を学習データに利用
②学習時の検証データにある程度の実写データを利用
別事例でのアプローチでは、背景画像を実写（工場内の風景）を使うことで精度向上が
見られた。トヨタ紡織様の環境が許すならば組合せパターンの増加にもチャレンジしたい。
また、今回CGデータから自動的に背景画像を組み合わせてアノテーションするプログラムを
作成したので、今後の研究に利用できるような形にしたい。

検証結果
BLUE TAG株式会社

Confidential Copyright © BLUE TAG CO.,LTD. All Rights Reserved..
Deep Learning Lab 2018年後期
トヨタ紡織様課題
BLUE TAGの取り組み
2018年10月12日
BLUE TAG 株式会社
BLUE TAG株式会社の御紹介
TAG For Your Digital AI Business Journey
2019年 3月
BLUE TAG 株式会社
Discussion Purpose, Internal Use Only
Strictly Confidential

Strictly Confidential Copyright © BLUE TAG CO.,LTD. All Rights Reserved.
BLUE TAG株式会社のご紹介
会社名 BLUE TAG株式会社
設立 2018年5月
代表取締役渋谷純一
共同創業者中尾悠基
社員数６名（CTO含むエンジニア４名）
会社概要
モノにTagをつけ「見える化」
⇒ Big Dataを日本の産業に浸透させる
画像処理 × 数理学× AI
モノの価値最大化
画像処理とAIでモノと日本の製造産業を繋ぐ
BLUE TAG
Vision
Generate more innovation with “TAG”.
Strive the world with various identities.
Mission
日本の製造産業を最新の技術で活性化させ日本発のビジ
ネスイノベーションを創出します。

渋谷純一
代表取締役
略歴
戦略コンサルティングファーム食品・消費財セクターでの大手企業の事業支援
大手総合商社
• 医薬セクターにおける国際的なM&A、国内外
の医薬品ライセンシング、医療系ベンチャー企
業の新規海外事業の支援
• 大規模M&A案件等国際法務業務
大学発ベンチャー
• 人工知能を活用した画像解析の事業開発
• 海外事業展開
中尾悠基
取締役
略歴
大手専門商社
• 顕微鏡・半導体検査装置のシステム販売
• バイオ分野、工業分野における画像解析/計測
ソフトウェアの開発・販売
• 人工知能を活用した画像解析システムの開発
サポート、営業
• ライフサイエンス分野における研究者画像解析
支援システムの開発サポート及び営業
その他活動
慶應義塾大学法務研究科（司法試験合格） 2009年
University of Southern California LL.M 2014年
中国西安交通大学短期語学班卒 2007年
その他活動
X線光学系システム開発の研究及び論文執筆活動 2018年
東京理科大学大学院材料工学専攻
(金属/ X線工学)
2013年
取締役紹介

小川兼司
CTO 兼チーフエンジニア
略歴
IT企業
機械学習、自然言語処理、強化学習の案件に携わる
チーフエンジニアとして、多くの画像処理、ディープラーニン
グ、GUI開発に携わり、プロジェクト及びエンジニアの統括
を行う
その他活動（研究活動）
総合研究大学院大学博士課程
高エネルギー加速器科学研究科修了
（素粒子原子核専攻）
国立台湾大学、交通大学（台湾）、
中原大学（台湾）博士研究員
素粒子物理学
GPUを使用したシミュレーション
東京大学工学系研究科技術経営戦
略学専攻特任研究員
（松尾豊研究室）
画像処理、ディープラーニング
CTO紹介

「3Dデータを教師データとした部品・仕掛品・製品の物体認識」
課題
デジタルツイン（サイバー空間を利用）による高効率な生産を目指して、AI技術を活用し工場内全ての
部品の動きや作業状況のトラッキングなどしていく方針。しかし、全部品、全製品へのアノテーションは非現実的
※1シート製品に含まれる部品は300点 × 教師数
条件としては、①3DCADデータのみ提供され、実画像を用いずにシートを認識すること
トライアルの背景及び条件
BLUE TAGの課題へのアプローチ
 シートの形の情報しか使えないというため、①輪郭の形状特徴を利用（セグメンテーション）する ②輪郭
の形状特徴だけからでは困難な場合に備えて深度データも利用する
 3DCADのデータ対象（シート）は画像全体の一部分にすぎないこと、及び背景画像が入手できない、
色々変わりうるということを考慮し、セグメンテーション及び深度前推定に関しては汎用のものを使用する
 上記情報から「シートらしい」物体を他と区別して認識する機械学習のアルゴリズムを選定する必要がある

トヨタ紡織様タスク解析アイデア
推論過程
1. セグメンテーション
2. 輪郭の情報によってシートでないものを排除
3. 各オブジェクトに対して深度推定を行う
4. 深度推定を行なったオブジェクトに対してシートらしさのスコアをつける
 方法１： ①回転角などを推定、②３次元データを使用して２次元を復元、深度推定との差分を測定
 方法２：オートエンコーダの復元誤差を利用する
「シートらしい」か否かの判断を経て結果を出力
準備
 3Dデータから２次元マスク画像の特徴量（Huモーメントなど）を取得
 3Dデータによって深度情報付き2次元データを作成。目的は、後に”シートらしさの判定”に使用するため
 学習1 ：回転角などの撮影条件（位置関係）
 学習2 ：オートエンコーダ＊
 セグメンテーションの学習済みモデルを用意
 深度推定の学習済みモデルを用意
*オートエンコーダ（自己符号化器）とは、入力データを次元削減し
圧縮し（エンコード）、データを復元して出力データを生成(デコード)
するニューラルネットワーク

ご提案する推論の方法①（セグメンテーション）
入力画像
推論イメージ
椅子と人の例。最終的には見えるもの全て
セグメン
テーション
元画像出典
https://next-hands.net/nocategory/1587/
各オブジェクトに対して深度推定

ご提案する推論の方法②（輪郭からシートでないものの排除）
準備
3DCADデータを使って様々な角度からレンダリングを行うー＞特徴量を取得ー＞散布図を作成
Hu Moments https://docs.opencv.org/3.4.3/d3/dc0/group__imgproc__shape.html#ga6d6ac1b519cba25190119afe3a52c1cc
例: Hu Moment
値が違えば形が違う
回転、スケール不変
ノイズに対して変化が少ない
シートのシルエットではありえないもの
hu1: 0.26 hu2: 0.000
hu1: 0.20 hu2: 0.008 hu1: 0.20 hu2: 0.012 hu1: 0.37 hu2: 0.055
hu1: 1.00 hu2: 0.979
(hu1, hu2)がこの領域外
にあるものは除外する
hu1
hu2
オブジェクトが隠れてない事が前提
推定
撮影角度の絞り込みも可能
a b c
a
b
c

ご提案する推論の方法③（オートエンコーダーを用いた復元による判断）
深度マップの作成
学習済み
汎用深度推定器
赤：カメラに近い
緑：中ぐらい
青：カメラから遠い
AEまたは角度推定による
深度マップの復元
だいたい同じものが
復元可能
＝シートと判断する
深度マップの作成
AEまたは角度推定による
深度マップの復元復元できない
＝シートでないと
判断する
この目的に
３DCADデータを
利用
※こちらの
図は省略

MaskedRCNNの学習済みモデル
Chairが学習セット(coco)に含まれている
前景、背景の分離はできていそう
もうちょっと頑張ればという感じ
Segmentationの検証
他のセグメンテーションもいくつかやったがMaskedRCNNが学習済みモデルでは良さそうな結果だった
分類なしで１クラスのみの学習を行えば、各オブジェクトの検出ができるのかも

深度推定
- データセット、ベンチマーク
- KITTI http://www.cvlibs.net/datasets/kitti/eval_depth_all.php
- NYU Depth Dataset https://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html
- List of RGB-D dataset http://www.michaelfirman.co.uk/RGBDdatasets/index.html
- DORN
Deep Ordinal Regression Network for Monocular Depth Estimation.
code: https://github.com/hufu6371/DORN
Caffe
コンテスト１位
Caffe使用

前景と背景は分かれている
深度が正しく反映されてない部分もある

深度推定に関する考察
どちらが近い方かわかりづらい場合もある
-> AIも混乱する事があるのでは？

エッジ検出
これによってテクスチャ情報を排除した解析ができないか模索
Holistically-Nested Edge Detection
https://arxiv.org/abs/1504.06375
学習済みモデル使用
Berkeley Segmentation Data Set and Benchmarks 500 (BSDS500)
https://www2.eecs.berkeley.edu/Research/Projects/CS/vision/grouping/resources.html

この比較でシートを見つける事は
できないか？

データの作成
元データ
三次元データ (PLYファイル)
VTKを使用した
カメラ距離固定
ランダムな回転

二値化（マスク）

Hu Moment の解析
３次元データ
撮影条件
(回転角)
２次元画像
データ生成でやった事
今は定量化がしたい
２次元画像Hu Moment
第一次の判別
フィルタリングに
使いたい

Hu Moment の解析
vは輝度値
(下のグラフは 0:マスク外, 1:マスク上を使用)

Hu Moment による並び替え
h1の小さいもの
h1の大きいもの

実際の画像への応用
**これは人の手で輪郭をつけました**
マスクでやったので前後逆なものも含まれる
FCの
hu-momentの領域
から外れている横を縮めた
おそらくhuMomemtを使った判定はカメラのキャリブレーションを正し
くしないと働かない

Hu Moment はperspective変換（台形変換）に対して不変ではないので、
カメラと対象物の距離関係、レンズ性質がわかってない時には、
それほどあてにならない
（3DCADデータとズレが生じてしまう）
台形変換に対して不変な量があればいい
（現在の私の知識では知らないですが、あるかも知れない）
やはり、このタスクにおいては、ある程度の不確定さを許容できる
Deep learning が向いているのではないか。
ー＞ Auto Encoder のテスト

Auto Encoder 学習データ
3D CADデータから作成した画像エッジ検出（HED)
これをencode decode
の学習に使う

学習後
Encode-decode

テスト画像のエッジ検出を使用
Encode-Decode

RCNNの学習

Hu Moment 200 - - - -
Auto Encoder 200 30min 22 - -
RCNN 1000 2h 22 - -
どの検証においても意味のある結果を得る事ができなかった。

今回のアプローチの可能性
- 撮影条件、背景などがあらかじめわかっていればうまく行くかもしれない。
- （もし、正確にできれば）輪郭よりも深度の方が情報が多いので高い分類精度が期待できる
今回の課題で学んだ事
- 撮影条件、背景などがあらかじめ設定されてないタスクというのは難しい（少なくとも弊社の技術では）
- 台形変換に対して普遍な特徴量が必要
- RCNNは背景情報も含めて学習しないと検出精度が上がらない？
- AIの仕様は使用する側の人間が決めるものだと、改めて認識した。
＝＞今後仕事を受注する上で勉強になった。
- PLYファイルの取り扱い、VTKの使い方を今回のタスクて習得した。

総評

114
総評
パートナー企業アプローチ／タスク再現率適合率学んだこと
3AS グレースケールとエッジ 21% 19% ・同じような次元にする＝グレースケールが
有効と想像していたが、違い、
RGB側で寄せる方が効果的
グレースケールと反転エッジ 22% 21%
ＲＧＢの結果 45% 72%
SCSK タスク① シート全体検出 53% 94% ・先に大きくモノを捉えて、
次に小物を検出する手法は有効
・似ている部品が多いので、
部品の位置関係も学習が必要
タスク① シート全体検出追加(1) 27% 24%
タスク① シート全体検出追加(2) 33% 36%
タスク② FC部品の検出 - -
BLUE TAG Hu Moment - - ・形状が歪むカメラの動画は、NG
（今回、家庭用カメラを利用）
・工場内にある余計なモノがジャマ
Auto Encoder - -
RCNN - -
検証結果と学んだこと
やりたい事に対して、いろいろなアイデア、さまざまな手法でトライいただき、たくさんの知見を得られた

おわりに
DLLAB製造分科会事務局

製造分科会活動としての総評
ユーザ企業、パートナー企業とも積極的に参画、果敢にチャレンジ
していただき、多くの学びがあった。
＜ユーザ企業様＞＜パートナー企業様＞
課題をオープンに
社内データの提供
高難易度
短納期

参加企業様の声①（ユーザ企業）
成果の出る可能性が読めないチャレンジングな課題検証に取り組める
課題提供するユーザ企業の担当も、基礎知識の事前学習が必要・重要
課題自体が機密情報である場合が多く、その課題自体をオープンに提供
できないという事情があった

参加企業様の声②（パートナー企業）
正攻法だと関係構築の難しい大企業と密なコミュニケーションがとれる
難しい課題に対して、新しい手法・技術を学び、試すことが出来た

課題・学び
（競合企業には）オープンにできないが、チャレンジしたい課題にどう取り組めるか
本業での繁忙期やトラブルを避けることが出来るような開催期間・やり方の検討
より広く多くの企業の参加と、課題と技術のマッチングの最適化検討

ありがとうございました。

DLLAB 製造分科会　2018年度成果報告

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Ähnlich wie DLLAB 製造分科会　2018年度成果報告

Ähnlich wie DLLAB 製造分科会　2018年度成果報告 (20)

Mehr von Deep Learning Lab（ディープラーニング・ラボ）

Mehr von Deep Learning Lab（ディープラーニング・ラボ） (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (7)