SSII2018 企画セッション「画像センシング技術の最先端」 6月13日(水) 11:30～12:15 (メインホール)

3. E-Commerce応用
[Kiapour, ICCV 2015]
Street2Shop
物体検出、分類、類似検索はコンピュータビジョンの基礎技術

6. ファッション領域のAIサービス
https://www.amazon.com/Echo-Hands-Free-Camera-Style-Assistant/dp/B0186JAEWK
https://www.technologyreview.com/s/609452/alibabas-ai-fashion-consultant-helps-achieve-record-setting-sales/
Amazon Echo Look Alibaba FashionAI

14. DeepFashion: Powering Robust Clothes
Recognition and Retrieval with Rich
Annotations
http://mmlab.ie.cuhk.edu.hk/projects/DeepFashion.html
[Liu, CVPR 2016]
800K images
50 categories
1K attributes, bbox,
landmarks
Attribute prediction
Street-to-shop
In-shop retrieval
Landmark detection
Image synthesis
Retrieval demo: http://fashion.sensetime.com/

17. Where to Buy It: Matching Street
Clothing Photos in Online Shops
• 同一商品をストリートスナップから同定
[Kiapour, ICCV 2015]

32. アトリビュートの自動検出
• 画像認識に使える語彙を発見
• オープンワールドデータでの挑戦
• Web から学習済みニューラルネットを
使って発掘
yellow
large
surfer
comfy
original
popular

33. 提案手法
Pre-trained deep CNN
beautiful soft blush handmade leather ballet
flats.
***please, note, our new blush ballet flats are
without the beige trim line (around the
edges), still just as beautiful and perhaps even
more***
SIZING
how to take measurements
there are a number of ways to measure your
feet, however we find the quickest and most
reliable practice is by tracing your feet. Here is
how to do it: stand on a piece of paper that's
bigger than your feet, circle your feet around
with a straight standing pencil (without
pressing the pencil too hard to the edges of
your feet). Once you have the tracing,
measure distance between longest and
widest points. Compare the measurements to
the list below.
Image Text
white
red
striped
wooden
sliky
...
アトリビュート
1. Webデータを収集
2. DNN内部挙動を
観測

34. Web: 実質無限のコーパス
自然言語記述
Feel So Good ... Purple Halter
Maxi Cotton dress 2 Sizes
Available
タグ
used, american casual, summer,
shorts, t-shirt, surfer, printed,
duffer
Etsy dataset: e-commerce Wear dataset: fashion-blog

39. アトリビュートは検出可能か？
• 単語によっては見てもわからない
• 判別器の性能から自動的に視認性 (visualness) を判定
yellow comfy
large original
surfer popular

45. アトリビュートの自動検出
• Webデータからオープンワールドの画像認識モデルを学習
• DNNの内部挙動を調べることで特定の単語の視認性を測定可能
• さらに顕著性も検出することが可能