用AI創造大商機：媒體、廣告、電商、零售業的視覺辨識應用
•
4 gefällt mir•1,117 views
分享於Taoyuan AI Day 青年創新創業國際論壇 （桃園市政府、商業周刊合辦）
Empfohlen
Weitere ähnliche Inhalte
Ähnlich wie 用AI創造大商機：媒體、廣告、電商、零售業的視覺辨識應用
Ähnlich wie 用AI創造大商機：媒體、廣告、電商、零售業的視覺辨識應用 (20)
Mehr von Albert Y. C. Chen
Mehr von Albert Y. C. Chen (18)
用AI創造大商機：媒體、廣告、電商、零售業的視覺辨識應用
- 1. ⽤用AI創造⼤大商機 媒體、廣告、電商、零售業的視覺辨識應⽤用 Albert Y. C. Chen, Ph.D. Vice President, R&D Viscovery
- 2. Albert Y. C. Chen, Ph.D. 陳彥呈 博⼠士 • 經歷 2017 迄今：Viscovery 研發副總裁 2015–2017：Viscovery ⾸首席科學家 2015–2015：美國 Nervve Technologies 主任科學家 2013–2014：美國 Tandent Vision Science 電腦視覺科學家 2011–2012：美國 GE Global Research 研發⼈人員 • 學歷 美國 紐約州立⼤大學⽔水⽜牛城分校 Computer Science 博⼠士 國立台灣師範⼤大學 Computer Science 碩⼠士 國立清華⼤大學 Computer Science 學⼠士
- 3. AI須創造價值，⽽而非徒增成本 • AI研發、如⼤大數據分析，易易陷「投入鉅，回收⼩小」的困境。 • 但是當跨國巨擘都不遺餘⼒力力的投入AI軍武競賽時，台廠稍⼀一 遲疑，就容易易失去競爭⼒力力（成本⾼高、品質低），被下⼀一波產 業⾰革命淘汰。（AI沒有「快老⼆二」，只有「滾雪球」） • ⼗十幾年年來來，我從學術研究計畫的提案與執⾏行行，到跨國⼤大公司 研究院、新創公司的研發管理理，深感：管控「研發風險」與 「預期收益」，知易易⾏行行難，需要不斷從錯誤中學習。 • 對「市場需求」⼀一無所知的AI研發，註定會以失敗收場。
- 4. 離「強AI」尚遠，各應⽤用仍需客製 (BCG AI Report, 2016/10) 應⽤用層 技術層 基礎層 解決⽅方案 應⽤用平台 算法 & 框架 通⽤用技術 數據 運算能⼒力力 運算能⼒力力 ⼤大量量數據累積、開放數據接⼝口 算法平台 算法平台 通⽤用技術平台 通⽤用技術平台 應⽤用平台 應⽤用平台 應⽤用 應⽤用 應⽤用 應⽤用 應⽤用 硬體 公司 垂 直 應 ⽤用 的 先 驅 農業 製造業 醫療 ⾦金金融 零售 交通 E.g., 1: Google, Amazon, FB, 2: IBM, 3: Walmart, 5: NVidia
- 5. AI商機探討 • 今⽇日先不談： • 聊天機器⼈人 (Emotibot) • 輿情分析 (eLand) • ⾼高頻交易易 • 風險管理理 (BravoAI) • ⼯工業檢測 (uTech, Leaderg) • 醫療 (Taiwan AI Labs) • 安防、監控 (UmboCV) • 今⽇日要談過去20年年被寄予厚 望，卻遇到嚴峻挑戰的產業： • 媒體 • 廣告 • 零售 • 電商
- 6. 商品識別 智慧零售 智慧電商 智慧媒體 ⼈人臉識別 內容關連廣告 顧客數據分析 智慧零售櫃 智慧結帳 商品管理理 電商導購 影片⾃自動⽣生成 不當內容審核 影片推薦 Viscovery 解決⽅方案綜覽
- 7. ⼀一、⽤用AI幫媒體創造商機 • 網際網路路時代商業模式的反思：內容免費，流量量加倍，營收 就會跟著翻倍？ • 此商業模式運⾏行行近20年年，受益的僅Google和Facebook。全 球數位廣告營收，他們掌握現階段75%的市場，以及未來來 99%的成長。 • 這商業模式還玩得下去嘛？矽⾕谷最新的「獨⾓角獸」，多已不 再遵照這規則。
- 10. ⼈人們願意付費收看優質內容
- 11. 好的內容，不僅限於原⽣生內容 好的聚合與推薦同樣有價值 • News Republic (2016年年8⽉月被以 57M usd 收購) • 每⽇日活躍⽤用⼾戶數：1250萬⼈人。 • 年年營收6萬美⾦金金。 • 今⽇日頭條 (toutiao.com) • 每⽇日活躍⽤用⼾戶數：8000萬⼈人。 • 年年營收10億美⾦金金。
- 12. ⾃自營平台，或授權Google、 Facebook以外的第三⽅方平台？ • ⾃自營平台： • 對會員服務、營收佔比有更更多控制。 • 授權內容予第三⽅方平台： • 專注於內容製作，減少軟體開發、IT維護、客⼾戶服務的成 本。
- 13. 案例例研究：Netflix • Netflix每年年花2.5億美⾦金金在「個⼈人化影⾳音內容推薦 」的研發 上。 • 全球1億個⽤用⼾戶，美國5200萬個⽤用⼾戶（美國市佔#1 ，第⼆二 名的Youtube僅52%）。 • Netflix⽤用⼾戶每⽉月觀影19天，每⽉月平均看28⼩小時影片（美國市 佔#2，次於Dish衛星電視的48⼩小時）。
- 17. 影⾳音內容 流量量→營收 的轉換 2000 2005 2010 now (提昇⽤用⼾戶體驗與黏度) 影⾳音⼤大數據挖掘 掙扎的傳統媒體 內容免費 廣告營收 內容收費 會員收費 維持現狀狀 坐以待斃 提昇廣告收益? Ad Tech ⾃自營平台 共享平台 聚合授權 影⾳音內容 關連廣告 影⾳音內容 關連推薦
- 18. 影⾳音辨識量量 vs 變現⽅方式 • 影片辨識成本非常⾼高。 Google每項辨識服務的 定價$1.5/1000張圖，⼀一 ⼩小時影片=3600秒，每秒 辨識⼀一張，需$5.4。 • 影片儲存、辨識結果儲存、 辨識結果進⾏行行分析的成本 很⾼高。 • 需要有「⼀一邊辨識⼀一邊賺 錢」的business model。 電商導購 單劇廣告成效 劇集廣告成效分析 關連廣告 (直投) 關連廣告 (程序) 影⾳音⼤大數據 0 2.5 5 7.5 10 辨識影片量量 (10^N)
- 19. 影⾳音內容關連 電商導購
- 20. 影⾳音內容關連廣告 Previous moment: dining scene Insert Food Deliver Service ad Next Moment: dining scene 饿了了吗？快点饿了了么！ Food Delivery Service Ad: Previous moment: dining scene Insert KFC ad Next second: dining scene 炸鸡红包快来抢！ Restaurant Ad:
- 21. 影⾳音內容關連廣告 Previous moment: driving scene Insert Automobile ad Next moment: driving scene Automobile Ad: Consumer Electronics Ad:
- 22. 影⾳音內容關連推薦
- 23. 影⾳音⼤大數據分析 Viscovery’s video insight publication on “Ode to Joy 2”
- 25. 商品管理理、進階搜尋、價格追蹤 例例: 電商搜尋 "SanDisk Extreme" = ≠ ⽤用圖像比對，協助整理理搜尋結果 競爭對⼿手價格追蹤 例例: 電商搜尋 "iphone x" ≠ ≠
- 26. 智慧零售櫃、結帳
- 27. 零售商店顧客數據分析 • 訪客⼈人數 • 客⼾戶年年齡、性別、情緒 • 商品熱點分析 • 未被接待客⼾戶偵測 • 排隊結帳⼈人數
- 28. 影⾳音內容變現 願景雖好，技術障礙卻非常⾼高 周杰倫倫唱 A 跳著 B 穿著 C 戴著 D 在 E 場景前於 F 時間? • 距離全⾯面了了解影⾳音內容的「強AI」，還有很⼤大距離。 • 未完美之前，就什什麼事情都不能做了了嘛？
- 29. 過去50年年逐個成熟的電腦視覺應⽤用 • 1960⾄至今：AOI 光學檢測 • 1970⾄至今：指紋辨識 • 1980⾄至今：⾞車車牌辨識 • 1990⾄至今：醫療影像 • 2000⾄至今：⼈人臉識別 • 2010⾄至今：⾃自動駕駛
- 30. 當前的AI影⾳音辨識技術到哪了了？ ⼈人臉辨識 • 1 to 1: 99%+ • 1 to 100: 90% • 1 to 10,000: 50%-70%. • 1 to 1M: 30%. LFW dataset, common FN↑, FP↓
- 31. 當前的AI影⾳音辨識技術到哪了了？ 場景辨識 • MIT Places 365 dataset. • top-5 accuracy rates >85%.
- 32. 當前的AI影⾳音辨識技術到哪了了？ 物件辨識 • ImageNet Large Scale Visual Recognition Challenge (ILSVRC) • 1000+ classes, 1.2M images. 0 0.125 0.25 0.375 0.5 11 12 13 14 11 12 13 14 classification error classification +localization error
- 34. 通⽤用型 AI vs 專⾨門辨識影⾳音內容商機之 AI TOP 5 TAGS COMPARISON TAG AD PLACEMENT VALUE TAG AD PLACEMENT VALUE Person Low Coulee Nazha (actress) High Anime Low Sean Sun (actor) High Screenshot Low Back of smartphone High Cartoon Low Female Medium Adult Medium Young Medium “FIRST LOVE” DRAMA SERIES SCENE Competitive Analysis Baidu vs. Viscovery TOP 5 TAGS COMPARISON TAG (Man’s Face) AD PLACEMENT VALUE TAG AD PLACEMENT VALUE Age: 32 Medium Necklace High Asian Medium Baseball cap High Male Medium Bracelet High Not smiling Low (inaccurate) Ziwen Wang High
- 35. 經典問題⼀一：⾼高維度的詛咒 坐 ze sit って 앉다 sentarse • 變數量量 vs 樣本量量。新⼿手解題時變數量量往往遠⼤大於樣本 量量，以致於即便便是最強⼤大的機器學習理理論，同樣無解。
- 36. 例例1: 違規停⾞車車偵測 合法停⾞車車影像樣本 x100 違規停⾞車車樣本 x100 我們來來訓練⼀一個150層的 Res-Net 吧!!! 應該沒什什麼能出錯的地⽅方吧？
- 37. 例例2: 利利⽤用Google Cloud Vision API 辨識結果做智慧型相簿
- 38. 例例2: 利利⽤用Google Cloud Vision API 辨識結果做智慧型相簿 ⼀一個能辨識百萬類別標籤的分類器，任意兩兩張 圖片之間的標籤相似度，平均近乎0。
- 40. Viscovery = Video Discovery Optical Character Recognition Offline Recognition 2013 2014 Product Recognition 2015 Video Content related Advertisements 2017 Wearable Devices Video Content Discovery & Interaction 2016 影⾳音內容⾃自動辨識與商機挖掘的先驅
- 41. 各種⾓角度的明星臉都要識別 • ⼤大幅提升辨識海海量量視頻⼈人臉的效率與實測準確率 搜圖、篩圖、補 圖 ⼈人臉模型訓練 ⼈人臉偵測 ＋⼈人臉辨識 傳統⼈人臉識別 3.25 ⼩小时 / ⼈人 24 hr 3 min Viscovery 2 分钟 / ⼈人 不需訓練模型 5 min • 僅需單張劇照即可建立⾼高精度⼈人臉模型。 • 配搭之「明星劇照爬蟲系統」上線整合。
- 43. 不僅僅是物件識別... 品牌、型號... ⾼高階 畫⾯面中有⾞車車 這有⾞車車 這有台BMW 這有台BMW M3 Clarifai Metamind (客製，沒有⾃自⼰己的數據） Viscovery (Mission Impossible 5 電影畫⾯面) SenseTime (僅限汽⾞車車)Cortexica CloudSight Cortica (單張影像) 現⾏行行⽐比對技術 VDS⽐比對技術 • 克服影⽚片中品牌、 商標，受到遮擋、 光影、過⼩小、⾮非 平⾯面等等會導致 辨識失敗的因素。 低階
- 44. 物件、品牌、型號 • ⼀一個電商通常會有>100萬SKU的商品。 • ⼀一天可能>20萬SKU內容會有所變動，每20分鐘架上商品就 會更更新⼀一次。 • 跟1000類訓練問題相比，所需數據量量暴暴增，training成本亦 暴暴增。此外，更更新很快時，不可能⼀一直重train、⼀一直fine- tune、甚⾄至⽤用transfer-learning⼿手段解決。 • 有些類別，如「女裝」的識別，是個非常⼤大的坑。
- 45. 取景⾓角度頻繁切換的場景識別
- 46. 情緒、抽象性概念念識別
- 47. 辨識結果整合、概念念關連 ⽬目的：透過索取得知tags推測其他「應共同存在tags」。 • Dataset：Shutterstock •＃ classes：7392 •＃samples：19,362,404 (and growing)
- 48. 內容關連廣告推薦 商业模式 上傳影片 内容辨識 廣告推薦 廣告預覽與投遞
- 49. 影⾳音內容關連廣告要做得好，還需跟 合作夥伴建立反饋機制，長期累積 60 mins0 mins 服飾 汽車 代⾔言⼈人 聚會 ⼿手機 居家 z CTR: 0.2% 60 mins0 mins 旅遊 活⼒力力 汽車 ⼯工作 聊天 z 60 mins0 mins 學習 僅⽤用「具體」標籤做內容 廣告關連推薦 CTR: 0.9% CTR: 2.0% z z 智慧⼿手機廣告 ⽤用「具體」與「情緒、 抽象」標籤推薦 具體、情緒、抽象推薦，加上 點擊反饋學習 客廳 歡樂客廳 聊天⼯工作⼿手機 代⾔言⼈人 歡樂旅遊
- 50. 不僅是辨識技術的問題 更更是整個系統架構的挑戰 Unstructured videos 廣告主 DSP SSP 廣代 媒代 DMP Viscovery SDK 互動層Ad Exchange 廣告板位 (Key moment) Categories Users User segment Viscovery Server Video id and key moments Publishers Video crawler VSP ranking system One video w/ its id Videos Categories User profile From DMP or publishers Asynchronous processes Filter Recommander engine Category of ad Tracking Server 監控鏈結(互動層)之資訊 監控鏈結(互動層)之 資訊 6 53 2 14 vad.json Tag2AD expensive cheaper ad request vtag.raw vtag.raw Database Engine api api VDSAgent web api web api ad op {(vid, {ti, ci})} Video id Key moment AD category https://vsp.viscovery.com/ 與現⾏行行廣告⽣生態系統串串接
- 51. 辨識系統 減少非必要效能損耗
- 52. 辨識核⼼心調校
- 53. 還有很多坑，要不斷試錯，才能找 到正確的business model • 置入廣告成效報告怎麼賣？ • 說實話潑冷⽔水 vs 從另個⾓角度⿎鼓勵品牌主贊助！ • 鑑黃與暴暴恐識別，對平台來來來來說只是loss leader？ • 換個⼈人出錢，向品牌主打brand safety！ • 女裝識別研發曠⽇日廢時，無法做電商導購？ • 改向服飾專⾨門店提供虛擬試衣服務？