Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie アイベックステクノロジー／馬場様 講演資料
Ähnlich wie アイベックステクノロジー／馬場様 講演資料 (20)
Mehr von 直久 住川
Mehr von 直久 住川 (20)
アイベックステクノロジー／馬場様 講演資料
- 2. www.ibextech.jp 内容 1. 会社概要と自社開発「超低遅延コーデック」の紹介 2. Smart World 「低レイテンシ」ユースケース 3. 「映像 x AI」 FPGAが強みを発揮する実装例 4. まとめ
- 4. www.ibextech.jp 会社概要 社名 アイベックステクノロジー株式会社 （旧社名 株式会社ＬＳＩシステムズ） 所在地 神奈川県川崎市麻生区南黒川10-1 （小田急多摩線 黒川駅 徒歩 3分） （京王相模原線 若葉台駅 徒歩10分） 設立 1985年1月5日（神奈川県厚木市） 代表者 兵藤 智明 社員数 60名（技術者44名） 主要取引銀行 三井住友銀行 厚木支店 親会社 株式会社日本デジタル研究所（JDL） 決算期 3月（無借金の健全経営） 2020年4月よりACRiに加盟
- 6. www.ibextech.jp ● コーデック遅延、僅か10msecを実現 ● MPEG-4 AVC/H.264、High4:2:2(8bit) Main Profile Level4.1 ● 半二重コーデック（エンコーダ、デコーダ切り替え） ● ダウンコンバータ、アップコンバータ内蔵 ● IP伝送とDVB-ASI伝送に対応 ● 1/3U （A5相当）のコンパクトな筐体 ● SNMPに対応 ● エンベデットオーディオ8ch対応 ● GenLock機能搭載（デコーダ） 超低遅延H.264コーデック HLD-300C (2K) HLD-300C
- 11. www.ibextech.jp ユースケース② 腐敗品選別機能付き選果機 ユースケース① 建設機器の安全装置 AIがエッジ端末のみで完結するユースケース AIが人物検知 → 自動停止 安全装置のため低レイテンシが必須 リモート制御建機 遠隔制御室 選果機 AIが腐敗の可能性のある個体を選別 選果機と同じスループットとレイテンシで 選別判断が必要
- 12. www.ibextech.jp ユースケース④ インフラ老朽化検出機能 ユースケース③ 小売店/ホテル VIP検出機能(海外事例) エッジ端末とデータセンターの両方でAIが使用されるユースケース タイミングを逃さないため低レイテンシが重要 作業効率を落とさないために低レイテンシ重要 エッジAIが「ひび割れ」を検出 エッジが映像とメタデータをDCTに送信 DCTのビッグデータで詳細解析 DCTのビッグデータで人物特定 店員・フロントに連絡 映像とメタデータも提供 エッジAIが「顔」を検出 防犯用途(例：空港)も同様
- 13. www.ibextech.jp ユースケース⑥ 害獣自動追尾機能 ユースケース⑤ エッジAIが危険を察知し信号を制御 データフローがエッジ端末⇒データセンタ⇒エッジ端末のユースケース システム全体の低レイテンシ化が必要 害獣の動きを追尾できる低レイテンシが必要 エッジカメラが超低遅延エンコード DCTがエッジにメタデータ(識別結果、座標等)を返送 DCTの返送データを基に自動追尾・警告 DCTが特定の信号(エッジ)に指示を出す DCTに危険情報 を送信 エッジAIが「危険」と判断 エッジがDCTに映像を伝送 DCTが「動く物体」を検知＆識別 超 低 遅 延 圧 縮 映 像 座 標 ・ 識 別 情 報
- 14. www.ibextech.jp 1.エッジで完結する ユースケース 2.エッジ⇒データセンター⇒オペレータ等 のユースケース 3.エッジ⇒データセンター⇒エッジ のユースケース 「映像 & AIデータ」のデータフローが 映像 x AI アプリケーションの全てが低レイテンシが必要なわけではない しかし低レイテンシが可能になれば 実現できるユースケースや新たなユースケースを開発できる 紹介事例は全て「低レイテンシ」が必要または重要
- 15. www.ibextech.jp FPGAは安定した低レイテンシーの実現に有利 ループ処理 並列処理 CPU, GPUの場合 FPGAの場合 • 異なる演算の同時並列処理を効率的に実行 • オンチップ大容量メモリにより安定した低レイテンシーを実現 • ネットワーク機能のワンチップ化によりレイテンシーをさらに短縮 • CPUの場合、処理をシーケンシャルに実行 • GPUの場合、異なる演算の並列処理は非効率 (SIMTの特性)、処理能力を向上するためバッチ 処理をおこなうとレイテンシーは増加する • CPU, GPUとも割込みやキャッシュの状態によりレイテンシーはかなりばらつく。外部メモリ をアクセスするとレイテンシーとそのばらつきは一層大きくなる 参考； ACRiブログ「広がり続ける FPGA の応用と人工知能への活用 (2)」 FPGA はなぜ低遅延、高スループット、低消費電力を実現できるのか
- 16. www.ibextech.jp 低遅延コーデック処理の例にすると FPGA : クロック単位で設計するので、設計時に処理時間の揺らぎがコントロールできる CPU : 割り込み, キャッシュミス, 分岐予測ミス等の不確定な処理時間の揺らぎのためのマージンが必要 GPU : 内蔵のコーデック処理向けアクセラレータはアーキテクチャ次第 (ピクチャ単位の処理ならば、低遅延コーデックには不向き) GPGPUは活用できる部分とできない部分がある。(大量の均質データ処理は得意だがそれ以外は苦手) 「最近のCPUはマルチコアが当たり前で並列処理できるのでは？」 “処理時間の揺らぎ”が少ない方がレイテンシを短くすることができる (参考データ) (出典) Ultra Low Latency and High Performance Deep Learning Processor with FPGA - Alibaba Cloud Community 「遅延（Latency）と性能面（QPS）の両方を同時に担保 することはGPUだと難しい。一般的なGPUだと性能を 出すためにはレイテンシが増える」
- 17. www.ibextech.jp ① 粗いAI 高精度AI ② 動作検知 物体識別 ③ エンコード情報継承 パラメータ・メタデータ活用 エッジ端末とデータセンターの役割分担例 混雑程度のみ判定 混雑具合に適したCNN採用 動きがあるかのみ検出 物体を検出及び識別 エンコード時のパラメータを伝送 「時刻情報」などの活用 ・Update頻度が高いAI/CNN ・稼働率の変動が大きい処理 ・ビッグデータを必要とするAI ・最も低レイテンシが必要な処理 ・伝送が必要な情報の仕分け処理 ・情報のタグ付が効果的な場合 エッジ側に DCT側に 前 処 理
- 19. www.ibextech.jp FPGA単一デバイスに密接結合することで最短遅延を実現 Video Codec Video Scaler (拡大・縮小) Noise Filter Interface CNN エッジ端末-データセンターのように物理 デバイスを跨ぐ場合、Smart NICが吸収 Xilinx Smart NIC Xilinx Kria
- 21. www.ibextech.jp まとめ 「低レイテンシ」ソリューションによって実現できるSmart Worldのユースケースがある。 FPGAは「低レイテンシ」を実現するのに適したデバイスである。 特に処理時間の”揺らぎ”を完全に制御でき、レイテンシのワーストケースを保証できる。 映像を使用したAI処理の前後には、映像前処理/後処理があるのが一般的である。 単一チップに「密接結合」することで、性能を最高に且つ遅延を最短にすることができる。 FPGAが他のデバイスに比べ強みを発揮できる実装方法である。 FPGAは多様なインターフェースを持ち、それすらプログラマブルである。 アプリケーション全体の高速化および最適化は複数のレイヤーを考慮する必要がある。 - デバイスレベルの最適化 (FPGA/CPU/GPU) - エッジ端末とデータセンターの役割最適化 - 最適な通信手段の選択等