Weitere ähnliche Inhalte
Ähnlich wie アドテクに機械学習を組み込むための推論の高速化 (20)
Mehr von MicroAd, Inc.(Engineer) (20)
アドテクに機械学習を組み込むための推論の高速化
- 13. 推論特化フレームワーク
13
■ ONNX Runtime
ONNX 形式の実行エンジン
学習済みモデルのデファクトスタンダード
■ TensorRT
NVIDIA社が自社GPU向けに提供
ONNX始め多くのモデル形式に対応
モデルフォーマット
■ Open Neural Network Exchange(ONNX)
Protocol Bufferでモデルを定義するニューラルネットワーク用モデルフォーマット
PytorchやKerasなどの機械学習フレームワークからエクスポート可能
推論エンジン
- 14. ONNX Runtime の効果
推論速度(CPU) Docker imageサイズ
PyTorch 713 µs ± 13.5 µs 2.14 GB
ONNX Runtime 115 µs ± 14.4 µs 504 MB
落札額予測の事例
広告枠情報と広告を閲覧したユーザーの情報を入力とし
落札額、落札確率を予測するモデル
14
落札額予測モデルのアーキテクチャ
モデル構成
● 特徴量種別毎の Embedding 層
● 3層の Transformer 層
● 3層の Multi Layer Perceptron