Vertex AI Pipelinesで BigQuery MLのワークフローを作成しました。機械学習の社会実装勉強会 第12回の発表内容です。 https://machine-learning-workshop.connpass.com/event/250263/

1. Vertex AI Pipelinesで
BigQuery MLのモデル作成
デプロイまで
2022/06/18 機械学習の社会実装勉強会第12回
岩澤 幸太朗

2. Summary
➢ Vertex AI PipelinesでBigQueryのオペレーションが可能に（2022/4 一般提供開始)
➢ 第4回発表のETLジョブの内容をVertex AI Pipelines で置き換え
さらにデプロイまで実施
Vertex AI Pipelines の BigQuery および BigQuery ML 演算子に関するお知らせ(2022/4/13)
【第4回】BigQueryを中心にした ML datapipelineの概要

3. 今回の話の対象
https://cloud.google.com/vertex-ai?hl=ja#section-7
MLOps with Vertex AI
➢ Vertex AI
○ 機械学習ワークフローの統合環境
○ AutoML含む各種MLツールへのアク
セス
➢ Vertex AI Pipelines
○ Vertex AI 上で機械学習パイプライ ン
をフルマネージドで構築するサービ
ス

4. Kubeflow
➢ Kubeflow
○ Kubernetes上で動くMLOpsツール
群 (Goolge が開発主体)
○ 2020/3 v1.0リリース
➢ Kubeflow Pipelines
○ Kubeflow の一コンポーネント
○ ワークフロー管理
モデル構築・実験 Kubeflow notebooks
ハイパーパラメータ調整 Katib
特徴量管理 Feast
ワークフロー構成 Kubeflow Pipelines
モデルサービング KServe
… …
※2022/6時点の名称
参考：2021-12-18 Kubeflow Pipelines概要@機械学習の社会実装勉強会
by 那珂さん

5. GCPでKubeflowを用いたMLOps
➢ Kubeflow pipelinesをそのまま使用
○ 自前でGKEクラスタを用意する必要がある
➢ AI Platform Pipelines
○ Kubeflow pipelines のマネージドサービス（GKEクラスタの管理必要）
➢ Vertex AI Pipelines
○ Kubeflow pipelinesのフルマネージドサービス（GKEクラスタの管理不要）

6. Vertex AI Pipelines
➢ 2021年11月一般提供開始
➢ TFX, Kubeflow Pipelines のPython SDKを利用したパイプライン構築
➢ フルマネージドサービス (Kubernetes 管理必要なし)
➢ ML Opsをシンプルに
データ前処理
モデル
トレーニング
モデル評価 モデルデプロイ
データロード
データ抽出
Vertex AI Pipelines

7. BigqueryQueryJobOp BigQuery クエリを送信
BigqueryCreateModelJobOp BigQuery ML モデルを作成
BigqueryEvaluateModelJobOp BigQuery ML モデルを評価
BigqueryPredictModelJobOp 予測を作成
BigqueryExportModelJobOp BigQuery ML モデルを GCS にエクスポート
今回追加されたコンポーネント
● google_cloud_pipeline_components.v1.bigquery module
https://google-cloud-pipeline-components.readthedocs.io/en/google-cloud-pipeline-components-1
.0.0/google_cloud_pipeline_components.v1.html#components

8. 第4回で発表したETLジョブ
GCS -> 前処理 -> BQでML model 作成・評価・予測
-> エンドポイントのデプロイまで
すべての工程がワークフローで自動化可能に
【第4回】BigQueryを中心とした ML datapipelineの概要
https://www.slideshare.net/ssusere6d3be/bigquery-ml-datapipeline#

9. 使用データセット
https://www.kaggle.com/competitions/titanic/data?select=train.csv
Kaggle のtitanic データ

10. Vertex AI Pipelineを用いたワークフロー
Cloud
Storage
BigQuery
Store a training
data (titanic
data)
Create dataset using
BigqueryQueryJobOp
Dataflow
Preprocess the data and load to
BigQuery using
DataflowPythonJobOp
BigQuery
Train a classifier with BQML using
BigqueryCreateModelJobOp
BigQuery BigQuery
Predict data using
BigqueryPredictModelJobOp
Evaluate the model with
BigqueryEvaluateModelJobOp
Vertex AI Pipelines
BigQuery
Export the model using
BigqueryExportModelJobOp
Upload the model using
ModelUploadOp
Create API endpoint using
EndpointCreateOp
Create API endpoint using
ModelDeployOp
Vertex AI Vertex AI Vertex AI
1. BigqueryQueryJobOp を使って
BiqQuery でデータセットを作成する
2. Dataflow を使って GCS上のCSVファ
イルの前処理を実施し、 BigQuery
にロードする
3. ロジスティック回帰モデルをトレー
ニングする
4. モデルを評価する
5. テストデータにモデルを適用して、
予測を作成する
6. GCSにモデルをアップロードする
7. モデルをエンドポイントにデプロイ
する
8. 予測リクエスト

11. Demo
➢ Vertex AI pipelines の実行
○ GCS からファイル取得
○ 前処理、BigQuery へロード
○ モデル学習・評価・予測
○ エンドポイントへのデプロイ
使用したNotebook:
https://github.com/kootr/ml-study-session/tree/main/20220528_vertex_ai_pipelines

12. まとめ
➢ GCPでMLOpsを実現する有力なサービス
➢ Kubeflow pipelinesに慣れていれば簡単に導入可能
➢ Kubernetesの管理不要は大きなメリット

13. パイプライン実行結果の一部

14. Kubeflow パイプライン処理の一部

15. ● SDKで記述される処理
a. Pipeline : データの処理を行うパイプライン全体
b. PCollection : 分散処理対象のデータセットを表す
オブジェクト
c. PTransform : データセット加工
d. IOS transrforms：外部ストレージへの入出力
おまけ：Apache Beam による分散データ処理
Dataflow

16. - Vertex AI Pipelines の BigQuery および BigQuery ML 演算子に関するお知らせ (2022/4/13)
- Ask the Expert ’21 〜機械学習〜 Google Cloud
- Cloud DataflowでGCS→BQのパイプラインをPythonで試してみる
- Vertex Pipelinesによる機械学習パイプラインの実行
- Vertex Pipelines で動く Kubeflow Pipelines のサンプルを公開しました
- Vertex AI Pipelinesによる機械学習ワークフローの自動化
参考