Laravelを用いたゲームサーバーのチューニング
•
3 gefällt mir•2,623 views
「TECH x GAME COLLEGE #21」 2019/06/05 登壇資料 https://techxgamecollege.connpass.com/event/130420/ 【Laravelを用いたゲームサーバーのチューニング】 主にDB周りの話題で、 ・速度を出す ・水平分散をする という観点で Laravelをゲームサーバーで用いた際にチューニングしてきたことを紹介します。
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie Laravelを用いたゲームサーバーのチューニング
Ähnlich wie Laravelを用いたゲームサーバーのチューニング (20)
Laravelを用いたゲームサーバーのチューニング
- 3. 序章 はじめに 2
- 4. Laravelとは 1. PHPのフレームワーク 2. MITライセンス 3. Symfonyベース 4. 今最も勢いがある 3 序章 はじめに
- 6. Laravelの強み 1. 自由度の高さ 2. DI機能の強さ 3. 洗練されたコード群 5 序章 はじめに Laravelの紹介
- 7. Laravelの強み 1. 自由度の高さ 2. DI機能の強さ 3. 洗練されたコード群 6 序章 はじめに Laravelの紹介
- 8. Laravelの強み 1. 自由度の高さ 2. DI機能の強さ 3. 洗練されたコード群 7 序章 はじめに Laravelの紹介
- 9. Laravelの強み 1. 自由度の高さ 2. DI機能の強さ 3. 洗練されたコード群 8 序章 はじめに Laravelの紹介
- 12. Laravelの誤解 11 序章 はじめに Laravelの紹介 class FlightController extends Controller { /** * 新しいflightインスタンスの生成 * * @param Request $request * @return Response */ public function store(Request $request) { // リクエストのバリデート処理… $flight = new Flight; $flight->name = $request->name; $flight->save(); } } Laravel公式ドキュメント saveメソッドの解説より抜粋 単純なCRUDを管理するCMSっぽ い書き方 複雑な処理とIOを扱うゲームで このような書き方をすると クエリ回数が増える ゲームでORMと上手くつきあう ためのレールは用意されていない
- 22. 「通信時間100msec」の定義 本番で100msecはテストし辛いので 「以下の条件で50msec以内」と定義する 1. AWSのオールインワン環境 2. 性能は本番APIサーバに準拠 3. 単一のリクエストを処理させる 4. リクエストが届いてから レスポンスを返し終わるまで 21 第1章 Laravelで通信時間100msec以内を達成するための工夫 1.「通信時間100msec以内」の定義
- 25. DIとServiceProvider 1. DIとは「クラス間・およびオブジェクト間の 依存解決を外側から」する仕組みの事 2. ServiceProviderはこの「外側からの依存解 決」をするためのクラス 24 第1章 Laravelで通信時間100msec以内を達成するための工夫 2.Laravelの起動処理を早くする
- 26. DIとServiceProvider 1. DIとは「クラス間・およびオブジェクト間の 依存解決を外側から」する仕組みの事 2. ServiceProviderはこの「外側からの依存解 決」をするためのクラス 25 第1章 Laravelで通信時間100msec以内を達成するための工夫 2.Laravelの起動処理を早くする
- 27. DIとServiceProvider 1. DIとは「クラス間・およびオブジェクト間の 依存解決を外側から」する仕組みの事 2. ServiceProviderはこの「外側からの依存解 決」をするためのクラス 26 第1章 Laravelで通信時間100msec以内を達成するための工夫 2.Laravelの起動処理を早くする
- 28. 様々なクラスKernelの動作順 DIのイメージ 27 ServiceProvider Container Controller ClassA ClassBprovide 依存注入を行う ClassAはClassBを利 用している make ＣｌａｓｓAのオブジェクト が欲しい ServiceProviderによって 定義された依存関係 第1章 Laravelで通信時間100msec以内を達成するための工夫 2.Laravelの起動処理を早くする
- 29. 様々なクラスKernelの動作順 DIのイメージ 28 ServiceProvider Container Controller ClassA ClassBprovide 依存注入を行う ClassAはClassBを利 用している ServiceProviderによって 定義された依存関係 第1章 Laravelで通信時間100msec以内を達成するための工夫 2.Laravelの起動処理を早くする make ＣｌａｓｓAのオブジェクト が欲しい
- 30. 様々なクラスKernelの動作順 DIのイメージ 29 ServiceProvider Container Controller ClassA ClassB make ＣｌａｓｓAのオブジェクト が欲しい 第1章 Laravelで通信時間100msec以内を達成するための工夫 2.Laravelの起動処理を早くする ServiceProviderによって 定義された依存関係 provide 依存注入を行う ClassAはClassBを利 用している
- 31. Newからの拡張点 new呼び出し～オブジェクト生成の間 に独自ルールを仕込める 30 第1章 Laravelで通信時間100msec以内を達成するための工夫 2.Laravelの起動処理を早くする
- 33. 様々なクラスKernelの動作順 コードに手を加えやすい 32 Container Controller ClassA ClassB make ＣｌａｓｓAのオブジェクト が欲しい 第1章 Laravelで通信時間100msec以内を達成するための工夫 2.Laravelの起動処理を早くする ClassB` ServiceProvider provide 依存注入を行う ClassAはClassBの代わ りに、ClassB`を使う ServiceProviderによって 定義された依存関係
- 35. 様々なクラスKernelの動作順 増え続けるServiceProviderの責務 34 ServiceProvider Container Controller ClassA ClassB provide 依存注入を行う ClassA⇒ClassB ClassB⇒ClassC ClassB⇒ClassD Class1⇒Class2 … make Class1のオブジェクトが 欲しいだけ ClassC ClassD 依存 Class1 Class2 依存 第1章 Laravelで通信時間100msec以内を達成するための工夫 2.Laravelの起動処理を早くする
- 36. 様々なクラスKernelの動作順 増え続けるServiceProviderの責務 35 Container Controller make Class1のオブジェクトが 欲しいだけ 依存 Class1 Class2 第1章 Laravelで通信時間100msec以内を達成するための工夫 2.Laravelの起動処理を早くする ServiceProvider provide 依存注入を行う ClassA⇒ClassB ClassB⇒ClassC ClassB⇒ClassD Class1⇒Class2 … ClassA ClassB ClassC ClassD 依存
- 38. 様々なクラスKernelの動作順 遅延ServiceProviderは遅れて実行される 37 Container Controller ClassA ClassB make Class1のオブジェクトが 欲しいだけ ClassC ClassD 依存 Class1 Class2 依存 Class1のオブジェクト解決 したいので ServiceProvider1を起動 第1章 Laravelで通信時間100msec以内を達成するための工夫 2.Laravelの起動処理を早くする ServiceProviderA ServiceProvider1 Class1⇒Class2 ClassA⇒ClassB ClassB⇒ClassC ClassB⇒ClassD
- 39. 様々なクラスKernelの動作順 遅延ServiceProviderは遅れて実行される 38 Container Controller ClassA ClassB make Class1のオブジェクトが 欲しいだけ ClassC ClassD 依存 Class1 Class2 依存 Class1のオブジェクト解決 したいので ServiceProvider1を起動 第1章 Laravelで通信時間100msec以内を達成するための工夫 2.Laravelの起動処理を早くする ServiceProviderA ServiceProvider1 Class1⇒Class2 ClassA⇒ClassB ClassB⇒ClassC ClassB⇒ClassD
- 42. Eloquentとは 1. DatabaseアクセスのORM 2. 1テーブルあたり1クラス 3. クエリビルダーとしての振る舞いとレコード (Entity)としての振る舞いを持つ 41 第1章 Laravelで通信時間100msec以内を達成するための工夫 3.DBへのアクセス回数を最小にする
- 43. Eloquentとは 1. クエリビルダーとしての振る舞い ⇒MySQLのクエリ文を作成する 2. レコード(Entity)としての振る舞い ⇒結果セットはEloquentオブジェクトのCollection 42 第1章 Laravelで通信時間100msec以内を達成するための工夫 3.DBへのアクセス回数を最小にする
- 44. Entityについて補足 1. ドメイン駆動開発の「ドメイン層Entity」 とは異なる 2. 本講演でのEntityは1テーブルの1レコードを 表現する「インフラストラクチャ層Entity」 3. これからのお話はインフラストラクチャ層の 最適化にあたる 43 第1章 Laravelで通信時間100msec以内を達成するための工夫 3.DBへのアクセス回数を最小にする
- 45. クエリビルダーの危険な使い方 1. ループ中で使う 2. 使う場所を限定しない 3. コントローラー直書き 44 第1章 Laravelで通信時間100msec以内を達成するための工夫 3.DBへのアクセス回数を最小にする
- 48. Repositoryに求める役割 47 1. selectを最小限にする 2. コミット直前にまとめてupdateする 第1章 Laravelで通信時間100msec以内を達成するための工夫 3.DBへのアクセス回数を最小にする
- 49. Repositoryに求める役割 48 1. selectを最小限にする 2. コミット直前にまとめてupdateする 第1章 Laravelで通信時間100msec以内を達成するための工夫 3.DBへのアクセス回数を最小にする
- 50. selectを最小限にする 49 DB Repository プロパティ id user_id card_id 1 1 101 2 1 201 3 1 301 4 1 401 5 1 501 6 2 101 7 2 201 8 2 301 9 2 401 10 3 101 EntityCollection id user_id card_id 1 1 101 2 1 201 3 1 301 4 1 401 5 1 501 関数 fetch() get/find/count() DBから特定の範囲の Entity一覧を取得 アプリケーションが求 めるEntity一覧を返す 第1章 Laravelで通信時間100msec以内を達成するための工夫 3.DBへのアクセス回数を最小にする
- 51. selectを最小限にする 50 DB Repository プロパティ id user_id card_id 1 1 101 2 1 201 3 1 301 4 1 401 5 1 501 6 2 101 7 2 201 8 2 301 9 2 401 10 3 101 EntityCollection id user_id card_id 1 1 101 2 1 201 3 1 301 4 1 401 5 1 501 関数 get/find/count() アプリケーションが求 めるEntity一覧を返す 第1章 Laravelで通信時間100msec以内を達成するための工夫 3.DBへのアクセス回数を最小にする fetch() DBから特定の範囲の Entity一覧を取得
- 52. selectを最小限にする 51 DB Repository プロパティ id user_id card_id 1 1 101 2 1 201 3 1 301 4 1 401 5 1 501 6 2 101 7 2 201 8 2 301 9 2 401 10 3 101 関数 fetch() get/find/count() DBから特定の範囲の Entity一覧を取得 アプリケーションが求 めるEntity一覧を返す 第1章 Laravelで通信時間100msec以内を達成するための工夫 3.DBへのアクセス回数を最小にする EntityCollection id user_id card_id 1 1 101 2 1 201 3 1 301 4 1 401 5 1 501
- 53. selectを最小限にする 52 DB Repository プロパティ id user_id card_id 1 1 101 2 1 201 3 1 301 4 1 401 5 1 501 6 2 101 7 2 201 8 2 301 9 2 401 10 3 101 EntityCollection id user_id card_id 1 1 101 2 1 201 3 1 301 4 1 401 5 1 501 関数 get/find/count() アプリケーションが求 めるEntity一覧を返す 第1章 Laravelで通信時間100msec以内を達成するための工夫 3.DBへのアクセス回数を最小にする fetch() DBから特定の範囲の Entity一覧を取得
- 54. selectを最小限にする 53 DB Repository プロパティ id user_id card_id 1 1 101 2 1 201 3 1 301 4 1 401 5 1 501 6 2 101 7 2 201 8 2 301 9 2 401 10 3 101 EntityCollection id user_id card_id 1 1 101 2 1 201 3 1 301 4 1 401 5 1 501 関数 fetch() DBから特定の範囲の Entity一覧を取得 第1章 Laravelで通信時間100msec以内を達成するための工夫 3.DBへのアクセス回数を最小にする get/find/count() アプリケーションが求 めるEntity一覧を返す
- 55. selectを最小限にする 54 DB Repository プロパティ id user_id card_id 1 1 101 2 1 201 3 1 301 4 1 401 5 1 501 6 2 101 7 2 201 8 2 301 9 2 401 10 3 101 関数 fetch() get/find/count() DBから特定の範囲の Entity一覧を取得 アプリケーションが求 めるEntity一覧を返す 第1章 Laravelで通信時間100msec以内を達成するための工夫 3.DBへのアクセス回数を最小にする EntityCollection id user_id card_id 1 1 101 2 1 201 3 1 301 4 1 401 5 1 501 インデックス機能付きなので、 card_idなどの条件で一度検索する と、二度目からはO(1)になる 初回アクセス時の インデックス生成のコストはO(n)
- 56. selectを最小限にする 55 DB Repository プロパティ id user_id card_id 1 1 101 2 1 201 3 1 301 4 1 401 5 1 501 6 2 101 7 2 201 8 2 301 9 2 401 10 3 101 11 1 601 EntityCollection id user_id card_id 1 1 101 2 1 201 3 1 301 4 1 401 5 1 501 11 1 601 関数 create($attributes) multiCreate($values) アプリケーションが配 列形式でinsertしたい データを指定する 第1章 Laravelで通信時間100msec以内を達成するための工夫 3.DBへのアクセス回数を最小にする DBとEntityCollectionに 反映
- 57. selectを最小限にする 56 DB Repository プロパティ id user_id card_id 1 1 101 2 1 201 3 1 301 4 1 401 5 1 501 6 2 101 7 2 201 8 2 301 9 2 401 10 3 101 EntityCollection id user_id card_id 1 1 101 2 1 201 3 1 301 4 1 401 5 1 501 関数 delete($entity) multiDelete($entities) アプリケーションが deleteしたいデータを 指定する DBとEntityCollectionに 反映 第1章 Laravelで通信時間100msec以内を達成するための工夫 3.DBへのアクセス回数を最小にする
- 58. Repositoryに求める役割 57 1. selectを最小限にする 2. コミット直前にまとめてupdateする 第1章 Laravelで通信時間100msec以内を達成するための工夫 3.DBへのアクセス回数を最小にする
- 59. コミット直前にまとめてupdateする 1. コミット直前にまとめてupdate 2. 変更はRepositoryにため込んでおく 3. 変更されたentityの一覧からbulkupdate？を 発行 58 第1章 Laravelで通信時間100msec以内を達成するための工夫 3.DBへのアクセス回数を最小にする
- 62. Bulkupdate文の例 UPDATE `user_cards` SET is_locked = ELT(FIELD(id,2,4,5),1,0,1) WHERE id IN (2,4,5) プレースホルダーに置き換えると UPDATE `user_cards` SET is_locked = ELT(FIELD(id,?,?,?),?,?,?) WHERE id IN (?,?,?) 61 第1章 Laravelで通信時間100msec以内を達成するための工夫 3.DBへのアクセス回数を最小にする
- 63. updateが反映されるまでDBと不整合 62 DB Repository プロパティ id user _id card_id Is_locke d 1 1 101 0 2 1 201 0 3 1 301 0 4 1 401 0 5 1 501 0 6 2 101 0 7 2 201 0 8 2 301 0 9 2 401 0 10 3 101 0 EntityCollection id user _id card_id Is_locke d 1 1 101 1 2 1 201 1 3 1 301 0 4 1 401 0 5 1 501 0 関数 save($entity) Entityの永続化を宣言する 実際に永続化されるのはト ランザクションコミット直前 第1章 Laravelで通信時間100msec以内を達成するための工夫 3.DBへのアクセス回数を最小にする
- 64. updateが反映されるまでDBと不整合 1. コミット直前以外にも、クエリを投げる直前 もトリガーとする 2. 基本的にfetchしてからsaveする流れなので、 EntityCollectionの管理さえしっかりしてい ればあまりこういった問題は起こらない。 63 第1章 Laravelで通信時間100msec以内を達成するための工夫 3.DBへのアクセス回数を最小にする
- 73. Eloquentで水平分散は難しい？ 1. 水平分散自体の問題 2. Eloquent特有の問題 1. 圧倒的に足りない情報 2. 実際に難しい 72 第2章 Laravelで水平分散への対応 1.Laravelで水平分散する際の困難さ
- 74. Eloquentで水平分散は難しい？ 1. 水平分散自体の問題 2. Eloquent特有の問題 1. 圧倒的に足りない情報 2. 実際に難しい 73 第2章 Laravelで水平分散への対応 1.Laravelで水平分散する際の困難さ
- 75. Eloquentで水平分散は難しい？ 1. 水平分散自体の問題 2. Eloquent特有の問題 1. 圧倒的に足りない情報 2. 実際に難しい 74 第2章 Laravelで水平分散への対応 1.Laravelで水平分散する際の困難さ
- 76. Eloquentで水平分散は難しい？ 1. 水平分散自体の問題 2. Eloquent特有の問題 1. 圧倒的に足りない情報 2. 実際に難しい 75 第2章 Laravelで水平分散への対応 1.Laravelで水平分散する際の困難さ
- 79. Eloquentで水平分散は難しい？ 1. 水平分散自体の問題 2. Eloquent特有の問題 1. 圧倒的に足りない情報 2. 実際に難しい 78 第2章 Laravelで水平分散への対応 1.Laravelで水平分散する際の困難さ
- 84. 実装方針 1. Nコネクションを1コネクションとし て表現する 「仮想コネクション」の導入 既存の単一コネクションは 「物理コネクション」とする 2. 上記仮想コネクションを持つ Eloquentビルダーを 「仮想ビルダー」として実装する 物理コネクションを持つビルダーを 「物理ビルダー」とする 83 第2章 Laravelで水平分散への対応 2.困難を解決するための実装方針
- 91. 水平分散テーブルへのクエリ処理分解 水平分散したテーブルへのクエリは、 常に以下の変換処理が必要となる 1. 分解：対象DBの選択・分解 2. 実行：分解したDBそれぞれへ発行するクエリ作成 3. マージ：クエリ結果のマージ この変換処理を「クエリ解決」と呼ぶ事にする 90 第2章 Laravelで水平分散への対応 2.困難を解決するための実装方針
- 93. 仮想ビルダーにクエリ解決を持たせる場合 1. limit-offsetは無理 2. batch処理の効率化は見込めない 「分解・実行・マージ」の「実行」は並列させたい が クエリビルダー内で並列処理は責任範囲違反 92 第2章 Laravelで水平分散への対応 2.困難を解決するための実装方針
- 100. 「分解・操作・マージ」のユースケースを表現するQueryPolicy 99 QueryPolicyService 99 EloquentBuilder 指定したEloquentBuilderを使って user_id=1,2,3の所持カード一覧が欲しい user_id=1は採番1 user_id=2,3は採番2 where user_id=1 where user_id in (2,3) 第2章 Laravelで水平分散への対応 2.困難を解決するための実装方針
- 101. 「分解・操作・マージ」のユースケースを表現するQueryPolicy 100 QueryPolicyService 100 EloquentBuilder 指定したEloquentBuilderを使って user_id=1,2,3の所持カード一覧が欲しい user_id=1は採番1 user_id=2,3は採番2 where user_id=1 where user_id in (2,3) 各クエリの結果をマージ 第2章 Laravelで水平分散への対応 2.困難を解決するための実装方針
- 102. 「分解・操作・マージ」のユースケースを表現するQueryPolicy 101 QueryPolicyService 101 EloquentBuilder 指定したEloquentBuilderを使って user_id=1,2,3の所持カード一覧が欲しい where user_id=1 where user_id in (2,3) 各クエリの結果をマージ 第2章 Laravelで水平分散への対応 2.困難を解決するための実装方針 user_id=1は採番1 user_id=2,3は採番2 採番サービスを利用
- 104. 採番サービスの機能 1. 分散キーに基づいて、採番番号を発行する • 引数：4 (user_id) • 戻り値：2 (採番番号) 2. 分散キー一覧に基づいて、採番毎に分割する • 引数：[1,2,3,4](user_id[]) • 戻り値：[1=>[1], 2=>[2,3,4]] (user_id[][]) • 注意点：DBに負荷を与えないよう、memcached など駆使する 103 第2章 Laravelで水平分散への対応 2.困難を解決するための実装方針
- 105. 採番サービスの機能 1. 分散キーに基づいて、採番番号を発行する • 引数：4 (user_id) • 戻り値：2 (採番番号) 2. 分散キー一覧に基づいて、採番毎に分割する • 引数：[1,2,3,4](user_id[]) • 戻り値：[1=>[1], 2=>[2,3,4]] (user_id[][]) • 注意点：DBに負荷を与えないよう、memcached など駆使する 104 第2章 Laravelで水平分散への対応 2.困難を解決するための実装方針
- 106. 採番サービスの機能 1. 分散キーに基づいて、採番番号を発行する • 引数：4 (user_id) • 戻り値：2 (採番番号) 2. 分散キー一覧に基づいて、採番毎に分割する • 引数：[1,2,3,4](user_id[]) • 戻り値：[1=>[1], 2=>[2,3,4]] (user_id[][]) • 注意点：DBに負荷を与えないよう、memcached など駆使する 105 第2章 Laravelで水平分散への対応 2.困難を解決するための実装方針
- 108. リポジトリ上の水平分散対応コード protected function fetchWithUsersLocked($user_ids) { // 複数ユーザーからロック済みのカードを取得 // インメモリマッピング無し return $this->selectQueryWithOwners($user_ids, function ($builder) { return $builder ->where('is_locked', true) ->get(); }); } 第2章 Laravelで水平分散への対応 2.困難を解決するための実装方針
- 109. リポジトリ上の水平分散対応コード protected function fetchWithUsersLocked($user_ids) { // 複数ユーザーからロック済みのカードを取得 // インメモリマッピング無し return $this->selectQueryWithOwners($user_ids, function ($builder) { return $builder ->where('is_locked', true) ->get(); }); } 第2章 Laravelで水平分散への対応 2.困難を解決するための実装方針
- 110. 第2章 3.その他課題と解決 109
- 111. 課題 1. idの一意性担保 2. XAトランザクション・トランザクション発行 3. batchにおける分散並列処理 4. migration 110 第2章 Laravelで水平分散への対応 3.その他課題と解決
- 112. 課題 3-1.idの一意性担保 111
- 116. ＸＡトランザクションとは 分散したDBに アトミックに トランザクションの変更を反映させる 115 第2章 Laravelで水平分散への対応 3-2.XAトランザクション・トランザクション発行
- 119. コミットだけでなく トランザクション発行ですら難しい 1. 1DBの頃は、beginTransaction～endTransaction をコントローラーやService内で記述 2. 水平分散していると、ビジネスロジックの分岐に よってどのDBが参照されるか変わってくる 3. かといって、水平分散の全DBにトランザクション するわけにはいかない 118 第2章 Laravelで水平分散への対応 3-2.XAトランザクション・トランザクション発行
- 120. トランザクション発行問題は 物理コネクションに遅延解決させる事で解決 1. 物理コネクションは一旦トランザクションの命令を 保留して、何らかのクエリ発行の際に初めてトラン ザクションを実施する 2. 仮想コネクションへのトランザクション発行は、愚 直に配下の物理コネクションにトランザクション発 行するよう命令する 119 第2章 Laravelで水平分散への対応 3-2.XAトランザクション・トランザクション発行
- 121. トランザクション発行問題は 物理コネクションに遅延解決させる事で解決 1. 物理コネクションは一旦トランザクションの命令を 保留して、何らかのクエリ発行の際に初めてトラン ザクションを実施する 2. 仮想コネクションへのトランザクション発行は、愚 直に配下の物理コネクションにトランザクション発 行するよう命令する 120 第2章 Laravelで水平分散への対応 3-2.XAトランザクション・トランザクション発行
- 122. トランザクション発行問題は 物理コネクションに遅延解決させる事で解決 1. 物理コネクションは一旦トランザクションの命令を 保留して、何らかのクエリ発行の際に初めてトラン ザクションを実施する 2. 仮想コネクションへのトランザクション発行は、愚 直に配下の物理コネクションにトランザクション発 行するよう命令する 121 第2章 Laravelで水平分散への対応 3-2.XAトランザクション・トランザクション発行
- 123. 部分コミット問題は 処理の最後に自動コミットさせる事で解決 1. 水平、垂直問わず、全てのトランザクション発行済 みDBをコミットするcommitAll()関数を用意 2. コミット直前のbulkupdateを全DBに流した後で順 次コミットする 122 第2章 Laravelで水平分散への対応 3-2.XAトランザクション・トランザクション発行
- 124. コミット直前のbulkupdateを全DBに流した 後で順次コミットする 123 commitAll関数内の実行順序 DB1 bulkupdate DB2 DB2 bulkupdate bulkupdate commit commit commit 第2章 Laravelで水平分散への対応 3-2.XAトランザクション・トランザクション発行
- 125. 部分コミットの危険は少ないながらある 124 第2章 Laravelで水平分散への対応 3-2.XAトランザクション・トランザクション発行 commitAll関数内の実行順序 DB1 bulkupdate DB2 DB2 bulkupdate bulkupdate commit commit commit ここで接続エラー DB1だけコミットされる
- 126. 失敗したらログに必ず残す 1. 発生したら内容によって手動修正 2. 弊社の運用上で発生したことは 未だない 125 第2章 Laravelで水平分散への対応 3-2.XAトランザクション・トランザクション発行
- 128. batch処理における要件 1. DB側の負荷が大きいので、負荷分散したい 2. シングルプロセスだと直列になってしまうので、 DB毎にプロセス分けて並列化したい 127 第2章 Laravelで水平分散への対応 3-3. batchにおける分散並列処理
- 129. 分散処理を行うためのライブラリを導入 ナウプロダクションでは以下のパッケージを導入 qxsch/worker-pool https://packagist.org/packages/qxsch/worker-pool 128 第2章 Laravelで水平分散への対応 3-3. batchにおける分散並列処理
- 130. 具体的な実装 129 第2章 Laravelで水平分散への対応 3-3. batchにおける分散並列処理
- 131. 具体的な実装 public function handle() { // ● WorkerPool作成 // １プロセスはWorkerというクラス単位で表され /// Workerの集合は、WorkerPoolで分散制御される $this->worker_pool = $this->makeWorkerPool(); // ● 分散タスク実施 $this->runWorkers(); // ● 分散タスク完了待ち $this->worker_pool->waitForAllWorkers(); // ● 各実行結果解析&出力 // 省略 子プロセスのエラーなど取得できる。 // https://packagist.org/packages/qxsch/worker-pool を参照 } 第2章 Laravelで水平分散への対応 3-3. batchにおける分散並列処理
- 132. 具体的な実装 private function makeWorkerPool() { return app()->make(WorkerPool::class) // TemplateMethod：getWorkerPoolSizeは「何プロセス同時に動くか」を定義 ->setWorkerPoolSize($this->getWorkerPoolSize()) // TemplateMethod：makeWorkerは「Worker役としてどのオブジェクトを使うか」を定義 ->create($this->makeWorker()); } private function runWorkers() { // taskGeneratorは、Workerに実行して欲しいタスクの生成を行う // タスクはオブジェクトではなく、[1]のようにパラメーターの配列で、解釈はWorker側で行う foreach ($this->taskGenerator() as $task) { $this->worker_pool->run($task); } } 第2章 Laravelで水平分散への対応 3-3. batchにおける分散並列処理
- 133. 具体的な実装 private function makeWorkerPool() { return app()->make(WorkerPool::class) // TemplateMethod：getWorkerPoolSizeは「何プロセス同時に動くか」を定義 ->setWorkerPoolSize($this->getWorkerPoolSize()) // TemplateMethod：makeWorkerは「Worker役としてどのオブジェクトを使うか」を定義 ->create($this->makeWorker()); } private function runWorkers() { // taskGeneratorは、Workerに実行して欲しいタスクの生成を行う // タスクはオブジェクトではなく、[1]のようにパラメーターの配列で、解釈はWorker側で行う foreach ($this->taskGenerator() as $task) { $this->worker_pool->run($task); } } 第2章 Laravelで水平分散への対応 3-3. batchにおける分散並列処理
- 134. 具体的な実装 private function makeWorkerPool() { return app()->make(WorkerPool::class) // TemplateMethod：getWorkerPoolSizeは「何プロセス同時に動くか」を定義 ->setWorkerPoolSize($this->getWorkerPoolSize()) // TemplateMethod：makeWorkerは「Worker役としてどのオブジェクトを使うか」を定義 ->create($this->makeWorker()); } private function runWorkers() { // taskGeneratorは、Workerに実行して欲しいタスクの生成を行う // タスクはオブジェクトではなく、[1]のようにパラメーターの配列で、解釈はWorker側で行う foreach ($this->taskGenerator() as $task) { $this->worker_pool->run($task); } } 第2章 Laravelで水平分散への対応 3-3. batchにおける分散並列処理
- 135. 具体的な実装 private function makeWorkerPool() { return app()->make(WorkerPool::class) // TemplateMethod：getWorkerPoolSizeは「何プロセス同時に動くか」を定義 ->setWorkerPoolSize($this->getWorkerPoolSize()) // TemplateMethod：makeWorkerは「Worker役としてどのオブジェクトを使うか」を定義 ->create($this->makeWorker()); } private function runWorkers() { // taskGeneratorは、Workerに実行して欲しいタスクの生成を行う // タスクはオブジェクトではなく、[1]のようにパラメーターの配列で、解釈はWorker側で行う foreach ($this->taskGenerator() as $task) { $this->worker_pool->run($task); } } 第2章 Laravelで水平分散への対応 3-3. batchにおける分散並列処理
- 136. 具体的な実装 public function taskGenerator() { $day = $this->argument(‘day’); // 物理コネクションを返すIterator // 分散処理用に用意しておくと便利 $iterator = DbBuilderIterator::instance() ->addTable('user_presentboxes'); foreach ($iterator->getIterator() as $builder) { yield [ // 子プロセスにリソース型は渡せないので、リソース型を含まないクラスに変換 $builder->toBuilderSerial(), $day ]; // Worker側はこのように展開する //list ( // $builder_serial, // $day, // ) = $input; //$builder = $builder_serial->connect(); } } 第2章 Laravelで水平分散への対応 3-3. batchにおける分散並列処理
- 137. 具体的な実装 public function taskGenerator() { $day = $this->argument(‘day’); // 物理コネクションを返すIterator // 分散処理用に用意しておくと便利 $iterator = DbBuilderIterator::instance() ->addTable('user_presentboxes'); foreach ($iterator->getIterator() as $builder) { yield [ // 子プロセスにリソース型は渡せないので、リソース型を含まないクラスに変換 $builder->toBuilderSerial(), $day ]; // Worker側はこのように展開する //list ( // $builder_serial, // $day, // ) = $input; //$builder = $builder_serial->connect(); } } 第2章 Laravelで水平分散への対応 3-3. batchにおける分散並列処理
- 138. 具体的な実装 public function taskGenerator() { $day = $this->argument(‘day’); // 物理コネクションを返すIterator // 分散処理用に用意しておくと便利 $iterator = DbBuilderIterator::instance() ->addTable('user_presentboxes'); foreach ($iterator->getIterator() as $builder) { yield [ // 子プロセスにリソース型は渡せないので、リソース型を含まないクラスに変換 $builder->toBuilderSerial(), $day ]; // Worker側はこのように展開する //list ( // $builder_serial, // $day, // ) = $input; //$builder = $builder_serial->connect(); } } 第2章 Laravelで水平分散への対応 3-3. batchにおける分散並列処理
- 139. 課題 3-4.migration 138
- 140. 通常のmigrationで水平分散に対応？ 139 $schema_connection_iterator = DbSchemaConnectionIterator::instance() ->addConnection($this->connection); // 水平分散台数だけループする foreach ($schema_connection_iterator->getIterator() as $schema_connection) { $schema_connection->create($this->table, function (Blueprint $table) { $table->bigIncrements('id'); $table->bigInteger('user_id')->unsigned(); $table->bigInteger('card_id')->unsigned(); $table->timestamps(); $table->index('user_id'); }); } 第2章 Laravelで水平分散への対応 3-4.migration
- 141. 通常のmigrationでは問題がある 1. 水平分散の台数が増えたときに、マイグレーション 済みのテーブルは入れてくれない 2. 直列処理なので遅い。alter-tableは絶望的 140 第2章 Laravelで水平分散への対応 3-4.migration
- 142. 通常のmigrationでは問題がある 1. 水平分散の台数が増えたときに、マイグレーション 済みのテーブルは入れてくれない 2. 直列処理なので遅い。alter-tableは絶望的 141 第2章 Laravelで水平分散への対応 3-4.migration
- 143. 通常のmigrationでは問題がある 1. 水平分散の台数が増えたときに、マイグレーション 済みのテーブルは入れてくれない 2. 直列処理なので遅い。alter-tableは絶望的。 142 第2章 Laravelで水平分散への対応 3-4.migration
- 144. 自前のmigrationを用意する 1. migrationのバージョン管理は、各DB毎に行う 2. migrationは並列実行させる 143 第2章 Laravelで水平分散への対応 3-4.migration
- 145. 自前のmigrationを用意する 1. migrationのバージョン管理は、各DB毎に行う 2. migrationは並列実行させる 144 第2章 Laravelで水平分散への対応 3-4.migration 後から追加されたDBだけマイグレーションできる
- 146. 自前のmigrationを用意する 1. migrationのバージョン管理は、各DB毎に行う 2. migrationは並列実行させる 145 第2章 Laravelで水平分散への対応 3-4.migration alter-table直列実行問題を解決
- 148. migrationファイルの実装 147 class Ver1_0_0_0_UserDecks extends Migration { /** * テーブル名 * * @var string */ protected $table = 'user_decks'; public function up() { $this->createTable(function (Blueprint $table) { $table->bigIncrements('id'); $table->bigInteger('user_id')->unsigned(); $table->integer('deck_number')->unsigned(); $table->integer('position_number')->unsigned(); $table->bigInteger('user_card_id')->unsigned(); $table->softDeletes(); $table->timestamps(); $table->index('user_id'); }); } } protected function createTable(Closure $callback) { // テーブル作成 => リビジョンを記録 // という流れのため、冪統制担保のために存在チェックする $this->getSchemaBuilder()->dropIfExists($this->table); // create実行 $this->getSchemaBuilder()->create($this->table, $callback); // autoincrement初期設定 $this->getConnection()->unprepared( sprintf( 'alter table %s auto_increment = %d', $this->table, $this->getConnection()->getAutoIncrementOffset() ) ); } 第2章 Laravelで水平分散への対応 3-4.migration
- 149. migrationファイルの実装 148 class Ver1_0_0_0_UserDecks extends Migration { /** * テーブル名 * * @var string */ protected $table = 'user_decks'; public function up() { $this->createTable(function (Blueprint $table) { $table->bigIncrements('id'); $table->bigInteger('user_id')->unsigned(); $table->integer('deck_number')->unsigned(); $table->integer('position_number')->unsigned(); $table->bigInteger('user_card_id')->unsigned(); $table->softDeletes(); $table->timestamps(); $table->index('user_id'); }); } } protected function createTable(Closure $callback) { // テーブル作成 => リビジョンを記録 // という流れのため、冪統制担保のために存在チェックする $this->getSchemaBuilder()->dropIfExists($this->table); // create実行 $this->getSchemaBuilder()->create($this->table, $callback); // autoincrement初期設定 $this->getConnection()->unprepared( sprintf( 'alter table %s auto_increment = %d', $this->table, $this->getConnection()->getAutoIncrementOffset() ) ); } 第2章 Laravelで水平分散への対応 3-4.migration
- 150. migrationファイルの実装 149 class Ver1_0_0_0_UserDecks extends Migration { /** * テーブル名 * * @var string */ protected $table = 'user_decks'; public function up() { $this->createTable(function (Blueprint $table) { $table->bigIncrements('id'); $table->bigInteger('user_id')->unsigned(); $table->integer('deck_number')->unsigned(); $table->integer('position_number')->unsigned(); $table->bigInteger('user_card_id')->unsigned(); $table->softDeletes(); $table->timestamps(); $table->index('user_id'); }); } } protected function createTable(Closure $callback) { // テーブル作成 => リビジョンを記録 // という流れのため、冪統制担保のために存在チェックする $this->getSchemaBuilder()->dropIfExists($this->table); // create実行 $this->getSchemaBuilder()->create($this->table, $callback); // autoincrement初期設定 $this->getConnection()->unprepared( sprintf( 'alter table %s auto_increment = %d', $this->table, $this->getConnection()->getAutoIncrementOffset() ) ); } 第2章 Laravelで水平分散への対応 3-4.migration
- 151. migration分散実行部 150 $worker_pool = new WorkerPool(); $worker_pool->setWorkerPoolSize(64) ->create(new MigratorWorker()); $models = $this->model_finder->all(); $connection_configs = config(‘database.connections’); foreach ($connection_configs as $connection_name => $connection_config) { $hd_numbers = $this->calcHdNumbers($connection_config); foreach ($models as $model) { if ($connection_name != $model->getConnectionName()) { continue; } foreach ($hd_numbers as $hd_number) { $this->createMigrationRevisionRepository($connection_name, $hd_number); // 1workerあたり // 該当テーブルのファイルを全てフォルダから探し出し、リビジョン番号順に実行 // というロジックが走る $worker_pool->run([ $model->getTable(), $connection_name, $hd_number ]); } } } $worker_pool->waitForAllWorkers(); 第2章 Laravelで水平分散への対応 3-4.migration
- 152. migration分散実行部 151 $worker_pool = new WorkerPool(); $worker_pool->setWorkerPoolSize(64) ->create(new MigratorWorker()); $models = $this->model_finder->all(); $connection_configs = config(‘database.connections’); foreach ($connection_configs as $connection_name => $connection_config) { $hd_numbers = $this->calcHdNumbers($connection_config); foreach ($models as $model) { if ($connection_name != $model->getConnectionName()) { continue; } foreach ($hd_numbers as $hd_number) { $this->createMigrationRevisionRepository($connection_name, $hd_number); // 1workerあたり // 該当テーブルのファイルを全てフォルダから探し出し、リビジョン番号順に実行 // というロジックが走る $worker_pool->run([ $model->getTable(), $connection_name, $hd_number ]); } } } $worker_pool->waitForAllWorkers(); 第2章 Laravelで水平分散への対応 3-4.migration
- 157. ご清聴ありがとうございました 156