GDC2016報告会で行ったQAエンジニアリング関連セッションの報告資料です。

1. セガゲームス 竹原涼

2.  所属 : 株式会社セガゲームス 開発技術部 技術開発課
 役割 : QAエンジニア見習い(元C/C++プログラマー)
◦ 最近同セガゲームスの粉川氏に弟子入り
◦ 現在はJenkinsを使ってリソースまわりの自動化の仕事をしてます
 GDC歴
◦ 初参加
お前に仕事をやろう
ラーメン大好きこかわ氏

3.  自動化
◦ Delivery Pipelines via Docker
◦ Automated Testing Roundtable Day 1～3
◦ Technical Issues in Tools Development Day 1～3
 テスト
◦ Effective Testing of F2P Games
◦ Rocking On: Harmonix, QA and 'Rock Band 4‘

4.  自動化
◦ Delivery Pipelines via Docker
◦ Automated Testing Roundtable Day 1～3
◦ Technical Issues in Tools Development Day 1～3
 テスト
◦ Effective Testing of F2P Games
◦ Rocking On: Harmonix, QA and 'Rock Band 4‘

5.  Riot GamesのLoL(League of Legend)開発環境に
Dockerを導入した話
 LoLではPBE(Public Beta Enviroment)サーバでバランス
変更や新キャラクター追加等の先行テストを行い、そこでの
ユーザーからのフィードバックを受けて本番環境のリリース
を行っている
「Delivery Pipelines via Docker」より

6. 「Delivery Pipelines via Docker」より
ユーザー的には価値のない期間

7. 「Delivery Pipelines via Docker」より
ここを無くしてイテレーション速度を上げたい

8.  自動化環境の構築コスト
「Delivery Pipelines via Docker」より
自動ビルド環境が欲しいんだけど
準備するから2スプリントくらい待って

9.  各種申請、設定のコスト
「Delivery Pipelines via Docker」より
ネットワーク設定の手配、ハードウェア関連の手配、etc…

10.  グローバルな開発環境
「Delivery Pipelines via Docker」より
世界中の拠点との連携、連絡……

11.  インフラとかweb界隈で流行中の
 生成と廃棄がすんごい楽で
 動作も早くて軽量な
 仮想化環境用ソフト
動作単位はコンテナ

12. 「Delivery Pipelines via Docker」より
 複数の開発者間で差が発生することない
 アプリケーション込みで低オーバーヘッドの環境を
 短時間で構築できる
 例えば、LoLバージョン1と2のテスト環境をワンボタン
で構築、用が済んだらすぐに廃棄、といった運用も可
能に

13. 「Delivery Pipelines via Docker」より

14. 「Delivery Pipelines via Docker」より

15.  shell scriptやbatch scriptでコンテナの設定を書け
る
「Delivery Pipelines via Docker」より

16. 「Delivery Pipelines via Docker」より

17.  Docker fileから作成したコンテナのイメージを保存し
ておく
 アプリケーションのインストールまで終わらせてからイ
メージを作成する事も可能
「Delivery Pipelines via Docker」より

18. 「Delivery Pipelines via Docker」より

19.  JenkinsのジョブでDocker RegistryからDockerイ
メージを取得し、CI環境を作成
 目的(例えばデイリービルド)を完了した後はDockerコ
ンテナは廃棄(ジョブ毎に作り直す)
「Delivery Pipelines via Docker」より

20. ※竹原個人の感想です

21. ※Riot Gamesでこうした問題が発生した訳ではありません
 複数のコンテナを連携させて欲しいんだけど！
 コンテナ管理どうするんだ！
 コンテナを動かすホストとネットワーク環境の構築どう
するんだ！
 死活監視もしないと…

22.  最低限Dockerが動作する環境を自動で整えたい
 サーバ構築自動化ツールのCHEFを利用している
「Delivery Pipelines via Docker」より

23.  Opencontrailを利用
「Delivery Pipelines via Docker」より

24.  Google製のDocker管理用ツールである
kubernetes(クーバネィテス)を利用している
 フェイルオーバーやスケーリング、ロードバランス等の
機能を持つ
「Delivery Pipelines via Docker」より

25. 「Delivery Pipelines via Docker」より
イテレーション速度UP！

26. ※竹原個人の感想です

27.  (最高とか書きつつなんですが)Dockerはデリバリー
パイプラインを形成する一つの手段に過ぎないので、
プロジェクトの規模や予算、特性に沿った視点で導入
及び環境構築検討を
 真に重要なのはユーザからのフィードバック→改善の
ループをいかに早くまわせる環境を構築するか
 長年(5年以上！)も運営を続けているLoLの環境をレ
ガシーなものとせず、改善し続けるRioｔの姿勢と体制
を見習いたい

28.  自動化
◦ Delivery Pipelines via Docker
◦ Automated Testing Roundtable Day 1～3
◦ Technical Issues in Tools Development Day 1～3
 テスト
◦ Effective Testing of F2P Games
◦ Rocking On: Harmonix, QA and 'Rock Band 4‘

29.  HarmonixにおいてQAの役割がどのような変遷を
辿っていったかを紹介するセッション
 独立して細分化されていたQAの役割が、アジャイル
開発を経て、最新作ではプリプロダクション段階から
チームに参加するようになったという内容
 QAは単純なスキルセットではなく視点である、という
言葉が印象的だった
 QA is a perspective, not just a skill set

30.  KONGREGATEのF2Pゲームにおける効果的なテスト
手法に関するセッション
 プレイテストに関するメリット、デメリット、シチュエー
ションによる使い分け、過去のメトリクス分析に基づく
テスト計画等
 既に資料公開済
http://developers.kongregate.com/blog/testing-f2p
アメリカの代替地域としてはオーストラリアとカナダが良いけどインストール数は
1/3 くらいになるよ、等結構細かい数値の実例が載っていて興味深い

31. 「Effective Testing of F2P Games」より

32. 「Effective Testing of F2P Games」より

33.  タイトルの規模、特徴、予算にあったものを選択して
組み合わせてテスト計画を練り、テスト設計を行う
「Effective Testing of F2P Games」より

34.  段階に分けて継続率とフォーカスポイントを設定
「Effective Testing of F2P Games」より

35.  ゴールの設定時に予算も概算しておく
「Effective Testing of F2P Games」より

36.  このセッションではKONGREGATEでQAがどこまで関
与しているか、については特に触れられていなかった
が、QAが何をどこまで視野に入れてテスト計画を練
るべきかについては考えさせられた
「Effective Testing of F2P Games」より

37.  テスト計画を練る際に全体の予算、スケジュール管理、リ
リースする範囲(地域)まで包括的に視野に入れなければな
らなくなってきている
 開発の初期段階からチームに参加し、技術的な話だけでは
なく、長期的な視点で開発を支える事が求められてきている

38. QA is a perspective, not just a skill set

39. ご清聴ありがとうございました

40.  主催者用意のラウンドテーブル用のHP
 http://autotestingroundtable.com/
 ラウンドテーブルにTrelloの利用を試みるも失敗
◦ 少しだけ質疑応答有り(上記HPから飛べます)
 Twitter ハッシュタグ : #autotestgdc
◦ これもあまり利用されず……
 Google Group : Automated Testing in Games
◦ できたばかりなので利用率は低め(トピックは1つだけ)