第9回Ques講演資料 Amebaアプリ　QAの歴史

1. Amebaアプリ
QAの歴史
株式会社サイバーエージェント
メディアQC室 関根 雄飛

2. 今日お話すること
自己紹介
Amebaアプリの紹介
体制図
テストフロー
社内と社外テストの使い分け
CAアドバンスとの施策について
検証における課題
メディアQC室の紹介
今後の検証について

3. 自己紹介
Amebaアプリの紹介
体制図
テストフロー
社内と社外テストの使い分け
CAアドバンスとの施策について
検証における課題
メディアQC室の紹介
今後の検証について

4. 自己紹介
2012年4月 サイバーエージェントにサーバサイドエンジニアとして入社
2012年8月 『GIRL’S TALK』リリース
2012年11月 『Hey!パイセン』リリース(のちにクローズ)
2013年5月 『おたすけSOS』リリース(のちにクローズ)
2013年9月 『読書のお時間です』リリース
2014年4月 テクニカルサポートに異動
2014年8月 AmebaアプリQA担当
2016年7月 Amebaメディア本部メディアQC室に所属
【好きなこと】
競馬
Ingress

5. 自己紹介
Amebaアプリの紹介
体制図
テストフロー
社内と社外テストの使い分け
CAアドバンスとの施策について
検証における課題
メディアQC室の紹介
今後の検証について

6. Amebaアプリの紹介
2010年1月リリース
最新バージョンはiOSが8.0.0
、Androidが10.2.2
「アメブロへの投稿」「人気
ブログの閲覧」「チェックリ
ストの閲覧」機能

7. 自己紹介
Amebaアプリの紹介
体制図
テストフロー
社内と社外テストの使い分け
CAアドバンスとの施策について
検証における課題
メディアQC室の紹介
今後の検証について

8. 体制図
プロデューサ
ディレクター
サーバ
マーケティングデザイン
フロントネイティブ

9. 体制図
Amebaアプリ メディアQC室 CAアドバンス
プロデューサ
ディレクター
デザイナー
エンジニア
関根
リーダー
リーダー
テスター
テスター

10. 自己紹介
Amebaアプリの紹介
体制図
テストフロー
社内と社外テストの使い分け
CAアドバンスとの施策について
検証における課題
メディアQC室の紹介
今後の検証について

11. テストフロー
仕様の共有
テスト項目書の作成
テスト端末の選定
テスト実施
不具合の起票・修正確認
リリース後の項目書見直し
上記フローを繰り返し行う

12. 仕様の共有
仕様の共有会を実施
GitHubEnterprise(以下GHE)上
にIssueを作成
QC室はGHEのIssue上から仕
様の把握を実施
不明点などがあった場合は口
頭やSlack上でやり取り

13. ここでCheck!!
〜仕様の共有〜
仕様の共有・把握はとても重要
見積もりを誤ってしまうと、テストに影響
実装途中でも良いのでapk・ipaファイルを
もらって動作を確認する

14. テスト項目書の作成
GoogleDocsを使って作成
メイン機能ごとにシート分け
新機能に関しては独立したシ
ートを作成
項目書は新しいバージョンに
なるたびに作成

15. ここでCheck!!
〜テスト項目書の作成〜
必ず開発者にレビューしてもらうように体制を見
直し
テスト実施前にテスターにも共有
分岐がややこしい場合は必ず資料を作成
iOSとAndroidとで同じものを使用していたが、細
部が異なっているため、ファイルを分割

16. テスト端末の選定
端末シェアの高いものを選定
アプリのバージョンごとに端末を変えている
新OSが出た場合は、別チームに基本的な機能
の確認をしてもらっている

17. テスト実施
テストは 本番環境 で実施
Crashlytics・TestFlightを利
用
帯域制限のテストには
Charlesを使用
iOS/Androidともに並行して
テストを実施

18. ここでCheck!!
〜テスト実施〜
まずは1端末で新項目→既存の順でテスト
不具合を見つけるのが遅くなるとその分スケ
ジュールに影響が出てしまう
開発チームにお願いして工数の節約を実施
再現性がなくても報告する

19. 不具合の起票修正確認
GHEにIssueをあげる
必要に応じてラベルを付与
修正確認ができたら、DONEラベ
ルを付与
修正確認時に再度不具合があった
場合はReOpen
アプリが落ちてしまう不具合の場
合はログを添付

20. ここでCheck!!
〜不具合の起票修正確認〜
リリースに影響があるかどうかの判定
リリース強行などはしないように調整

21. リリース後の項目見直し
リリース後1週間以内を目処に項目の見直し会を
実施
新規項目についてテスト優先度を設定
新機能を各シートへと振り分ける
項目書で気になるところがあればブラッシュアッ
プを実施する

22. ここでCheck!!
〜リリース後の項目見直し〜
KPTの洗い出しを項目見直しと同時に実施
チーム・個人の振り返りに役立つ
テスターにも参加してもらう
Tryに関しては次回見直し会に必ずどうなっ
たかを報告する

23. 自己紹介
Amebaアプリの紹介
体制図
テストフロー
社内と社外テストの使い分け
CAアドバンスとの施策について
検証における課題
メディアQC室の紹介
今後の検証について

24. 社内と社外テストの使い分け
多数の端末を使用したテストを短期間に実施したい場
合は、社外にテストを依頼
直近では、ブログ記事のネイティブ化実装時に依頼
社外テスターは、redmineにてチケット管理
redmineのチケットをGHEのIssueにて不具合・質問を
起票

25. 自己紹介
Amebaアプリの紹介
体制図
テストフロー
社内と社外テストの使い分け
CAアドバンスとの施策について
検証における課題
メディアQC室の紹介
今後の検証について

26. CAアドバンスとの施策につい
て
Amebaアプリでは、リーダー1名テスター2名の3名
体制でテストをしてもらっている
仕様書を作成してもらっている
メディアQC室の他のPRJも
定期的(月に2回程度)に仕様書のレビューを実施

27. 自己紹介
Amebaアプリの紹介
体制図
テストフロー
社内と社外テストの使い分け
CAアドバンスとの施策について
検証における課題
メディアQC室の紹介
今後の検証について

28. 検証における課題
突然の仕様変更
リリース遅延
ログ吐き出しの確認漏れ
STG環境での検証

29. 突然の仕様変更
実装段階で仕様変更が発生してしまう(これはしょうが
ない)
情報の共有がチーム全体に行き渡らないことがある
その結果、iOS/Androidとで挙動が違ってしまっている(
これは問題)
GHE上の情報と実仕様が異なってしまうことが多々ある

30. リリース遅延
アプリチームだけでなく、様々なチームと連携し
ているためリリースの遅延が出てしまう
不具合を発見してから、本番環境へのリリースま
での時間がどうしても長くなってしまう
連携が必要な箇所に関しては優先してチェックす
る体制をつくる

31. ログ吐き出しの確認漏れ
ユーザの動向を把握するために任意のタイミ
ングでログを吐き出しているがテストするの
が難しい
Charlesを使用しての確認は可能だが、そもそ
もこれであっているかのどうかの確認が難し
い

32. STG環境での検証
本番環境と異なっている部分があるため、
STG環境では確認しきれない箇所がある
その為、一部APIのレスポンスがダミーデー
タになってしまっている
STG環境の取り合いが発生している

33. 自己紹介
Amebaアプリの紹介
体制図
テストフロー
社内と社外テストの使い分け
CAアドバンスとの施策について
検証における課題
メディアQC室の紹介
今後の検証について

34. メディアQC室の紹介
2016年7月より設立
現在8サービスの検証を実施している
CAアドバンスや外部会社を使用して検証
を実施

35. PRJからの評価
いつも細かいところまでチェックいただけて大変助かっている。詳細項目もかなり細か
く網羅していただけているので、かなり助かっている。
担当者の変更があったため少し不安視していたのですが、引き継ぎやお休みでも開発側
の足が止まることが一切なく非常に助かっています。
不明な部分は細かく確認して頂けたり、確認に特殊な操作が必要な場合も柔軟に対応し
てもらえてテストの質も高く感じている。
投稿周りとか、Amebaログイン、SNSログイン、非ログインで条件がとても複雑にな
ってきていて、単体テストで網羅するのが厳しくなってきています。コアな機能に関し
てQC室の人が最後にチェックしていてくれるので、いつも安心してリリース出来ます
。

36. PRJからの要望
CSと連携して、エスカレーションされた問い合わせ
の再現条件などを調査して欲しい
OSの足切りなどを横軸の知見を活かして提案してい
ただけると嬉しいです
ユーザ目線で使ってみて使いにくいところとかがあ
ったら教えて欲しい

37. 自己紹介
Amebaアプリの紹介
体制図
テストフロー
社内と社外テストの使い分け
CAアドバンスとの施策について
検証における課題
メディアQC室の紹介
今後の検証について

38. 今後の検証について
テスト自動化をしたい
全項目は到底ムリなので一部項目のみ
実施したい
Appiumを想定