Device Farm を使ったスマホアプリの自動テスト
•Als PPTX, PDF herunterladen•
2 gefällt mir•6,362 views
JAWS Festa−中四国2017− 2017.11.4＠愛媛大学
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie Device Farm を使ったスマホアプリの自動テスト
Ähnlich wie Device Farm を使ったスマホアプリの自動テスト (20)
Mehr von 健一 辰濱
Mehr von 健一 辰濱 (20)
Device Farm を使ったスマホアプリの自動テスト
- 1. Device Farm を使った スマホアプリの自動テスト JAWS Festa−中四国2017− 2017.11.4＠愛媛大学 辰濱健一
- 2. 自己紹介 • 辰濱健一（たつはまけんいち） • 徳島県生まれ、神山町在住 • GDG Shikoku スタッフ • Sansan 株式会社、名刺アプリ Eight のアプリ開発 • Twitter:@tatsuhama50 • Facebook:kenichi.tatsuhama 2
- 4. GDG Shikoku 4 • 四国地方をカバーする Google Developer Group • Googleのテクノロジー全般について、四国で勉強会を開催して います。 • Android、Kotlin、Google App Engine、TensolFlow、Firebase など • Web：https://sites.google.com/site/gdgshikoku/ • Conpass： https://gdgshikoku.connpass.com/
- 5. DevFest Shikoku 2017 • 11/18(日)に徳島大学で開催！ • Android, Kotlin, TensolFlow Go言語, Firebase など… 5 ご参加お待ちしております！ https://gdgshikoku.connpass.com/event/68244/
- 6. 徳島県神山町 6
- 8. 徳島県神山町 • 人口：約 5,500 人 • 名産：すだち • 全面積の 83% が山地 • 過疎化が進む町 （消滅可能性都市にランクイン） • サテライトオフィス(13社)の進出、移住者が増 • 古民家再生・地産地消・教育改革など、先進的な取り組みが行 われて注目されている 8
- 11. Device Farm とは？
- 12. Device Farm とは • AWS クラウドで実機のデバイスを使用してアプリをテスト • Android / iOS / Webアプリに対応 • 実際の環境をシミュレート • 開発ワークフローとの統合 • UI テストフレームワークをサポート • 料金 12
- 13. Device Farm とは • AWS クラウドで実機のデバイスを使用してアプリをテスト • Android / iOS / Webアプリに対応 • 実際の環境をシミュレート • 開発ワークフローとの統合 • UI テストフレームワークをサポート • 料金 13 エミュレータよも 信頼できる パフォーマンス
- 14. Device Farm とは • AWS クラウドで実機のデバイスを使用してアプリをテスト • Android / iOS / Webアプリに対応 • 実際の環境をシミュレート • 開発ワークフローとの統合 • UI テストフレームワークをサポート • 料金 14 マルチプラット フォーム
- 15. Device Farm とは • AWS クラウドで実機のデバイスを使用してアプリをテスト • Android / iOS / Webアプリに対応 • 実際の環境をシミュレート • 開発ワークフローとの統合 • UI テストフレームワークをサポート • 料金 15 • 位置情報の指定 • 端末言語 • 前提アプリの インストール
- 16. Device Farm とは • AWS クラウドで実機のデバイスを使用してアプリをテスト • Android / iOS / Webアプリに対応 • 実際の環境をシミュレート • 開発ワークフローとの統合 • UI テストフレームワークをサポート • 料金 16 ・API ・Gradle Plugin ・Jenkins Plugin →自動化できる！
- 17. Device Farm とは • AWS クラウドで実機のデバイスを使用してアプリをテスト • Android / iOS / Webアプリに対応 • 実際の環境をシミュレート • 開発ワークフローとの統合 • UI テストフレームワークをサポート • 料金 17 Appium, Espresso などで UI 操作を記述＆ 実行できる
- 18. Device Farm とは • AWS クラウドで実機のデバイスを使用してアプリをテスト • Android / iOS / Webアプリに対応 • 実際の環境をシミュレート • 開発ワークフローとの統合 • UI テストフレームワークをサポート • 料金 18 • 0.17$ / デバイス分 • 250$ / 月 • 無償枠（1000 デバイス分）
- 19. テストコードがない人向け
- 20. テストコードがない人向け • モンキーテスト • Remote access （2016/4〜） • 【New!!】Direct Device Access （2017/10/16〜） 20
- 21. モンキーテスト • Device Farm 側でランダムに触ってくれる • アプリのバイナリさえあれば、今すぐ始められる 21
- 22. モンキーテスト 22 Automated tests を選んで Create a new run
- 27. モンキーテスト 27 端末の設定
- 30. ターゲットアプリ 30
- 31. モンキーテスト 31 結果…！？
- 32. モンキーテスト 32
- 35. モンキーテスト • 動画 35
- 37. Remote access 37 • ブラウザ上に表示される端末をマウス・キーボードで操作 • アプリバイナリのアップロード＆実行が可能 • 端末内ブラウザで Web サイトの表示 （＝レンダリングチェック）も可能
- 38. Remote access 38 Remote access を選んで +Start a new session
- 40. Remote access 40 Confirm and start session
- 46. Direct Device Access • USB を介してローカルマシンに直接接続されているかのよう に、デバイスを使用できる。 • IDE からのデバッグも可能 • 200$/月の private device の契約が必要 46
- 47. Direct Device Access • https://aws.amazon.com/jp/blogs/mobile/announcing- direct-device-access-in-aws-device-farm/ 47 16 OCT 2017！！
- 49. テストコードを用意する
- 50. テストコードを用意して実行 • UI 操作をスクリプトで記述する • 何度でも同じ操作ができる • 機種や OS バージョンの横展開が容易になる • テストコードを Device Farm のコンソールから実行させる • ※以降 Android アプリを例に紹介します。 50
- 51. テスティングフレームワーク • 特徴はいろいろ • OS：iOS 専用、Android 専用、ハイブリッド • アプリ内部（DB やキャッシュ）の参照可否 • リリースバイナリでの実行可否 • アプリ外の端末操作の可否 （別アプリの操作や OS が出すパーミッションダイアログの操作） • 用途によって選ぼう • 細かなところまで（ホワイトボックス）でテストする？ • リリースバイナリでテストしたい？ • 記述可能な言語 51
- 52. テスティングフレームワークの例 • Android • Espresso … アプリ内参照可、他アプリの操作不可、レコーダーあり • UIAutomater … 他アプリの操作が可能、Android 4.2 以上 （Espresso や UIAutomater は併用可能） • iOS • KIF • Calabash • ハイブリッド • Appium … 色んな言語で記述可能、リリースバイナリのテストが可能 52
- 53. Espresso • Android アプリのテストを書くならオススメ • Google が公開 • Android Studio から操作の記録と検証コードの追加ができる • WebView の操作・検証も可能 • Intent のテストも可能（Espresso-Intents） • 特定の状態（例：通信が終わるまで）まで待つ仕組み（IdlingResource） 53
- 54. Espresso Recorder 54Android Studio の Run > Record Espresso Test
- 55. Espresso Recorder 55 1. 端末を操作する 2.アクションが 記録される 3. 検証を追加 1 〜 3 を繰り返す
- 56. Espresso Recorder 56 検証を追加 1. View を選択 2. 検証内容を編集 emailEdit の文字列が aaa かどうか？
- 58. Espresso の基本 58 • onView(...)：操作対象の View を探す • perform(...)：View に対する操作 • check(...)：View の検証
- 59. Espresso で非同期待ち合わせ 59 // サーバアクセス・Progress 表示 ↑click 後、即実行される。。。 まだ結果が帰ってきていないので失敗する。 通信が終わってからチェックしたい。 Q：「通信が終わってから」とは？？ ・何秒か待つ？ 何秒？ ・check…の前に wait(条件) を挟む？
- 60. Espresso IdlingResource • 指定した条件を満たすまで、テストコードの実行を中断 • 例）サーバ通信中は、Progress 表示があるとする → Progress が非表示になったら再開したい 60
- 63. Espresso IdlingResource • 63 ← Progress が消えるまで待つ！ // サーバアクセス・Progress 表示 • IdlingResource を設定したテストコードの実行
- 65. DeviceFarm での実行 • 事前準備 • アプリケーションバイナリの作成 • テストバイナリの作成 • コンソールからテストを実行 • コンソールで結果を確認 65
- 66. アプリケーションバイナリ作成 66 • 本体のビルド • ./gradlew assembleDebug • app-debug.apk が生成される • テストバイナリのビルド • ./gradlew assembleDebugAndroidTest • app-debug-androidTest.apk が生成される
- 81. DeviceFarm でテスト実行 81 テストコードにより 端末や OS の横展開が 容易になった！
- 84. 開発ワークフローとの統合
- 85. 開発ワークフローとの統合 • Gradle Plugin を使う • Jenkins Plugin を使う 85
- 86. Gradle Plugin の導入・設定 • Android Studio の build.gradle に数行追加 • IAMユーザを作成して、accessKey / secretKey を取得 （IAM : Identity and Access Management） • accessKey / secretKey を build.gradle へ設定 86
- 88. Gradle Plugin からの実行 88 ←実行！ ↑結果はここを自分で見にいく… ※あくまでも Device Farm のテストジョブのキックのみです。
- 90. Gradle Plugin • メリット • テスト実行のために、コンソールの操作が不要 • 実行時の設定をファイルで記述できる • コマンドラインからの実行ができる • もうちょっと… • IAM の認証情報を git で管理する？？ • 結果が出た時にコンソールを見にいかないと行けない 90
- 91. Jenkins Plugin 91 そこで Jenkins 連携！
- 92. Jenkins Plugin の導入・設定 • Jenkins に AWS Device Farm Plugin を導入 • Jenkins のシステム設定 • Jenkins にジョブを作成＆設定 92
- 93. Jenkins Plugin の導入・設定 • Jenkins に AWS Device Farm Plugin を導入 93 検索すると出てきます
- 94. Jenkins Plugin の導入・設定 • Jenkins のシステム設定 • accessKey / secretKey を追加 94
- 95. Jenkins Plugin の導入・設定 • 本体 apk、テスト apk の作成の設定 95
- 96. Jenkins Plugin の導入・設定 • ビルド後の処理の処理に 「Run Tests on AWS Device Farm」を追加して、設定する 96
- 98. Jenkins で結果確認 98
- 99. Jenkins 連携すると • 実行結果の推移がグラフィカルに確認できる • テスト終了時に Slack 通知なども可能 99
- 101. まとめ • Device Farm はクラウド上の実機を時間借りできるサービス • テストコードがなくても触れる • テストコードを用意して、Jenkins 等の CI 連携すると効果的 101
- 102. 今後の期待 • 端末のラインナップの充実 • メーカーに偏りがある （先進国のチープな端末でのクラッシュの確認がしたい） • 最新の OS バージョンがない （最新の OS で確認したいニーズは大きいのでは？） • スクリーンショットがレポートに表示されない問題の改修 • https://forums.aws.amazon.com/thread.jspa?messageID=7527 86 • これが改修されると、色んな端末のレイアウトチェックが容易に！ 102
- 104. DevFest Shikoku 2017 • 11/18(日)に徳島大学で開催！ • Android, Kotlin, TensolFlow Go言語, Firebase など… 104 ご参加お待ちしております！ https://gdgshikoku.connpass.com/event/68244/