9. 9
シーン認識
リサイズし、
グレイスケールに変換
K: hash size
K
K+1
Dhash
(difference hash):
右側のピクセルとの
差分をとり、
ビットで表す
1 0 0 . . . 1
0 1 1 . . . 0
0 0 1 . . . 1
. . .
. . .
K
K
スナップショット画像からどんなシーンなのか判定する
● 高速な画像類似度の算出が必要
● Locality Sensitive Hashing (LSH) [3]アルゴリズムを利用
○ 近似最近傍探索手法の一種である
○ 画像を比較可能なハッシュ値に変換
○ 大規模画像データから高速に類似検索に利用される
入力画像
Buckets
. . . . .
⭐
⭐
⭐
各バケット内で
ハッシュ値の衝突が
起こると類似画像と
して候補
[3] Indyk, Piotr, and Rajeev Motwani. "Approximate nearest neighbors: towards removing the curse of dimensionality." Proceedings of the thirtieth annual ACM symposium on Theory of computing.
1998.
10. 10
UI検出
● UI検出においてディープラーニングベースの
物体検出手法は精度がよくない [4, 5]
○ ゲームのUIは複雑
■ クラス内の分散が大きい
■ クラス間の類似性が高い
○ 一般的な物体と特徴が異なる
■ 様々な要素の組み合わせ
■ まとめられたシーンと近接した要素
● 画像処理ベースの手法で同等の精度 [4, 5]
○ データのアノテーションを必要としない
○ モデルの学習や開発コスト、
デプロイが容易にできる
○ 推論時間が短い
図. UI検出例
[4] Chen, J., Xie, M., Xing, Z., Chen, C., Xu, X., Zhu, L., & Li, G. (2020, November). Object detection for graphical user interface: old fashioned or deep learning or a combination?. In proceedings of
the 28th ACM joint meeting on European Software Engineering Conference and Symposium on the Foundations of Software Engineering (pp. 1202-1214).
[5] Xie, M., Feng, S., Xing, Z., Chen, J., & Chen, C. (2020, November). UIED: a hybrid tool for GUI element detection. In Proceedings of the 28th ACM Joint Meeting on European Software Engineering
Conference and Symposium on the Foundations of Software Engineering (pp. 1655-1659).
11. 11
テスト中に下記項目を計測して性能面の問題を検出できる
(計測できる項目は機種により異なる)
● CPU
○ 全CPUの統計,CPU毎の統計
○ 特定のプロセスIDに関する統計
○ クロック,温度
● メモリ
○ 現在の使用状況,過去n時間の使用状況の統計
○ 特定のプロセスIDに関する使用状況の統計
● ネットワーク
○ ネットワークインターフェース一覧,
○ インターフェース毎の送受信量履歴など
● バッテリー
○ バッテリー残量,温度,電圧,充電中かどうかなど
ログ出力
UIテスト
結果確認
性能メトリクスの計測
CPU
メモリ
バッテリー
100
100
100
t
t
t
開発者
図. メトリクス確認