Android Vitals指标的测试方法

游戏如果需要出海运营,那么就一定会需要用到Google。Google近几年推出了一项计划,叫做Android Vitals ,在Google后台可以通过Android Vitals页面来查看核心指标的分析数据,这些指标的合格程度也许不会直接对玩家产生体验上的影响,但是对于游戏在Google Play的排名和曝光度是有影响的,最终也会作用在整体发行效果上。

Android Vitals指标的测试方法

因此对于测试来说,在做客户端性能测试的过程中,关注Google核心指标是一件非常必要的工作内容。所以本篇分享,让我们来看一下Android Vitals的指标都有哪些部分?我们应该如何进行测试?

Android Vitals指标列表

Android Vitals按照数据类型分5种指标:电池用量、稳定性、应用启动时间、呈现时间、权限

一、电池用量

1、【核心指标】唤醒次数过多:由应用触发的Alarm Manager唤醒次数,会看到 ELAPSED_REALTIME_WAKEUP 或 RTC_WAKEUP 类的唤醒数据;

2、部分唤醒锁定被卡住:2和3相同,指通过应用的 PowerManager 类获取的部分锁定唤醒,部分唤醒锁定可确保 CPU 正常运行,但屏幕和键盘背光可以关闭;

3、【核心指标】部分唤醒锁定被卡住(后台)

4、后台 WLAN 扫描次数过多:WLAN 扫描何时会导致电量消耗较高;

5、后台网络使用量过高:何时有大量网络数据与后台服务相关联。当移动网络的使用发生在后台时,用户将难以控制和停止数据传输。

二、稳定性

1、【核心指标】ANR 发生率:用户遇到至少 1 次 ANR 情况的活跃日百分比;

2、多次 ANR 发生率:用户遇到至少 2 次 ANR 情况的活跃日百分比;

3、【核心指标】崩溃率:用户遇到至少 2 次崩溃情况的活跃日百分比;

4、多次崩溃率:用户遇到至少2 次崩溃情况的活跃日百分比。

三、应用启动时间

1、冷启动时间过长:从冷系统启动游戏,启动时间在5秒或更长;

2、温启动时间过长:从温系统启动游戏,启动时间在2秒或更长;

3、热启动时间过长:从热系统启动游戏,启动时间在1秒或更长。

四、呈现时间

1、呈现速度缓慢的帧数过多:用户遇到呈现时间长于 16 毫秒的帧超过 50%;

2、冻结的帧数过多:用户遇到呈现时间长于 700 毫秒的帧超过 0.1%。

五、权限

1、权限遭拒:针对用户拒绝权限的情况,提供权限申请日所占百分比的详细信息。

Android Vitals指标的测试方法

一、电池用量

采用bugreport日志+battery-historian工具分析的方式。

此处测试需要拔掉手机连接线,让手机处于未充电状态,防止部分数据因充电而无法收集。在正常游戏测试结束后,手机连接电脑,通过adb命令:

adb bugreport > bugreport.txt

导出一份bugreport日志。

但由于bugreport日志一般都比较大,不方便直接用文本编辑器打开查看,所以需要用到Google针对Android5.0以上系统开发的battery-historian工具进行分析。

battery-historian工具安装部署方法较复杂,就不在本篇内叙述了,可以参照CSDN上他人的分享:https://blog.csdn.net/n_fly/article/details/9674338

将生成的bugreport日志放入工具内解析后,得到下面页面,可以查看具体结果,截图中间有颜色的进度条代表该项指标被触发及触发时长。

Android Vitals指标的测试方法

二、稳定性

稳定性考察的是客户端崩溃率和ANR次数,所以这里需要接入第三方sdk来监控游戏运行的稳定情况。比如我们用的是bugly,就可以在测试结束后在bugly后台查看是否存在崩溃和ANR数据。

Android Vitals指标的测试方法

三、应用启动时间

首先解释一下冷启动、温启动和热启动的概念。

冷启动:系统不存在App进程(APP首次启动或APP被完全杀死)时启动APP;

温启动:指app连续点击多次物理返回键关闭app或Android系统自动回收app的情况下,重新启动app;

热启动:将app从后台调回前台。

测试方法:

通过adb命令

adb shell am start -W [package_name/launch_activity

例如com.tencent.mobileqq/com.tencent.mobileqq.webprocess.WebProcessReceiver] |findstr “WaitTime”可查看应用启动所消耗的时间。

四、呈现时间

游戏图形的绘制时间,都可以通过专门性能测试工具如perfdog、Snapdragon Profiler等来进行测试,重点关注其FPS、Jank、FrameTime等指标。

五、权限

由于Google关注的是权限被拒的次数,所以需要查看游戏客户端是否申请了非必要的手机权限。这一点在之前有关出海测试的文章中也有所涉及(游戏出海的本地化测试,你需要了解这些细节),海外用户对于权限的敏感度普遍高于国内,这一点需要特别留意。

以上就是Google核心指标测试的分享,欢迎大家在后台留言提出自己的看法和建议~

源自公众号 游戏测试那点事儿



留言