博客

12 名测试人员、14 天:「连续」到底是什么意思

14 天倒计时一直在走,就等于连续测了 14 天吗?退出测试、只参与不安装、中途卸载、装了不打开,哪些会打断「连续」?按 Google 原文讲清楚。

新个人开发者账号要发布正式版,Play 管理中心的信息中心里有这样一项任务:招募至少 12 名测试人员参与您的封闭式测试至少 14 天。

这句话看着简单,倒计时也会自己往前走,很多人就以为等满 14 天就行了。可 Google 说的「连续」,比这个倒计时严格得多。

12 个人要同一天开始吗?中途有人退出怎么办?测试人员要每天打开吗?网上的说法不一,有的还互相矛盾。这篇根据 Google 的原文,一条一条讲清楚。

1Google 原文到底怎么写

先看原话。把鼠标悬停在信息中心的这项任务上,会弹出一段更完整的说明:

当您申请正式版发布权限时,必须至少有 12 名测试人员选择参与您的封闭式测试。他们必须在过去 14 天内选择持续参与

Play 管理中心信息中心:悬停在「招募至少 12 名测试人员参与您的封闭式测试至少 14 天」上显示的说明

Play 管理中心帮助里的针对新个人开发者账号的应用测试要求说得更细,下面几节会逐句引用。

把这些原文放在一起,有 3 个关键词:

  • 申请那一刻:条件是在你点「申请发布正式版」时检查的
  • 往前数 14 天:从申请那天往前倒推 14 天
  • 连续选择参与:这 14 天里,这 12 个人要一直处在「选择参与」的状态

212 名测试人员必须同一天开始吗?

不用。Google 没有要求所有人同一天加入,倒计时是从第 12 个人选择参与的那天才开始的。

举个例子:

  • 第 1 天,10 个人选择参与
  • 第 3 天,第 11 个人加入
  • 第 5 天,第 12 个人加入

这时 14 天倒计时从第 5 天开始算,最早要到第 19 天才能申请。前面 4 天,那 10 个人的参与并不会让你提前申请。

所以凑人越慢,等得越久。最好先把人凑齐,再让大家一起开始。

3倒计时不会停,但「连续」会被打断

表面上:14 天好像永远不会中断

在封闭式测试最容易被误解的 5 个点里写过,信息中心的 14 天倒计时有几个特点:

  • 第 12 个账号选择参与后就启动,和有没有人安装、有没有人打开无关
  • 启动后不会自己停下,就算有测试人员选择退出也一样

只看信息中心,这 14 天几乎不会中断,等着就能走完。

实际上:这 5 种情况会打断「连续」

倒计时只是一个计时器,它不会替你检查测试是不是真的连续。下面 5 种情况,前两种是规则层面的,后三种计数上看不出来,但审核时会被看到。

① 测试人员退出测试

这是 Google 原文写得最明确的一条:

如果测试人员选择参与测试,但在测试未满 14 天时便选择退出,则不会计入要求的人数。

如果测试人员退出后又重新加入,则必须连续参与满 14 天,才能计入"至少有 12 名测试人员持续参与测试"这一最低要求。

也就是说,有人中途退出,倒计时照样在走,但这个人已经不算在「连续 12 人」里了。如果你刚好只有 12 个人,走掉一个,就不满足条件了。所以人数最好一直保持在 12 以上,留出余量。

② 申请被拒

根据我们的实际经验,申请正式版被拒、收到「需要进行更多测试」的邮件后,倒计时会在被拒当天自动从头开始。之前测过的 14 天不会累计到下一轮。

③ 只选择参与,不安装

测试人员打开加入测试的链接,点了 Become a tester,选择参与的人数就会 +1。但他可能根本没去安装你的应用。

这种情况下计数一点也不会断,可安装用户数是 0。在审核看来,等于没人在测。

④ 中途卸载

卸载应用不等于退出测试。测试人员把应用卸载了,他仍然处在「选择参与」的状态,选择参与的人数不会减少,倒计时也不受影响。

但 Play 管理中心的安装用户数会掉下来,测试中途断了,统计里看得一清二楚。

⑤ 装了但不打开

应用一直装着,却没人打开。每日活跃用户数(DAU)长期接近 0,说明测试人员并没有真的在测。

Google 原文把这一点明确列为被要求继续测试的原因:

需要继续测试的原因包括:选择参与测试的人员不足 12 人,或测试人员在测试期间的互动度不足。

小结

情况 倒计时 计入人数 审核时
① 退出测试 照常走 不计入 可能不满 12 人
② 申请被拒 从头开始 — 需要再测一轮
③ 只参与不安装 照常走 计入 安装用户数低
④ 中途卸载 照常走 计入 安装用户数下降
⑤ 装了不打开 照常走 计入 DAU 接近 0

倒计时只会因为第 ② 种重新开始,其他 4 种它都照常走。但这 5 种情况,Google 审核时都能看到。

安装用户数和 DAU 在 Play 管理中心哪里看,可以看申请正式版被拒"需要进行更多测试"?5 个原因和对策的前两节,里面有截图和步骤。

4那测试人员要每天都打开吗?

Google 没有规定每天必须打开,也没有规定每次要用多少分钟。漏打开一两天,倒计时不会重新开始。

但申请正式版时,问卷会问到测试人员的参与情况,比如:

测试人员是否使用了所有可用的应用功能

测试人员的使用行为是否与预期的正式版用户行为一致

网上常能看到一种说法:「只要不退出测试、不卸载应用,用不用都行。」这句话只对了一半。不退出测试,人数就一直算数,倒计时也能走完;可应用只是装着、基本没人打开,审核时就很可能收到「需要进行更多测试」。

比较稳妥的做法是:不用强求每个人每天都打开,但整个 14 天里,DAU 曲线上应该一直有数据。

5网上常见的 3 个误传

  • 「12 个人必须同一天安装」:不用。倒计时从第 12 个人选择参与的那天开始,见第 2 节
  • 「倒计时走完,就是连续测满了 14 天」:倒计时不会因为退出、不安装、卸载、不打开而停下,但这些都会打断真正的「连续」,见第 3 节
  • 「漏打开一天,14 天就要重新计算」:不会。让倒计时重新开始的是申请被拒,不是漏打开,见第 4 节

6怎么把这 14 天跑稳

把上面几节合起来,其实就是几件事:

  • 一次凑齐,同时开始:别让前面的人白等
  • 人数留余量:比 12 多几个,有人退出也不怕
  • 不退出、不卸载:提前告诉测试人员,14 天内不要退出测试,也不要卸载应用。Google 在帮助中心里也特意提醒:「请告知测试人员,他们需要连续参与至少 14 天的封闭式测试。」
  • 每天自然地用一用:不用刷时长,但要让 DAU 一直有数据

BetaLobby 就是照着这几点设计的开发者互助封闭式测试平台:

  • 16 人一队:每个应用有 15 名测试人员,比 12 多出余量
  • 满员后一起开始:所有人装完队友的应用后,14 天同时开始
  • 每天打卡:打卡会真的打开一次你的应用,开发者也能在 App 里看到每天有多少人打了卡
  • 4 颗心的容错:漏一两天不违反 Google 的规则,但长期不用会影响审核。所以每个人有 4 颗心,14 天里累计漏打卡超过 4 天才会扣 TRUST

说到底,Google 要的「连续」不是信息中心里一个走满 14 天的倒计时,而是这 14 天里,一直有 12 个以上的人在真的用你的应用。