猪小花1号

个人签名

282篇博客

产品上线标准

猪小花1号2018-09-07 16:17
目前公司产品的需求迭代速度很快,什么时候测试可以结束,产品可以上线呢?用例执行完了就结束测试上线?所有bug解决完了就结束测试发版?
领导拍板上线?怎么能在产品上线时间点和产品质量之间找到平衡点,需要根据实际情况来分析决定。经过实际工作中的经验积累,可以从以下 几个方面制定产品上线标准,达到这个标准就可以上线。

每个产品可根据自己产品线的特点,适当调整,产品开发测试同学一起确定最终的上线标准。

单元测试通过标准
验证指标 是否通过 通过标准
Code Review 通过 核心代码100%经过Code Review
功能覆盖率 通过 功能覆盖率达到100%
代码行覆盖率 通过 代码行覆盖率不低于80%
缺陷修复率 通过 不存在严重错误和主要错误
接口测试通过标准
验证指标 是否通过     通过标准                                              
业务功能覆盖率 通过 业务功能覆盖率达到100%
参数验证 通过 参数的边界、业务规则全部验证
异常场景覆盖率 通过 接口异常场景全部覆盖
接口覆盖率 通过 接口覆盖率达到100%
代码覆盖率 通过 代码覆盖率不低于80%
缺陷修复率 通过 不存在严重错误和主要错误
功能测试通过标准
验证指标 是否通过    通过标准
需求实现 通过 本版本所有需求都已经实现
测试用例执行通过率 通过 功能测试用例通过率达到100%
缺陷修复率 通过 严重错误和主要错误的缺陷修复率必须达到100%,不允许存在功能性的错误;次要错误和一般错误的缺陷修复率必须达到85%以上,允许存在少量功能缺陷,后面版本解决;对于较小错误的缺陷修复率最好达到60%~70%以上。对于测试建议的问题,可以暂时不用修改
测试用例覆盖率 通过 测试用例执行覆盖率应达到100%
上期遗留问题的修复 通过 上期遗留问题都已经解决
缺陷收敛趋势 通过 缺陷呈收敛趋势
验收测试 通过 已通过视觉走查验收
已通过产品需求验收
SQL审查 通过 已通过SQL审核
注:
软件缺陷在测试生命周期中我们分成几个严重等级,它们分别是:严重错误、主要错误、次要错误、一般错误、较小错误和测试建议6种。
jira上bug级别和上面的缺陷级别对比:
1级:严重(严重错误)
2级:紧急(主要错误)
3级:重要(次要错误)
4级:次要(一般错误)
5级:微小(较小错误)
6级:Feature(测试建议)

稳定性
验证指标 是否通过 通过标准
执行自动化UI测试用例
崩溃 通过 无新增的未知的Crash发生
能够修复crash均已修复
线上灰度版本
崩溃率 通过 ios:0.3%-0.8%
andriod:0.1%-0.5%
与上一版本数据对比
崩溃率 通过 不比上一个版本的崩溃率高
(崩溃率从客户端统计工具中获得)

性能
验证指标 是否通过 通过标准
接口性能指标 通过 满足要求
页面加载性能 通过 Wifi页面加载速度与上一版本相比没有下降;
3G4G页面加载速度与上一版本相比没有下降;
冷启动时间 通过 冷启动时间与上一版相比没有增加
卡顿 通过 高端机没有非常卡的情况;
高中低端机均没有较线上版明显的卡顿情况

注:
接口性能指标
响应时间指标(Response Time)
响应时间 <200ms 200-500ms 500ms-1s 1s-2s

一般 很差
资源性能指标
性能项 命令 资源 评价
CPU占用率 vmstat
%user+%sys
70%
85%
90% 很差
内存 vmstat 测试时发现内存有变化情况也要注意,如果是内存泄露则比较严重
网络
<30%带宽
磁盘I/O iostat
%iowait
<30%
<40%
<50%+ 很差

网易云大礼包:https://www.163yun.com/gift

本文来自网易实践者社区,经作者刘卓授权发布