他们彼此深信,是瞬间迸发的热情让他们相遇。这样的确定是美丽的,但变幻无常更为美丽

留言簿

公告

最新日志

最新评论

搜索

登陆

友情连接

统计

 

 

2007/5/26 12:38:00
软件黑盒测试评估规范
总则:

软件问题点评估是以问题点的风险系数作为等级划分的依据,风险系数的评估来源于问题的严重程度,顾客发现问题的可能性2个方面(由于软件问题的特殊性,不涉及可检测性),而顾客发现问题的可能性与问题的复现率、出现问题的路径及用户的使用习惯相关,本规范就是从以上列举的方面对软件问题点评估进行尽可能性的量化,以使软件评估规范及其使用趋于客观、科学。

适用范围:

软件测试问题点风险评估、针对软件问题而设计的专项试验数据风险评估。

不适于故障出现的路径毫无规律或尚未了解故障出现的路径规律的情况。

对于故障出现路径无规律的情况,有必要组织专项测试。

风险系数:R=S1*(P1*P2)0.5

即:风险系数R等于问题严重程度S1乘路径(情景)使用频率P1和故障出现频率P2乘积的平方根。风险系数越高,风险越大。

问题点分级原则:

S类问题:非常严重缺陷,必然会引起客户投诉,必须要改善以后才可以出货。

A类问题:严重缺陷,引起顾客投诉的可能性非常大,建议改善以后才可用于出货。

B类问题:一般缺陷,引起顾客投诉的可能性比较大,建议改善以后才用于出货。

C类问题:轻微缺陷,引起顾客投诉的可能性比较小,可先出货后续改善。

判定规则:

当S=9时,不论P1、P2分值为多少,都判定为S类问题;

当S=8且P1=8及以上时,都判定为S类问题;

当S≤8时,遵循以下的分类判定原则:

50<R≤81 为S类问题

36<R≤50 为A类问题

18<R≤36为B类问题

0<R≤18为C类问题

评估规则:

S类>0 软件存在重大缺陷,必然会引起客户投诉,出货风险大,不同意作为出货软件版本;

S类=0且A类>=15 软件投诉可能性非常大,出货风险非常大,建议改善后再用于出货软件版本;

S类=0且0<A类<15,软件存在一定的设诉可能性和出货风险,研发承诺期限改善的条件下,同意作为出货版软件版本;

S类=0且A类=0,B类>=30存在较小的投诉可能性和出货风险,但用户满意度可能比较低,同意作为出货软件,同时须积极跟进市场反馈情况;

S类=0且A类=0,0<B类>15 同意作为出货版本。

1、 问题点严重程度分级(S1)

分值 影响程度 评分标准

1 很低 几乎不会对用户使用有影响

2---3 低 用户可能会注意;

可能会对用户造成轻微的维修或升级要求的缺陷;

4---5 中 会给用户的操作造成不便,可能会引起用户投诉,但不至于很严重。

功能基本可实现,但操作和提示繁琐,或存在误导的可能。

功能异常导致轻微影响用户感知的功能效果或用户不易感知的异常(如:轻微瞬间的杂音、电流声);

功能异常或功能键实现的方式可能会使顾客产生设诉,但属于设计问题或手机本身的功能限制,可通过解释说服顾客。



6 高 功能异常引起用户的反感,功能暂时不能实现;

功能异常导致影响用户感知的功能效果;(如:较小的杂音、电流声);

功能基本可实现,但不完全符合客户的要求或成文的规范;

功能实现的过程中无提示/提示错误/提示歧义/错别字、乱码/格式混乱

存在较大的可能性会误导用户、对用户的使用造成较大的干扰;

部分功能暂时不能实现或冻结于于某处,但可通过用户操作恢复(如:显示画面重叠,拍打翻盖OK)



7 相当高

故障一旦发生,中断顾客使用;部分功能不能实现。

某项功能部分不能实现或设置冲突时不能实现;

功能异常导致显著影响用户感知的功能效果(如:明显的杂音,电流声)

功能实现过程中无提示/提示错误/提示严重歧义/错别字、乱码/格式混乱导致会误导用户、对用户使用造成严重障碍;

中断用户正常操作,但是可以自动复位(如:重启、搜索、瞬间黑屏,时无发受话)





8 很高 主要功能完全不能实现;

故障引起人不舒服,反感(如:尖锐的啸叫);

功能定义完全不符合业界标准和用户普遍认知及习惯;

中断用户正常操作,且不能自动复位,但可以通过开关机复位。(如死机、掉电、掉卡、持续黑屏)

对部分功能产生破坏性影响,且不可通过用户操作复位(如:预定义短信丢失,需重新下载才可以恢复)



9 非常高 一旦发生情况非常严重,导致顾客非常反感,必会导致退机和投诉,甚至事故和诉讼;

对产品功能实现有致命性影响(如:文件系统崩溃);

会对产品功能造成严重破坏性的影响,且通过用户操作不可修复(如:大数据量上网后不开机,需重新下载OK);

对人身造成伤害、可能导致安全事故;

违反销售国家或地区的法律法规;

与销售地区的宗教信仰、民俗冲突,会引起当地顾客强烈反感。



2、顾客发现问题的可能性

(1) 路径(功能)或情景出现的可能性评分(P1,本评分规则与顾客使用习惯相关,需不断优化、修正)

定义:

本表内\"功能\"特指单一功能;

情景:指多于一种功能或操作复合的情况。

分值 描述 频度划分标准

1 几乎不可能 非常极端的情况,几乎不可能出现的情况,如:闹铃,短信、来电同时启动的情况。

2 存在可能,但非常凑巧 情景出现的情况比较凑巧,需多种因素影响才会出现,如短信、来电同时启动的情况,生僻的功能菜单界面来电,来短信等或者是需要做比较极端的操作,如非常快速地按键,连续拍打翻盖等。



3 轻度发生可以,偶尔 用户偶尔会遇到,情景出现的可能性比较小,如:在常用菜单切换时有来电,在某一项功能(复制、删除)的过程中有来电,不太常用的菜单中有来电、来短信等。

4 可能发生 用户遇到情景出现的情况存在一定的可能性,但可能性不大,如:通话过程中上网,在常备用的子菜单界面来电、来短信,网络连接过程中来电,在播放MP3时来电,来短信。

5 中等可能性 平均每周使用1次(不常用)的功能,或存在一定要能的情景出现,如:计算机功能,通话过程中查电话本的情景



6 可能性比较高 平均2-3天会使用1次的功能,或情景出现的可能性比较高,如:STK功能,浏览因特网,下载图片铃声等,玩游戏过程中来电话、短信的情景。

7 可能性相当高 平均每天使用1-2次左右或用户买了新机期间会操作但次数不多的功能,或情景出现的可能性相当高,如:浏览设置铃声、闹铃功能,时间日期设置,短消息满的时候又来新短信。



8 经常使用 平均每天使用3次以上的功能或用户买了新机期间经常操作的功能,如:保存电话,查找电话,拍摄

9 路径使用频率非常高 经常使用的功能,用户随时随地都会使用的功能和路径,如:通话,开关机,短信等基本功能,待机、拨号码、快捷拨号、回拨电话、翻动主菜等基础路径。





(2) 故障出现频率评分表(P2,特指相同路径下重复操作故障出现的频率)

分值 描述

1 几乎不可能发生,可以忽略复现的可能 0.01%以下,偶然出现一次后,再重复操作没有复现;

2~3 存在很低可能发生 故障现象出现的机率很小,0.1%左右复现率,复现的路径不确定,多台机不可以复现

4 偶尔发生,存在一定可能复现 单台机1%的复现率,多台机不可以稳定复现,复现的路径非单一。

5 中等复现可能性 单台机5%的复现率,多台机不可以以同样的比率复现,复现的路径单一

6 频率比较高 10%左右的复现机率,多台机可以复现,复现的路径单一,或者故障100%可以复现,但是操作五次以上功能交叉,用户复现该问题的可能性很小。

7 频率相当高 20%~50%左右复现,多台机可以复现,复现的路径单一,或者故障100%可以复现,但是操作在四到五个功能交叉,用户复现该问题的可能性较小。



8 频率非常高 50%以上复现,多台机可以复现,复现的路径单一,或者是故障100%可以复现,但是操作的步骤在三个功能交叉。

9 稳定出现 100%稳定复现,复现的路径单一,不需要做复合功能操作,多台机都可以复现。
posted @ 2007/5/26 12:38:00 pqian 阅读全文 | 回复(0) | 引用通告 | 编辑 | 收藏该日志

发表评论:

    昵称:
    密码:
    主页:
    标题: