机顶盒自动化测试
随着国家有关政策的进一步贯彻实施,宽带互联网电视业务快速发展,宽带、机顶盒用户数不断地急剧增长,机顶盒的使用质量、视频质量等已成为影响用户去留的非常重要的指标。如何测量机顶盒的使用、视频等质量,同时确保运行时的服务质量(QoS)和用户体验质量(QoE),减少用户投诉提高用户的满意度和忠诚度,是摆在运营商面前需要迫切解决的问题;
传统测试
1.1 传统测试手段
传统的机顶盒测试手段主要以人工测试为主,通过投入大量的人力资源和时间,对机顶盒进行频繁的操作,人工验证。
对于机顶盒的时间性能类指标测试,例如:机顶盒开机时间、EPG切换时间、直播点播加载时间等,则采用掐秒表的方式。
但需要对机顶盒进行多次业务可用性测试时,例如:开机认证成功率、EPG切换成功率、电影电视剧点播成功率等业务,也只能依靠投入更多的人力和时间来进行测试。
对于机顶盒HDMI输出视频质量,传统的测试手段主要依靠测试人员长时间的查看,当出现问题时,很难判断是机顶盒自身问题,还是当前网络环境问题。
1.2 传统测试存在的问题
测试效率低:单人无法实现多终端、多平台的并发测试;
测试准确性和一致性低:性能测试采用掐秒表的方式,准确性差,而且一般性能测试需要采集多次的测试结果,而人工测试过于主观,多次测试时,即使相邻两次一样的性能,掐表方式出来的结果也可能存在不一致性。对于视频质量测试,则采用肉眼观察的方式,主观性太强,并且当发生问题的时候,无法追溯。
无法长时间稳定性和可靠性测试:人工每天8小时上班时间,精力有限,无法实现N*24小时不间断的测试。
测试问题无法定位:当发生问题时,无法定位是终端问题还是当前的网络环境问题。
解决方案
通过自动化手段模拟用户操作遥控器,对机顶盒进行红外控制,实现机顶盒开关机、EPG切换等操作, 在测试过程中获取机顶盒的HDMI输出,对测试结果进行自动化验证,输出测试报告。内置程控红外遥控器,自动化控制机顶盒操作(机顶盒无需ROOT);内置综合测试分析仪,从协议层分析视频流;内置HDMI输出分析模块,从用户体验层面分析机顶盒输出的HDMI视频质量;
2.1 测试方案
外部网络与自动化测试系统连接。
自动化测试系统与机顶盒通过网线连接,通过自动化系统内部的交换机,将网络资源提供给机顶盒。
自动化系统通过内部的红外模块替代红外遥控器,对机顶盒进行操作。
机顶盒接收到网络资源后,根据自动化测试系统内红外模块发出的命令,将HDMI输出给自动化测试系统。
自动化测试系统对机顶盒HDMI输出资源进行管理,通过HDMI输出,对机顶盒进行功能测试,性能测试、稳定性测试、视频质量监控。
自动化测试系统通过HDMI将机顶盒内容实时输出到电视机以便观察。
2.2 测试能力
该系统具备全链路质量测试能力,从进入机顶盒的网络质量测试、到机顶盒自身的质量、及机顶盒输出质量测试。
2.3 关键指标
2.3.1 输入视频流
MPEG-TS算法在传输流协议层进行 TR101290的三级质量检测
VMOS算法分析ES流层编码方式、GOP帧格式、 I,B,P 帧,以及RTP协议层,获取丢包、抖动信息,从用户体验的角度对视频流质量进行量化评估。
2.3.2 性能指标
>> 开机时长
>> 点播加载时长
>> 直播切换时长
>> EPG切换时长
2.3.3 HDMI输出
>> 静帧:大于3s画面静止,相似敏感度可配置
>> 卡顿:1s到3s画面静止,相似敏感度可配置
>> 黑场、蓝屏:持续1s画面静止
>> 杜比错、无声、声音过高、过低
>> 正在缓冲:画面静止,但是中间转圈 3秒以上
2.4 应用场景
2.4.1 功能测试
对机顶盒基本功能进行测试,其中包括而不限于:
>> 开机操作
>> 关机操作
>> 直播/点播视频播放、4K播放
>> 游戏下载、杜比功能
>> 各EPG页面切换测试
2.4.2 性能测试
对机顶盒的开机/关机时长、播放性能、频道切换性能、页面切换性能、打开本地媒体性能等进行测试。
频道切换性能包括而不限于:通过数字键切换频道、通过上下键切换频道。
打开本地媒体性能打开本地媒体性能:打开本地图片、音频、视频。
2.4.3 稳定性测试
对机顶盒基本功能进行7*24小时的MTBF测试,达到对机顶盒进行拷机的目的,保障机顶盒基本功能稳定,使用质量高,用户体验好。
2.4.4 视频质量分析
对本地媒体、流媒体进行视频质量分析。对播放过程中的卡顿、静帧、黑屏、蓝屏、音量过大、音量过小等指标进行监测。
2.4.5 现场故障排查
排查故障点,定位问题的归属点,如用户侧、机顶盒问题、交换机问题、路由器问题,信号源流媒体服务器、片源问题等。
使用说明:
MDI算法在RTP协议层实现对时延、丢包等关键网络质量指标的监控
通过截图方式直观判断机顶盒性能,例如:
指标说明:
2.5 自动化测试与手动测试对比
成功案列
广东省电信、广东电信研究院、江西移动等使用此自动化测试系统,问题解决效果显著,给客户家宽测试带来了极大的便利,提升机顶盒产品使用质量、视频质量等,减少客户投诉,提升用户感知,提高用户的满意度和忠诚度。
.