• 背景

  • 公司目前主打两款陌生人社交产品，暖聊和一周 CP，两款产品都有 Android 和 iOS 端。暖聊涵盖了音视频匹配，交友大厅，聊天室，视频直播，广场，家族，IM 消息和任务中心八大模块，共计 841 个接口；CP 涵盖了语音房，礼物，榜单，IM 消息，广场，Cp Match 和声音酒馆七大模块，共计 548 个接口。产品复杂度高，团队规模大，业务数据增长快，单纯的靠“点点点”和“细心”，很难去保证产品质量的稳定。

• 问题现状

  • 测试团队在保证两款产品一周一迭代的同时还要支撑相关活动的正常上线。在这样的背景下，导致测试的质量不稳定，重复工作多，效能下降。比如，每次产品迭代和活动上线，我们需要去做整个产品和活动的主流程回归，但人总会有犯错和粗心的时候，这样就很难保证产品和活动质量的持续稳定输出。基于这样的问题现状，引入自动化测试迫在眉睫。

• 解决方案

  • 目标

    • 为减少测试人工投入成本，提升效能，提高测试场景覆盖率，提升产品质量，提高测试 ROI。

  • 流程

• 方案选择

  • 方案一

    • Python Requests + Pytest

  • 方案二

    • YAPI + Python Flask

  • 方案选定

    • 选择方案主要从以下几个方面去考虑

1. 减少工具开发成本和开发时间，尽量选择业界成熟工具或组件进行二次开发
2. 减少用例录入的成本，测试用例集合最好可以一键添加
3. 增加团队成员的使用率，每个同学都可以参与到接口自动化测试项目中

• 对比两种方案和考虑的点，最终选择了方案二。YAPI 可以一键生成用例集合，测试用例执行在 YAPI 平台完成，只需对执行结果进行解析和封装同步到办公群，并且团队成员都可以在平台上对每个接口进行断言完成自动化测试

设计

• YAPI 部分

  • YAPI 搭建

    • 网上有很多关于 YAPI 搭建的相关资料，这里就不做赘述

  • 测试集合

    • 每个应用场景创建一个测试集合；拿赠送背包礼物举例，赠送礼物之前和之后分别调亲密度日榜，女神榜，送礼方背包数据，收礼方积分清单接口，对接口响应内容进行断言；详见思维导图

• 断言

// 定义送礼之前的亲密度日榜返回数据
// 送礼亲密度计算使用的是用户实际付出的价值，用户获得的积分是按照抽出的礼物实际价值计算
var uid = records[1180].body.data.user.id
var arr1 = body.data
var Be_data = records[1187].body.data
var coin = parseInt((records[1190].body.data.coin)/10)



function isInArray(arr,value){
    var arrLength = arr.length
    if(arrLength>0){
        for(var i=0; i<arrLength; i++){
            if (value == arr[i].maleUser.id){
                var count = arr[i].count
                count = parseInt(count)
                return count
            }
            if(i == arrLength-1){
                return 0
            }
    }
    }else{
        return 0
    }
    
    }

dest_count = isInArray(arr1,uid)

if (Be_data == null){
    assert.equal(count,coin)
}
else{
    var coin = parseInt(records[1190].body.data.coin/10)
    source_count = isInArray(Be_data,uid)
    // 如果最后日榜亲密度==礼物亲密度 + 初始日榜亲密度，返回校验成功，否则校验最后日榜亲密度==礼物亲密度 + 初始日榜亲密度 +1
    if (dest_count==source_count+coin){
        assert.equal(1,1)
    }else{
        assert.equal(dest_count,source_count+coin+1,"送礼后的亲密度不等于初始亲密度+礼物的亲密度")
    }
    
}

• YAPI 生成服务端测试 URL

• Flask 部分

  • 代码文件目录

    • 创建蓝图包 cp，在 cp 包下的 __init__文件中创建蓝图对象 cp

• 在 cp 蓝图目录下，创建 views 包，创建视图函数，读取 YAML 文件中 YAPI 生成的服务端测试 URL，执行并对执行结果进行解析和封装同步至群聊

• 在 YAML 文件中存放 YAPI 生成的各个用例集合服务端测试 URL

• 路由：urls.py，给运维同学提供接口

• 在第一步中的 __init__ 文件中导入整个项目需要用到的所有的 url

• 在主入口 run.py 文件中注册 cp 对象

from cp import cp #在 cp 包中倒入 __intit__ 文件中创建的 cp 对象
app.register_blueprint(cp,url_prefix='/cp')

• 效果

  • 自动触发

    • 微服务完成部署自动请求 Flask 中的 URL 去执行 YAPI 中的测试用例集合

  • 接口测试通过

• 当接口出现报错时

• 移步 YAPI 平台，找到对应接口，可查看接口具体响应内容

• 效能提升

  • 自动化测试涵盖各个微服务，核心接口总计 125 个；模块包含视频直播，家族红包，音视频匹配，背包礼物，IM 消息，用户搭讪，任务中心，广场，手气福袋，聊天室，交友大厅核心应用场景，接口总计 403 个，提高了测试覆盖率。
  • 接口自动化引入后，测试同学部署新构建的代码到 QA 环境即会触发；在测试同学接入之前，就能暴露出问题，降低了测试同学的人工投入成本；并且自动化测试在 YAPI 平台可直接查看接口响应内容，更快速定位了问题。

• 总结

  • 当业务复杂度越来越高之后，接入自动化测试很大程度的提升了效能和测试 ROI，并提升了产品质量的持续稳定输出
  • 未来规划
    • 自动化测试可以作为提测的一项标准，新部署的代码若自动化测试未通过，直接打回，间接提升了开发同学自测能力
    • 预发环境核心场景接入自动化，提供 QA 环境和预发双重保障