领先的工作方式,即刻开始

两款测试管理工具:TestLink 与飞蛾深度横评

测试管理平台是测试人员在整个软件研发周期中的工作界面与平台,它主要解决的是测试过程中团队协作的问题,比如缺陷管理、用例管理、测试任务管理等。笔者分别从部署、易用性、测试过程、测试工作显现等角度,对比了 TestLink 与飞蛾两款产品。

背景

  • TestLink 是创立于 2003 年的的一款基于 GPL 协议的开源软件,其最早发布于 Sourcefourge,现如今已迁移到 Github。TestLink 基于 PHP 开发,支持使用 MySQL 与 PostgreSQL 作为数据源。该产品需要自行部署到特定服务器后方可使用,作为老牌产品在国内团队中有一定的普及率。
  • 飞蛾是一款基于云端的 SaaS 产品,其借鉴了近年来海外众多现代测试管理产品的理念,包括 TestRail、PractiTest、Testuff 等,其特性主要包括部署成本低、易用性好、与开发者生态的深度集成等。

笔者在下表中归集了两款产品的主要差异:
201809---------

直观认识

下图展示了两款产品的主界面。

FireShot-Capture-232---TestLink-1.9.17--Alan-Turing----http___192.168.6.189_32769_index.php
TestLink 首页采用左右两栏快捷导航的布局(中间为什么没有?)。

project-home-----
飞蛾则以甘特图形式展现了目前所在项目进展,以及当前测试人员的待办任务。

笔者以一个典型项目的角度,尝试创建了 50 个测试用例和 3 份测试计划。总整体体验上来说,TestLink 对众多功能好似全部平铺出来,是一款工程师味道很浓厚的产品,无疑飞蛾更为现代的交互界面对于用户学习成本更低。

测试用例管理

  • Testlink 用例支持多层级,用例内容支持富文本编写,而且用例会有状态,分别为:草稿、待评审、评审中、终稿、废弃,这些做的比较好。整体上将 Testlink 在测试用例管理这块功能比较完善,例如用例可分为“手工测试”和“自动化测试”2种测试方式,测试用例中可以填写测试时间,测试用例可设置重要性:高、中、低三种重要性,能够关联测试用例;可为测试用例添加版本等,可能大部分团队用不上这些功能。Testlink 比较明显缺失的是不能上传图片附件,需安装插件后才能上传。
  • 飞蛾将用例树形结构限定为 3 层,用例支持文本用例和步骤用例 2 种形式,比较开放。可以用鼠标拖动移动测试用例,可以在模块内移动,也可以在模块间移动,操作流程很简单。飞蛾增加图片附件预览器,不需要安装任务插件就能够大图预览图片附件。同时支持各种格式的用例导入/导出,非常方便。

测试计划管理

  • Testlink 创建的测试计划不能和里程碑进行关联,也不能直接关联测试用例,需要创建一个构建来关联测试用,操作流程稍长。一个测试计划只能分配给一个测试者,里面的测试任务不能进行再分配,也不能调整测试任务的优先级。在测试计划里没有统计测试进度,作为管理者不能及时得到测试反馈。
  • 飞蛾创建的测试计划可以关联一个里程碑,通过里程碑管理测试计划进度。同时测试计划可直接关联测试用例,在创建测试计划的时候可以选择全部测试用例,也可圈选部分测试用例,同时可以修改选择的测试用例。相比 Testlink,飞蛾在任务分配比较灵活,在创建测试计划的时候可选择把测试计划分配给某个测试者,测试计划创建完成后还可以把测试计划下的测试任务进行再分配。飞蛾在测试计划列表实时统计测试进度,同时可实时查看其他人的测试结果,在测试协同上处理的更好,在使用体验上更佳。针对已完结的测试计划,可以进行归档操作,归档的测试计划不可进行测试,可查看归档测试计划的测试结果。

测试执行管理

  • Testlink 在执行测试过程中可为测试添加3种结果:通过、失败、锁定,并且可为测试添加测试执行时间,可作为 Tester 的KPI考核指标。不过不能把测试任务进行再分配,也不能上传图片(需安装插件才能上传)。如果需要关联缺陷,需要去集成 JIRA、Redmine。
  • 飞蛾在执行测试过程中可为测试添加5种结果:未测、通过、失败、重测、阻塞,如果是步骤用例,可为每个步骤添加测试结果。在测试过程中也可可把某个测试任务分配给其他测试者。飞蛾支持上传图片附件,并能够大图预览,这个较为方便。集成 JIRA、Redmine、Trello 后可关联缺陷。

缺陷管理

TestLink 与飞蛾均没有内置缺陷管理功能,可以与 JIRA、Redmine、Trello 等工具进行集成。其中飞蛾对 JIRA 的支持程度令笔者印象较为深刻,任何工作界面中鼠标移至缺陷 ID,均会弹出缺陷卡片,测试过程中可以快速创建缺陷同步至 JIRA。

总结

经过这次的评测,总体上说飞蛾与 TestLink 更像是两个不同时代的产品。TestLink 由于源自海外的早期软件团队,从其对测试用例的复杂度支持上看,更适合早期的软件工程团队使用。而飞蛾对测试人员对工作进行了取舍,以少而精的方式给最重要的功能给予了较为精心的设计,更为适合今天已经在中国普及的敏捷方式团队。

由于产品属性的不同,TestLink 如果不引入新的外部团队去承接该项目,无疑相当长时间内将以较慢的速度更新,这就好比同时起步的 Redmine 与 JIRA 两款产品的区别,前者仍然是十年前的样子,后者已经成为上亿美元市值的公司。由于其实商业属性的支持,飞蛾会在易用性和对未来开发者生态的支持上做的更好,这让笔者想起了 TeamBition 和 Tower 这两款产品,如今已成为国内最受欢迎的团队协同软件。