Илья Горшков: Test Case Management Tool: как правильно сделать выбор и не пожалеть об этом

Test Case Management Tool: как правильно сделать выбор и не пожалеть об этом – конспект ВК

Критерии:

  • интеграция с баг-трекером компании (JIRA)
  • хранение и возможность редактирования тест-кейсов, в том числе импорт тест-кейсов, созданных нами ранее
  • простота отслеживания покрытия требований тест-кейсами
  • удобное формирование Test Runs/Test Suites и удобный пользовательский интерфейс
  • хранение всей информации по Test Development и Test Execution в одном месте и создание единого пространства для работы QA-команды
  • возможность создания Traceability Matrix
  • возможность распределения задач и назначения их на конкретных инженеров
  • простота получения отчетов, метрик, статистики
  • удобство установки, внедрения, поддержки

Из чего выбирать:

… В результате список сократился до трех тулов (ВК: инструментов), на которых были проведены пилотные проекты:

1. Zephyr
2. TestRail
3. Meliora

… Вот высокоуровневые характеристики каждого:

Zephyr (1 user — $30) — отличительная черта этого тула в том, что это продукт Atlassian, а значит, он должен быть отлично совместим c JIRA, но проблема в том, что это валидно для JIRA Server, а мы пока используем OnDemand, с которым на этапе пилота было много проблем. Помимо этого недостатка Zephyr неудобен в использовании: добавлять тест-кейсы долго и не настолько просто, много лишних действий при создании планов и runs.

Meliora (1 user — $25) — также необходим переход на JIRA Server + сам по себе Meliora довольно громоздкий инструмент, искусственно усложняющий большую часть простых задач, включающий в себя еще и собственный bug-трекер.

TestRail (1 user — $20) — простой и удобный тул. Основной плюс — кастомизация возможна практически во всем, и любые действия интуитивно понятны. Есть возможность импорта/экспорта тест-кейсов.

… включает в себя и позволяет:

  • Создание/хранение/редактирование тестовых сценариев, управление тестовыми планами, запуск тестовых циклов, занесение результатов тестирования.
  • Четкое описание тестовых сценариев, их ревью, соотношение с требованиями, разделение на области — всё это позволяет оценить как полноту покрытия тестами функционала, так и является необходимым материалом для всей проектной команды.
  • Создание отчетов по совершенно разным критериям: Defect Summary, Comparison for Cases, тестовые результаты по проектам/компонентам/майлстоунам и т.д.
  • Возможности для полной кастомизации «рабочего dashboard», а также удобное получение статуса работы QA-команды за разные периоды времени (помогает при создании weekly/monthly QA report).
  • Легкая интеграция с JIRA.
  • Разумная цена.
  • Отличный support.
  • Легкий и удобный способ импорта тестов из Excel.

… Ниже я подробно рассмотрю возможности TestRail для различных QA-активностей:

Что же в итоге:

Окончательный выбор мы сделали еще в августе. В сентябре перевели в TestRail большую часть QA-активностей по проектам. Продолжаем переводить туда все новые проекты. За все время еще ни разу не пожалели о выборе. Собрали несколько метрик, которые подтвердили наши предположения насчет верности выбора и положительном эффекте от внедрения. Смогли быстро научить инженеров эффективно использовать тул. В ближайшее время закончим работы над внедрением Requirements Traceability для всех проектов и будем развивать использование TestRail дальше.

Просмотров: 335

Оставить комментарий


Translate »