Мутационное тестирование, или мутация программ, — это метод тестирования «белого ящика», который помогает компаниям разрабатывать ряд новых проверок программного обеспечения, одновременно проводя аудит текущих процессов проекта. Это относительно новый подход, который гарантирует, что разработчики и тестировщики работают на высоком уровне.
Приложение является успешным и качественным только в той мере, в какой оно само обеспечивает качество — это означает, что организациям необходимо использовать более одного типа методов тестирования.
Изучение вопросов тестирования на мутации может помочь командам тестировщиков повысить свои навыки и общий репертуар, что позволит им повысить надежность этих проверок. Тестирование мутаций — сложный и деликатный процесс, поэтому крайне важно, чтобы тестировщики тщательно изучили преимущества, проблемы и сторонние программы, которые могут гарантировать успешное внедрение.
В этой статье мы рассмотрим мутационное тестирование и то, как оно улучшает обеспечение качества, а также другие ключевые моменты для команд тестирования программного обеспечения.
Что такое мутационное тестирование в тестировании программного обеспечения?
В контексте программного обеспечения мутационное тестирование означает, что команда обеспечения качества намеренно вносит ошибки — или «мутации» — в код приложения, чтобы посмотреть, как команда отреагирует. Цель — создать ошибку и убедиться, что набор тестов способен выявить каждое изменение в приложении.
При редактировании кода программы мутационный тестер может переключить выражение true/false, удалить утверждение или просто изменить значение. Эти ошибки могут проявляться различными способами во время других проверок программного обеспечения; все они легко обнаруживаются квалифицированной и опытной командой тестировщиков.
Сами мутации часто очень незначительны, что позволяет тестировщику, который мутирует код, наблюдать за тем, как команда обнаруживает эти изменения. Значительные изменения будут очевидны даже при беглом взгляде — поэтому незначительные ошибки обычно являются лучшим способом убедиться в том, что компания использует надежные методы тестирования.
Эта техника специально рассматривает эффективность тестовых случаев команды — документов, содержащих информацию о тестировании. Команда может также использовать стороннее автоматизированное программное обеспечение для выполнения этих проверок, в этом случае мутационное тестирование рассматривает, насколько хорошо эта платформа может обнаружить ошибки в коде программы.
1. Когда необходимо проводить мутационное тестирование?
Поскольку целью мутационного тестирования является подтверждение и улучшение текущих проверок качества, командам важно проводить его на ранних этапах тестирования. Это означает, что если набор тестов не сможет выявить и «убить» мутантов, у вас будет достаточно времени для внесения масштабных изменений в процедуры тестирования организации.
Поскольку это очень универсальный метод, мутационное тестирование применимо практически для любого типа программного обеспечения, включая веб-, мобильные и настольные программы. Лучше всего это работает на этапе модульного тестирования, на котором изучаются мельчайшие компоненты приложения.
2. Когда вам не нужно проводить мутационное тестирование
Все еще существуют некоторые сценарии, в которых мутационное и общее тестирование «белого ящика» не подходит для программы; это может быть вызвано различными причинами.
Например, если тестировщики нацелены только на проверку с помощью тестирования «черного ящика» — в этом случае они вместо этого сосредоточатся на фронт-энде для этой сессии или даже на этапе общего тестирования.
Некоторые компании считают тестирование «белого ящика» утомительным и требующим много времени, что может привести к тому, что они пропустят этот процесс. Сильные, хорошо проверенные тестовые случаи также могут обойти необходимость мутационного тестирования, поскольку это показывает усердие команды и приверженность точным процедурам тестирования.
3. Кто участвует в анализе мутаций?
В анализе мутаций участвует ряд различных функций, в том числе:
— Испытатели мутаций
Они мутируют код, внося в него различные мелкие дефекты, чтобы убедиться, что процесс тестирования работает так, как ожидалось. Эти тестировщики обычно являются уже существующими членами команды по обеспечению качества.
— Тестировщики приложений
Они регулярно проверяют код на наличие проблем, выявляя и исправляя все обнаруженные мутации. Они проводят тестирование «белого ящика» для поиска ошибок кодирования — но также используют и другие методы.
— Разработчики приложений
Они разрабатывают функции программы и пишут исходный код. Они также устраняют все проблемы, которые находят тестировщики, обеспечивая стабильное состояние программного обеспечения для выпуска.
— Менеджеры проектов
Они дают указания по применению и могут работать вместе с испытателями мутаций, чтобы убедиться в эффективности собственных команд. Они обеспечивают высокие стандарты на всех этапах развития.
Что мы проверяем с помощью тестов на мутации?
Мутационное тестирование больше фокусируется на процессах тестирования, а не на приложении. С этой целью она рассматривает следующее:
1. Тестовые случаи
Тестовые примеры — это документы, содержащие подробную информацию о каждом тесте, включая результаты, которые тестировщики ожидают от каждой отдельной проверки. Последовательные и точные тестовые примеры дают членам команды QA представление о состоянии приложения и о том, насколько его производительность соответствует ожиданиям компании.
Информация, содержащаяся в этих тестовых примерах, может определить способность тестировщика обнаружить определенные дефекты, включая те, которые вызывает мутационное тестирование.
2. Стандарты тестирования
Мутационные тесты внимательно изучают текущие процедуры тестирования, чтобы убедиться, что члены команды могут выявить даже незначительные проблемы, которые могут повлиять на восприятие программного обеспечения пользователем.
Трудолюбие и компетентность проверяющих могут даже стать основными факторами, которые предприятие оценивает при таких проверках. Без пристального внимания к деталям на каждом этапе тестировщики могут пропустить серьезные мутации, которые присутствуют в программе.
3. Отдельные единицы кода
Мутационные тесты распространены на этапе модульного тестирования в процессе разработки. При этом рассматриваются отдельные компоненты, что позволяет сфокусироваться на каждом тесте, значительно оптимизируя весь процесс за счет того, что тестировщики работают только с соответствующими строками кода.
Поскольку мутационные тесты часто проводятся на ранних стадиях обеспечения качества и могут быть предшественниками полномасштабного тестирования, этот подход может увеличить скорость без ущерба для точности.
4. Обновления программы
Обновление программного обеспечения обычно предполагает перезапуск процесса тестирования, чтобы убедиться в отсутствии новых неисправностей и в том, что прежние ошибки не проявились вновь.
Повторение мутационных тестов является ключевой частью этого процесса и помогает продвигать последовательные стандарты тестирования после крупных изменений программного обеспечения.
Команда тестирования может считать тщательные проверки после обновления ненужными, но мутация кода может обеспечить понимание важности тестирования на всех этапах разработки.
5. Программное обеспечение для автоматизации
Компании также проводят мутационное тестирование, чтобы проверить свои комплекты автоматизированного тестирования и убедиться, что они способны заметить мутировавший код, среди прочих проблем.
Если стороннее приложение для тестирования может выявить внешние изменения в программе и, возможно, даже исправить их, это означает, что организация может доверять этому программному обеспечению автоматизацию тестов.
Очень важно, чтобы компании подтвердили свой подход к автоматизации; это дает уверенность каждому тестировщику.
6. Стратегия автоматизации
То, как компания интегрирует автоматизацию в свои процессы, не менее важно, чем используемое программное обеспечение; например, она может решить внедрить гиперавтоматизацию. Это позволяет компании разумно решать, какие мутации и программные тесты автоматизировать.
Без сильной стратегии автоматизации, учитывающей огромное разнообразие кода приложения, некоторые тесты могут быть несовместимы с автоматизацией, что ограничивает возможности платформы.
7. Приложение
Хотя мутационное тестирование больше фокусируется на команде тестировщиков, чем на приложении, оно все же может высветить важную информацию о данной программе.
Например, мутационное тестирование показывает, как программное обеспечение реагирует на изменения в коде, в том числе, сигнализирует ли оно об этих проблемах так, как ожидает команда.
Этот подход не является методом тестирования программного обеспечения, но все же способен предложить интересные данные о его внутренних операциях.
Жизненный цикл мутационных тестов
Обычный жизненный цикл мутационного тестирования выглядит следующим образом:
1. Анализ требований
Первым шагом жизненного цикла любого мутационного тестирования является выяснение того, что именно требует проверки и какие части кода приложения больше всего выиграют от этих тестов.
Команда может поговорить с разработчиками и руководителями, чтобы определить их проблемы и начать их решать.
2. Планирование тестирования
Затем тестировщики начинают разрабатывать именно те проверки, которые они собираются реализовать — в данном случае мутации, которые дадут наилучшее понимание.
На этом этапе определяется общая стратегия тестирования мутаций и то, как команда собирается эффективно реализовать намеченные мутации кода.
3. Разработка тестовых примеров
Тестирование мутаций предполагает отдельную тестовую документацию, включающую информацию о мутировавшем коде и о том, как тестировщики должны устранить проблему.
Правильное ведение документации гарантирует, что все тесты проходят в соответствии с планом, и может помочь команде сохранить приверженность высоким стандартам тестирования.
4. Настройка тестовой среды
Тестировщики убеждаются, что приложение готово к их изменениям — и что у них есть процедура для решения этих проблем, если другие члены команды не могут их обнаружить.
В рамках этой работы тестеры мутаций создают тестовый сервер и используют его в качестве холста для своих мутаций.
5. Выполнение теста
Завершив подготовку, тестировщики вносят изменения в код нескольких компонентов приложения; затем они ждут, пока другие тестировщики заметят и устранят проблемы.
Как тестировщики мутаций, так и тестировщики приложений должны подробно документировать это, чтобы убедиться в надежности своих записей.
6. Завершение цикла испытаний
После завершения тестирования мутационные тестеры дважды проверяют, что все внесенные ими изменения исправлены либо тестерами приложений, либо ими самими.
Затем они завершают цикл тестирования и анализируют результаты, обсуждая, как тестировщики реагировали на различные ошибки, а также их способность исправить их.
7. Повторение теста
После закрытия цикла тестирования может возникнуть необходимость его повторной активации после будущих обновлений программного обеспечения.
Каждое изменение в приложении в той или иной степени изменяет его функциональность, что приводит к появлению новых возможностей, которые команда должна учитывать, чтобы обеспечить достаточно тщательный процесс тестирования.
Преимущества тестирования на мутации
Проведение тестов на мутации имеет много преимуществ, в том числе:
1. Валидирует процесс тестирования
Основное преимущество мутационного тестирования заключается в его способности показать, как тестировщики компании подходят к программному обеспечению — и их способность распознавать проблемы кодирования. Это также гарантирует, что тестовые случаи команды достаточно полны и охватывают все необходимые тесты.
Мутационные тесты исследуют общую процедуру тестирования организации, чтобы гарантировать, что она работает так, как ожидается.
2. Обеспечивает надежную автоматизацию
Мутационное тестирование помогает команде проверить, способна ли их сторонняя платформа автоматизации тестирования адекватно выявлять ошибки в коде и устранять их правильным способом.
Если программное обеспечение не обнаруживает их даже после необходимой калибровки, возможно, стоит заменить платформу на ту, которая легко проходит эти тесты.
3. Хорошее покрытие
Каждый процесс тестирования программного обеспечения должен быть способен широко охватить все приложение, чтобы каждый аспект получил необходимый уровень внимания.
Мутационные тесты могут изменять любую часть кода программы; хорошая реализация позволяет этим тестам охватить все основные функции. Это учит тестировщиков искать проблемы во всем приложении.
4. Изучает исходный код
Поскольку мутационное тестирование предполагает работу с кодом и внесение прямых изменений там, где это необходимо, этот метод также может подчеркнуть неоптимизированные сценарии, присутствующие в приложении.
Тестировщики программного обеспечения могут разрешить программу и провести свой обычный цикл тестов только в том случае, если код программы адекватен; эти проверки позволяют тестировщикам выявить потенциальные будущие проблемы.
5. Приводит к улучшению программного обеспечения
Мутационное тестирование помогает убедиться, что процессы тестирования приложения соответствуют требованиям программы.
Если мутационный анализ показывает, что команда по обеспечению качества не соблюдает правильные процедуры или тестовые случаи неадекватны, тестировщики могут работать над улучшением ситуации. Без такой должной осмотрительности организация может выпустить бракованный продукт, даже не подозревая об этом.
6. Эффективность для разных языков
Независимо от того, какой язык использует группа тестирования для своего приложения, существуют варианты программного обеспечения, которые могут предложить высококачественный анализ мутаций.
Это включает в себя ряд характеристик качества жизни, характерных для данного языка, оптимизируя проверки для большей надежности. Индивидуальный подход для разных языков повышает качество каждого отдельного теста.
7. Высокодоступные инструменты
Многие из ведущих мутационных платформ имеют полностью открытый исходный код — это означает, что они предлагают больше возможностей для настройки и широкий набор функций бесплатно или по значительно более низкой цене.
При меньшем количестве препятствий по сравнению со многими другими видами тестирования, мутация кода является полезным и удобным способом для предприятий оценить или даже улучшить свой подход к обеспечению качества.
Проблемы тестирования на мутации
Этот процесс также сопряжен с многочисленными трудностями, такими как:
1. Требуется знание программирования
Для выполнения этих проверок тестировщики должны иметь полное представление о программе и коде, что затрудняет вклад менее опытных тестировщиков.
Предприятие может тестировать программное обеспечение только теми способами, которые соответствуют существующим навыкам тестировщиков; в частности, их способности редактировать приложение и создавать устранимые ошибки кодирования.
2. Не подходит для тестирования «черного ящика
Тестирование «черного ящика» в основном включает в себя просмотр внешнего вида приложения без изучения его внутренней работы и кода — это фактически несовместимо с мутационным тестированием.
В результате эти проверки полезны только для некоторых тестов по сравнению с другими методами, многие из которых могут предложить гораздо больший охват всего этапа тестирования.
3. Разработка мутационных тестов занимает много времени
Мутация кода может быть утомительным процессом, поскольку команде необходимо найти отдельные компоненты, которые стоит мутировать. Решение о том, какие мутации вводить, может само по себе занять много времени; это может быть проблематично, когда другие виды тестирования фактически ждут этих проверок, чтобы полностью подтвердить подход компании к тестированию.
4. Может потребоваться много мутаций кода
Аналогичным образом, сложные проекты, естественно, требуют большего количества мутантов для обеспечения комплексного подхода к тестированию. Это добавляет больше времени на этап мутации и может повлечь за собой множество ручных изменений в коде приложения.
Без высококачественного программного обеспечения для автоматизации тестирования с возможностью мутации программ тестировщикам может быть трудно успешно реализовать эту задачу.
5. Тестировщики могут не заметить ошибки
Наибольшее беспокойство, которое часто возникает у мутационных тестировщиков и руководителей проектов при внедрении этих проверок, — это возможность того, что тестировщики программного обеспечения (ручные или автоматизированные) просто не заметят проблем.
Это может потребовать полного пересмотра процедур тестирования фирмы — хотя это может дать тестировщикам важную информацию о стандартах обеспечения качества.
6. Может требовать много памяти
Мутационное тестирование обычно требует высокой вычислительной мощности, хотя это может зависеть от приложения, которое используют тестировщики.
Если у организации ограниченное количество машин или эти устройства имеют низкие технические характеристики, они могут не справиться с одновременным выполнением большого количества мутаций. Это влияет на то, сколько проверок они могут выполнить до окончания этапа тестирования.
7. Отчеты могут быть информационно насыщенными
Хотя это в основном зависит от интерфейса инструмента мутационного тестирования команды, отчеты, которые они генерируют, могут быть сложными для анализа.
Это означает, что требуется время, чтобы вручную отсортировать их и найти нужные результаты тестирования; некоторые программы позволяют пользователям настраивать сам процесс создания отчетов; это зависит от конкретного приложения.
Характеристики мутационных тестов
Основными характеристиками эффективных тестов на мутации являются:
1. Всеобъемлющий
Эти проверки охватывают все основные аспекты программного обеспечения; компании с достаточными ресурсами могут даже разработать мутационный тест для каждого обычного тестового случая.
Хотя точное количество зависит от возможностей и предпочтений организации, эффективные тесты на мутацию охватывают широкий спектр закодированных характеристик.
2. Стратегический
Программные мутации также должны следовать четкой и хорошо спланированной структуре, которая способствует достижению общих целей организации в области тестирования.
Например, ошибки, которые они выдают, могут приблизительно соответствовать реалистичным сбоям в тестировании, что позволяет тестировщикам предвидеть эти проблемы в случае их естественного возникновения, что значительно улучшает процесс тестирования в компании.
3. Конструктивный
Цель мутационного тестирования — выявить недостатки в тестировании — показать, как команда может улучшить свои проверки и исправить мелкие ошибки по мере их появления.
Тестировщики мутаций должны определять приоритетность «недействительных» мутантов, которые влияют на функциональность программного обеспечения, что позволяет более четко улучшить тестирование в рамках всего проекта.
4. Упреждающий
Эти проверки существуют для подтверждения общей стратегии команды; это означает, что мутационное тестирование лучше работает на ранних стадиях разработки.
Если тестировщики заметят какие-либо существенные недостатки в подходе к обеспечению качества, это даст им необходимое время для изменения своих тестовых примеров, чтобы убедиться в их адекватности.
5. Последовательный
Мутационное тестирование на разных итерациях приложения должно давать стабильные результаты, при этом добавляя дополнительные проверки для учета изменений в программном обеспечении.
Последующие проверки должны включать такое же внимание к деталям, чтобы сохранить их эффективность — без этой точности тесты на мутацию могут стать менее точными.
6. Тонкий
Мутационные тесты направлены на изучение способности команды обеспечения качества выявлять дефекты кода с помощью своих тестов и сторонних платформ.
Это означает, что тесты не должны быть сразу очевидными для всех, кто проверяет программное обеспечение; цель состоит в том, чтобы изучить, как тестировщики реагируют на незначительные проблемы в коде.
7. Совместная работа
Как и любой другой тест программного обеспечения, мутация кода — это процесс, который обычно требует командной работы и общения для обеспечения его успеха. Поддержание атмосферы сотрудничества помогает избежать информационной изоляции, которая может привести к недопониманию — это также гарантирует, что каждый тестировщик будет сосредоточен на выполнении поставленных задач.
Типы тестов на мутации
Существуют три основных типа тестов на мутации:
1. Мутация значений
Мутации значений напрямую изменяют значения в коде, меняя одну цифру или букву на другую таким образом, что это влияет на функциональность приложения.
Например, испытатель может изменить точные параметры программы, такие как числа, на которые она реагирует. Тестировщики мутаций могут специально нацелиться на постоянные значения программного обеспечения, поскольку они всегда остаются неизменными во время нормальной работы.
2. Мутация решений
Мутации принятия решений изменяют арифметические и логические операторы, эффективно изменяя реакцию приложения на конкретные ситуации.
Например, замена оператора больше-больше (>) на оператор меньше-меньше (<) естественным образом влияет на вывод программы. Тестировщики также могут заменять «или» на «и» или наоборот, что в корне меняет данное программное обеспечение и то, как оно интерпретирует информацию, которую предоставляют другие тестировщики и возможные пользователи.
3. Мутация утверждений
Мутации утверждений изменяют фактические утверждения кода, изменяя правила, которые приложение использует для принятия решений. Тестировщики могут изменить содержание этих строк, продублировать их или даже удалить, чтобы проверить, как программа-мутант влияет на функциональность программного обеспечения.
Эти мутации изменяют строительные блоки программы, потенциально удаляя целые функции или иным образом препятствуя их работе.
Устранение некоторой путаницы
— Мутационное тестирование в сравнении с регрессионным тестированием
Мутационное и регрессионное тестирование являются полезными подходами к тестированию программного обеспечения — понимание каждой из этих техник может улучшить общее обеспечение качества в компании.
1. Что такое регрессионное тестирование?
Регрессионное тестирование — это когда тестировщики исследуют программное обеспечение между различными итерациями, чтобы убедиться, что оно по-прежнему функционирует, несмотря на изменения в коде.
Даже незначительные изменения могут привести к серьезным проблемам без этих проверок, потенциально вызывая повторное появление предыдущих ошибок. Обычно это требует автоматизации из-за сложного характера повторного тестирования каждого компонента; по этой причине многие компании отказываются от регрессионных тестов.
Испытатели могут проводить такие проверки отдельных узлов, отдельных компонентов или всего изделия — точное количество необходимых тестов зависит в основном от проекта и его масштаба.
2. В чем разница между мутационными и регрессионными тестами?
Регрессионное тестирование в первую очередь фокусируется на проверке программы и ее функциональности, в то время как мутация кода вместо этого рассматривает то, как тестировщики реагируют на проблемы.
Первый способ также в основном осуществляется после нескольких итераций программы, в то время как проверка на мутацию может быть на любой стадии разработки — хотя обычно на ранних этапах тестирования.
И регрессионные, и мутационные тесты могут иметь дело с отдельными единицами кодирования и с тем, как незначительные изменения могут привести к значительным проблемам, над устранением которых должны работать тестировщики.
3. Заключение: Мутационное тестирование против автоматизированного тестирования
Автоматизация часто является ключевой частью мутационного тестирования из-за огромного количества проверок и блоков — это делает ее иногда жизненно необходимой для успешного и всестороннего процесса тестирования.
Компании обычно используют мутации кода для изучения своей сторонней платформы автоматизации и того, насколько хорошо она выявляет проблемные сценарии.
Сочетание тщательного каталога проверок мутаций с автоматизированным программным обеспечением может значительно увеличить охват фирмы и обеспечить более высокие результаты.
Хотя это две отдельные практики тестирования, они не должны противостоять друг другу. Интеграция роботизированной автоматизации процессов, например, может повысить эффективность стратегии компании по тестированию мутаций.
Что нужно, чтобы начать мутационное тестирование в программной инженерии?
Обычные требования для проведения комплексного тестирования на мутации включают:
1. Четкая стратегия тестирования
Группа тестирования должна разработать стратегию тестирования на мутации, включая то, какие компоненты и узлы являются наиболее важными для исследования.
Например, некоторые аспекты кода могут быть более неотъемлемыми для успеха и функциональности приложения; тестировщики должны убедиться, что есть достаточно мутаций, чтобы учесть это.
График мутационного тестирования компании также является важным моментом, поскольку это гарантирует, что у тестировщиков будет достаточно времени для исследования кода.
2. Отсутствие изменения масштаба
Даже при наличии тщательной стратегии, определяющей подход компании к тестированию на мутации, возможно проведение значительно большего количества тестов, чем необходимо.
Эффективность имеет первостепенное значение на протяжении всей этой процедуры, тем более что на других этапах тестирования команда может ожидать, пока она найдет и уничтожит мутации. Тестировщики должны четко определить сферу своей деятельности до того, как они начнут вносить изменения в код; это гарантирует, что все можно будет сделать в практические сроки.
3. Строгая документация
Каждый процесс тестирования выигрывает от полного документирования — часто в форме тестовых примеров, в которых подробно описаны отдельные проверки и все соответствующие мутанты.
Это иллюстрирует текущий прогресс команды по всем тестам, что особенно полезно для менеджеров и руководителей. Документирование каждой мутации кода также помогает тестировщикам вести четкий учет вносимых ими изменений.
Если команда по обеспечению качества пытается найти эти мутации во время тестирования, эти документы эффективно служат ключом к ответу.
4. Квалифицированные испытатели
Тестировщики, которые вносят изменения в код, должны хорошо разбираться в программном обеспечении, включая множество способов, которыми они могут внести изменения или даже сломать его.
Тестировщики мутаций примерно знают, как их изменения повлияют на приложение и как другие члены команды по обеспечению качества могут выявить мутировавший код.
Для этого, как правило, требуется хороший уровень знаний в области программирования. Чтобы мутационный анализ был эффективным, тестировщики программного обеспечения также должны обладать развитыми навыками и опытом тестирования.
5. Программное обеспечение для автоматизации
Стороннее программное обеспечение для автоматизации может быть необходимо перед мутационным тестированием из-за количества проверок, которые часто требует этот процесс. Это особенно актуально для сложных приложений с большим количеством кода и функций, которые необходимо изучить команде контроля качества.
Компании могут вводить такие проверки специально для того, чтобы проверить, как программное обеспечение для автоматизации реагирует на ошибки кодирования. Это может быть основной частью процесса испытания фирмы, чтобы решить, какие программы являются наиболее полезными.
Процесс мутационного тестирования
Обычные шаги, которые обычно выполняют тестировщики при проведении мутационного анализа, следующие:
1. Подготовьте тесты
Подготовка — это первый шаг любого процесса тестирования. Это включает в себя переговоры о точном проведении проверок и получение необходимого одобрения, например, от руководства компании и заинтересованных сторон.
Тестировщики должны разработать эти проверки таким образом, чтобы уложиться в сроки проекта и при этом охватить все основные компоненты. Планирование команды может определить эффективность мутаций кода.
2. Представить мутантов и дефекты
После завершения подготовки команда тестировщиков начинает изменять код, мутируя его в соответствии со своим планом для внесения конкретных ошибок. Эти ошибки должны быть относительно незначительными, поскольку это позволяет тестировщикам оценить способность остальной команды выявлять проблемы кодирования.
Мелкие неисправности также могут помочь организации проверить чувствительность программного обеспечения для автоматизации сторонних компаний.
3. Применить тестовые случаи
Тестовые примеры должны учитывать все возможные точки отказа в приложении — это может потребовать переписывания, если программа-мутант способна функционировать без ошибок.
Тестовые примеры программы представляют собой полный спектр проверок, которые проводят тестировщики; каждый из них должен помочь тестировщикам обнаружить любые скрытые мутации и быть неотъемлемой частью удобства использования приложения.
4. Сравните результаты
После добавления мутационных ошибок в программу и применения разработанных командой тестовых примеров, команда должна сравнить результаты исходной и мутационной программ.
Есть надежда, что на каждую успешную проверку в оригинале, найдется и ошибка в приложении-мутанте. Это демонстрирует способности как самих тестировщиков, так и используемых ими инструментов.
5. Действуйте на основе различных результатов
Если выходы исходной и мутантной программ отличаются, как ожидают тестировщики, это означает, что тестовый пример может успешно убить мутанта, продемонстрировав его присутствие.
После этого тестировщики могут приступить к работе, будучи уверенными в своей методологии и способности выявлять проблемы кодирования. Для этих конкретных тестов не требуется вносить изменения в тестовые примеры.
6. При необходимости поменяйте чехлы
Некоторые мутации кода могут привести к идентичным выводам в разных программах, что говорит о том, что тестовые примеры не могут успешно выделить все возможные ошибки в приложении.
В этих случаях мутант остается «живым» и может продолжать влиять на программное обеспечение таким образом, что тестировщики не имеют возможности решить эту проблему — это приводит к созданию лучших тестовых примеров.
Как создавать программы-мутанты
Программы-мутанты фактически идентичны оригинальным программам, за исключением одного незначительного изменения, которое может повлиять на функциональность приложения небольшими, но заметными способами.
Всесторонние и подробные тестовые примеры помогают тестировщику или программному комплексу точно определить эти изменения и вытекающие из них неисправности. Каждый случай, который проверяет компания, требует как оригинальной, так и мутировавшей программы, показывая эффекты каждого изменения в отдельности.
Программы обычно воспроизводят реалистичные ошибки, такие как опечатки в коде. Тестировщикам также важно избегать «мертворожденных» мутантов, которые мешают приложению выполняться — это слишком очевидно для тестировщиков.
Что изменить в программе-мутанте?
Как и в случае со многими переменными тестирования программного обеспечения, точные изменения, которые вносят тестировщики, зависят от приложения и его кода.
Существует три категории, которые охватывают большинство мутационных тестов: операнды, выражения и утверждения. Изменение любого из них может создать эффективную программу-мутанта — показать, как различные значения или правила влияют на саму логику, которую использует программа.
Эти категории связаны с тремя основными типами мутаций, которые исследуют тестировщики; это мутации решения, значения и утверждения соответственно. Изменения должны быть незначительными и не должны полностью препятствовать выполнению теста.
Лучшие практики тестирования на мутации
При проведении мутационного тестирования в контексте тестирования программного обеспечения стоит придерживаться определенных практик, которые гарантируют высокие результаты, например:
1. Максимизировать оценку мутации
Оценка мутаций программы — это процент мутантов, которые команда или приложение может успешно идентифицировать или «убить».
Например, если в раунде мутационного тестирования имеется 40 мутантов, а тестировщики обнаружили 36, оценка мутации составляет 90% — цель команды всегда состоит в том, чтобы обеспечить оценку 100%.
2. Выбирайте мутантов случайным образом
Хотя это может помочь определить приоритетность определенных компонентов и протестировать их более тщательно, тестировщикам также полезно случайным образом выбирать, каких мутантов добавить — особенно в сжатые сроки.
Пока эти проверки представляют все значимые типы мутаций, команда обеспечения качества может подтвердить свою общую стратегию тестирования программного обеспечения.
3. Сохраняйте изменения небольшими
Мутации кода должны представлять собой незначительные отклонения от исходной программы, поскольку это иллюстрирует, насколько вероятно, что тестировщик выявит определенные ошибки; незначительные проблемы кодирования также демонстрируют, насколько чувствительно их программное обеспечение.
Очень важно, чтобы специалисты по тестированию мутаций нашли баланс, позволяющий этим незначительным изменениям все же приводить к заметным дефектам.
4. Одна мутация на программу
Мутационное тестирование рассматривает отдельные тестовые случаи по отдельности, чтобы проверить, насколько они полны. Чтобы помочь в этом, каждая мутировавшая программа должна иметь только одно изменение по сравнению с оригиналом.
Программы с несколькими мутациями не могут эффективно сопрягаться с тестовыми примерами; мутации могут конфликтовать друг с другом.
5. Внимательно изучите программное обеспечение для автоматизации
Компании часто используют мутацию кода, чтобы проверить использование командой программного обеспечения для автоматизации и убедиться, что оно способно выявлять ошибки так же эффективно, как и тестировщик-человек.
Это означает, что выбор правильной платформы автоматизации может быть важным моментом, равно как и возможность интеграции роботизированной автоматизации процессов.
6. Используйте разработку, управляемую тестами
Разработка на основе тестирования (Test-driven development, TDD) относится к особой технике, которая учитывает требования к тестированию на каждом этапе разработки.
Это помогает обеспечить полную совместимость тестовых примеров с программным обеспечением, что позволяет ему легко пройти мутационные тесты и сделать лучшую программу, синхронизированную с процессами обеспечения качества.
Типы результатов мутационного теста
Существует несколько выходных данных, которые генерируют тесты на мутации, в том числе:
1. Программа-мутант
Мутантные программы являются естественным результатом этих проверок; тестировщики создают их, чтобы отразить текущие тестовые случаи и проблемы, которые они помогают обнаружить. Обычно программы отличаются от своего оригинального аналога лишь незначительно, но существенно, чтобы обеспечить большую надежность.
2. Живой или мертвый мутант
После тестирования мутация либо «убивается», либо остается «живой» — это просто относится к тому, успешно ли тестировщик (или его программное обеспечение) выявил проблему кодирования или нет.
Если мутант остается в живых, тестовые примеры могут нуждаться в серьезных изменениях.
3. Мутационный тест
Команда обеспечения качества использует отдельные тестовые случаи, специфичные для мутаций, которые регистрируют информацию о своих мутантных программах.
Это помогает обеспечить наличие у команды полных записей по каждой проверке; эти документы включают подробную информацию о мутациях и их влиянии на программу.
4. Оценка мутаций
Конечной целью любого теста на мутацию является достижение 100-процентной оценки мутации, при этом процедуры тестирования компании успешно обнаруживают и уничтожают каждого мутанта. Все, что меньше этого, говорит о том, что их тестовые примеры и общие процессы требуют улучшения для выявления проблемного кода.
Примеры мутационного тестирования
Вот три примера тестирования на мутации:
1. Пример мутации значений
Мутации значений подразумевают изменение константы или параметра, которые потенциально могут изменить ограничения программы. Например, программное обеспечение автоматизированной кассовой машины может использовать вес продукта питания для определения его цены.
Испытатели могут мутировать код этой программы, чтобы изменить параметры веса, сделав продукты намного дороже за каждую унцию или фунт. Тестер или тестовая платформа должны быть в состоянии определить влияние различных значений на эту программу.
Поскольку эта ошибка изменяет одну из основных функций программного обеспечения, тестовые примеры должны заметить эту ошибку и предупредить команду.
2. Пример мутации решений
Мутации решения включают в себя изменение арифметического или логического оператора, отмену или иное изменение того, как данное приложение реагирует на ввод пользователя. Возвращаясь к примеру с самоконтролем, эти машины могут отметить товар с неожиданно большим весом, возможно, из-за ошибки пользователя.
Код машины может сделать это с помощью решения «if (a>b)», где «b» отражает ожидаемый вес, а «a» соответствует фактическому весу. Команда может изменить это на «if (a≤b)», что изменит реакцию кассы; она будет отмечать товар даже при ожидаемом весе.
3. Пример мутации заявления
Мутации утверждений подразумевают изменение правила или вывода — это может включать даже полное удаление утверждений из приложения. Эти мутации могут быть более заметны, чем другие, в зависимости от частоты использования конкретного утверждения; очень важно, чтобы тестеры выбирали утверждение с умом.
Например, автомат самоконтроля может вывести предупреждение, если пользователь пытается приобрести товар с возрастными ограничениями. Без соответствующего утверждения машина может дать сбой или позволить любому клиенту купить любой товар.
Изменив утверждение и выделив его для команды, тестировщики могут убедиться, что их подход учитывает эти проблемы.
Типы ошибок и недочетов, выявляемых с помощью мутационного тестирования
Мутационные тесты в основном выявляют проблемы в самом процессе тестирования. Учитывая это, ниже приводится ряд проблем, которые могут быть выявлены с помощью этих проверок:
1. Неясные тестовые случаи
Если мутационный анализ выявляет низкий показатель мутации (или даже любой показатель ниже 100%), это говорит о том, что тестовые примеры команды не могут учесть все возможные ошибки, которые могут повлиять на приложение.
Они могут быть недостаточно конкретными или достаточно широкими, чтобы соответствовать требованиям команды. Эти документы должны охватывать все возможности, с которыми команда может столкнуться при тестировании программного обеспечения для обеспечения надежности.
2. Необученная команда тестировщиков
Тесты на мутации также могут проиллюстрировать способности команды, включая то, насколько хорошо они лично выявляют мутации и другие дефекты. Если они не могут обнаружить мутантов во всех программах, несмотря на четкие и подробные тестовые примеры, это может быть связано с тем, что тестировщики неправильно применяют эти примеры.
Программы-мутанты могут демонстрировать проблемы на протяжении всего процесса тестирования — это также может касаться неквалифицированных или необученных тестировщиков.
3. Неадекватное программное обеспечение для тестирования
Если компания использует эти проверки для проверки собственной платформы тестирования, она может обнаружить, что программное обеспечение не может точно определить или уничтожить мутантный код.
В ответ фирма может изучить другие варианты, пока не найдет один, совместимый с ее тестовыми примерами. Если программа автоматизации не сможет найти проблемный код, то, скорее всего, ей будет сложно выявить и другие проблемы, влияющие на работу программного обеспечения.
4. Неоптимизированный код
Мутационное тестирование может выявить проблемы, уже присутствующие в программном обеспечении. Например, тестировщики могут попытаться внести изменения в код, но при этом сами обнаружить критические дефекты.
Это служит еще одной важной перспективой программы, показывая, что мутация кода дает преимущества, выходящие за рамки процесса тестирования. Чем больше тестировщиков изучат этот код в любом качестве, тем больше проблем команда сможет обнаружить и устранить на этапе тестирования.
Общие метрики мутационного теста
Основные метрики, которые используют тесты на мутации, включают:
1. Убитые мутанты
Это относится к количеству мутантов, которые тестеры или программное обеспечение смогли выявить, отметив их существование, чтобы сотрудники могли найти такие мелкие недостатки, как эти.
Количество мутантов, которых убивают тестировщики, зависит от силы их тестовых примеров.
2. Живые мутанты
Живые мутанты — это те, которые не удается выявить тестировщику или программному обеспечению, что свидетельствует о пробелах, которые могут существовать в стратегии обеспечения качества команды. Если это происходит, тестировщики должны перекалибровать свой процесс и тестовые примеры, чтобы учесть этих мутантов и уничтожить их в будущих проверках.
3. Действительные мутанты
Эта метрика определяет количество мутаций, которые программа смогла успешно включить без ошибки времени выполнения, сводящей на нет тест и его эффективность.
Действительные мутанты — это те, которые могут быть исследованы тестером и программным обеспечением автоматизации; это связано с тем, что мутации относительно незначительны.
4. Недействительные мутанты
Значительные мутации могут повлиять на приложение настолько, что тестирование станет непрактичным или даже невозможным — поэтому полезно отслеживать, сколько «недействительных» мутантов присутствует в мутировавшей программе.
Их выявление позволяет тестировщикам редактировать или даже удалять их, гарантируя, что проверки включают только достоверные мутации.
5. Общее количество мутантов
Количество мутаций независимо от их достоверности — еще одна метрика, которую отслеживают тестеры; это позволяет им следить за мутантами и фиксировать их состояние.
Поскольку каждая мутация обычно включает отдельный тест, общее количество также служит для подсчета общего числа мутаций кода.
6. Оценка мутаций
Наиболее полезной метрикой для анализа мутаций обычно является показатель мутаций, который представляет собой процент достоверных мутантов, которые тестер или пакет автоматизации смог обнаружить.
Все, что меньше 100% обнаружения, может быть признаком неправильной процедуры тестирования.
7 Ошибки и подводные камни при внедрении мутантных тестов
Мутационное тестирование — это сложный процесс, который компании должны осуществлять с умом, чтобы избежать серьезных проблем или ошибок. Вот семь подводных камней, которых тестировщики должны стараться избегать при проведении тестов на мутации:
1. Неправильное масштабирование мутации
Масштаб является важным фактором при проведении мутационного анализа, поскольку этот процесс существует для того, чтобы тестировщики выявляли незначительные дефекты в приложении. Если мутация слишком очевидна для тестировщиков, это может оказаться неэффективным способом проверки их способности замечать или противодействовать проблемам программного обеспечения.
2. Недействительные или живые мутации
Даже при правильном масштабе многие мутации обладают лишь ограниченной эффективностью — например, если они не приводят к неисправности или приводят к проблеме, которая останавливает работу приложения.
Тестировщики должны помнить о том, как любое изменение в коде может повлиять на все программное обеспечение.
3. Несовместимые тестовые случаи
Тестовые случаи и мутации должны идеально сочетаться друг с другом, чтобы обеспечить последовательное и гармоничное тестирование. При принятии решения о том, какие мутации добавить или даже при разработке начальных тестовых примеров, команда обеспечения качества может работать над тем, чтобы гарантировать, что они сочетаются друг с другом и ведут к более плавному тестированию в целом.
4. Крайние сроки и расписание
Этапы тестирования различаются по продолжительности, но всегда должны соответствовать внутренним срокам компании. Фирмы, которые не составят надлежащий график проведения тестов на мутации, могут не успеть завершить процесс вовремя.
Прежде чем проект достигнет стадии тестирования, команда должна убедиться, что график тестирования является достаточно полным.
5. Неадекватное тестовое покрытие
Предприятия могут выбрать произвольный порядок введения кодексов, но важно, чтобы они охватывали широкий круг вопросов.
Чтобы убедиться, что тестировщики и программное обеспечение могут обнаружить каждый тип мутанта, проверки должны включать как минимум несколько мутаций значений, решений и утверждений.
6. Использование мутантов для тестирования программного обеспечения
Хотя мутационное тестирование предлагает новый взгляд на приложение, команды должны использовать этот метод только для проверки собственного процесса тестирования. Компания должна понимать точные возможности и ограничения мутационного тестирования; этот метод может быть успешным только наряду с другими программными проверками.
7. Слишком много мутантов
Крайне важно, чтобы компании обеспечивали широкое тестовое покрытие, но в процессе они могут внедрить слишком много мутантов. Каждая программа мутации требует значительных вычислительных мощностей, что ограничивает количество программ, которые организация может проводить одновременно.
Запуск слишком большого количества мутаций также может затруднить соблюдение сроков тестирования.
Контрольный список, советы и рекомендации по тестированию на мутации
Существует ряд дополнительных советов, которые могут помочь любой команде повысить успешность процесса тестирования на мутации, например:
1. Проверьте совместимость языков программирования
Как бесплатные, так и платные инструменты тестирования мутаций обычно специализируются на одном языке кодирования, поэтому важно, чтобы тестировщики выбрали инструмент, совместимый с приложением и платформой тестирования программного обеспечения.
Группа тестирования должна изучить множество вариантов, чтобы убедиться, что они используют программу, которая соответствует их бюджету, а также предпочитаемому языку кодирования.
2. Разумно распределяйте тесты
Разные члены группы тестирования, скорее всего, будут рассматривать разные аспекты приложения, что обычно соотносится с их конкретными сильными и слабыми сторонами и общим опытом.
Когда команда назначает тесты на мутацию каждому тестировщику, они должны помнить об этом, чтобы получить представление об их квалификации; это показывает, насколько хорошо будет проходить дальнейшее тестирование.
3. Тщательно выбирайте неисправности
Если в одной из последних итераций программы была ошибка, связанная со значением или утверждением, может быть полезно воспроизвести это и изучить, как реагирует команда или программа.
Это помогает гарантировать долговечность приложения и демонстрирует способность команды замечать предыдущие ошибки, если они повторяются — это ключевой компонент регрессионного тестирования.
4. Максимизировать вычислительную мощность
Поскольку для выполнения мутационных проверок может потребоваться много вычислительной мощности, это помогает максимально использовать аппаратное обеспечение компании.
Например, если некоторые машины имеют более высокие технические характеристики, может быть полезно запустить мутантов на этих устройствах. Это позволяет фирме избежать значительных задержек, к которым могут привести более медленные машины.
5. Не отвергайте живые мутации
Даже при строгом графике тестировщики должны работать над изменением и расширением своих тестовых примеров для борьбы с любыми мутантами, которые выживают в процессе.
Хотя эти ошибки могут показаться несущественными, если их не обнаружит программист или тестировщик, они все равно представляют собой неспособность тестовых примеров выявить все проблемы кодирования.
6. Изучить новое программное обеспечение для автоматизации
Если тестовые случаи команды достаточно подробны, но их автоматизированный комплекс тестирования не может успешно использовать их для выявления каждой мутации, то им может помочь другое программное обеспечение.
Существует множество бесплатных и платных платформ, и компании должны проверить все варианты, чтобы убедиться, что у них есть программное обеспечение, которое лучше всего подходит для долгосрочных тестовых случаев.
7. Синхронизируйте каждый процесс тестирования
Сотрудничество является основным компонентом любой стратегии тестирования — это помогает убедиться, что каждый процесс легко сочетается друг с другом, как это задумано командой.
Например, команда тестирования может разрабатывать свои тестовые случаи с учетом мутации, чтобы обеспечить более высокий уровень совместимости, облегчая тестировщикам проверку своей стратегии.
8. Используйте модульное тестирование
Юнит-тестирование позволяет команде обеспечения качества проверять отдельные части кода, что значительно упрощает тестирование и облегчает командам выявление проблем.
Эта комбинация может быть особенно полезна, если тестировщики беспокоятся о сроках, давая им возможность упростить свои проверки и улучшить общее покрытие — что приведет к гораздо более сильным тестам программного обеспечения.
9. Напишите подробные тестовые случаи
Тестовые примеры мутаций должны содержать адекватную информацию о мутанте и его влиянии на программу, а также о том, как команда тестирования или платформа обнаружила эти неисправности.
Предоставляя как можно больше деталей, тестировщик может лично проверить тестовый пример и убедиться, что команда точно знает, как обеспечить бесперебойное тестирование.
5 лучших инструментов для тестирования мутаций
Существует широкий спектр инструментов, которые могут помочь компаниям в выполнении их требований к тестированию мутаций. Как это часто бывает с приложениями для тестирования программного обеспечения, цены и функции варьируются от одной платформы к другой, поэтому организациям крайне важно выбрать ту, которая лучше всего соответствует их потребностям.
Некоторые из этих программ могут предлагать бесплатные аналоги или быть полностью с открытым исходным кодом; хотя за большее удобство обычно приходится платить.
Исходя из этого, вот пять лучших инструментов для тестирования на мутации.
1. Stryker
Stryker специализируется на мутациях JavaScript, значительно оптимизируя этот процесс, чтобы гарантировать отсутствие ложных срабатываний и снизить общее количество усилий, которые тестировщикам пришлось бы приложить для всех проверок на мутации.
Платформа Stryker интеллектуально оценивает программное обеспечение и использует собранную информацию для выявления строк или сегментов кода, которые выиграют от мутации. Это приложение поставляется с репортером с открытым текстом, который выводит краткую информацию о мутанте, включая информацию о том, смог ли Страйкер убить его.
2. PITest
PITest очень популярен во всем мире благодаря своей способности изменять байт-код Java и производить тысячи мутаций в секунду. Это приложение использует данные о покрытии тестов, чтобы мгновенно узнать, какие тесты могут убить мутанта.
Он запускает только те тесты, которые, как он знает, будут релевантными, ограничивая вычислительную мощность, которую обычно потребляет эта процедура. PITest также совместим с большинством форм плагина модульного тестирования Surefire, но может испытывать трудности с эффективным управлением зависимостями тестовых порядков.
3. Застраховать++
Insure++ имеет множество возможностей тестирования, включая анализ мутаций, что позволяет платформе выявлять неоднозначности в программе. В отличие от обычного тестирования мутаций, Insure++ отказывается от генерации дефектных мутантов и вместо этого создает функционально эквивалентные мутации, соответствующие исходному коду проекта.
Это необходимо для того, чтобы избежать неявных предположений, которые могут непреднамеренно ограничить процесс тестирования и могут не отражать реалистичные условия тестирования. Как следует из названия, платформа в основном совместима с программами на C++, и каждая функция выверена под этот язык.
4. Ералаш
Это приложение специализируется на JavaScript-фреймворке JUnit с исчерпывающими визуальными индикаторами того, как код реагирует на мутационный анализ. Jumble является платформой с открытым исходным кодом и работает внутри байт-кода Java-приложений, чтобы сократить время каждого цикла тестирования.
Аналогичные приложения, использующие исключительно исходный код программы, иногда могут выполнять эти проверки дольше из-за процесса перекомпиляции.
Jumble также использует эвристику для дальнейшей оптимизации мутационного тестирования, что упрощает последующее тестирование.
5. MutPy
MutPy поддерживает мутационные тесты для приложений на базе Python, предлагая полную поддержку мутаций высокого порядка, а также всесторонний анализ покрытия. Интерфейс этой программы прост в использовании на этапе вывода результатов, который наглядно показывает пользователям каждую существенную деталь проведенных командой тестов на мутации.
MutPy предлагает множество индивидуальных вариантов для тестировщиков, позволяя им откалибровать это программное обеспечение специально под свои требования. Платформа использует Abstract Syntax Trees, которые обеспечивают четкую структуру исходного кода приложения, что дает тестировщикам больше уверенности в своих мутациях.
Заключение
Мутация кода находит применение практически в любом процессе тестирования программного обеспечения, предлагая ряд очевидных преимуществ для компаний, которые внедряют эту технику — особенно на ранних этапах обеспечения качества.
Ни одна методология не обходится без проблем; это означает, что организациям необходимо грамотно рассмотреть преимущества мутационного анализа и в то же время убедиться, что он соответствует их обычным срокам разработки программного обеспечения.
Эти мутации дают командам тестирования возможность изучить собственный подход и определить его эффективность для обнаружения и исправления ошибок в исходном коде. Этот метод особенно совместим с процедурами автоматизации, позволяя фирмам проверять программное обеспечение, которому они доверяют обработку своих проверок.
Мутационное тестирование — это комплексный способ для команд по обеспечению качества разработать лучшее понимание собственных процессов и программного обеспечения, включая проблемы, которые в противном случае они не смогли бы обнаружить.
Поэтому командам тестирования крайне важно внимательно изучить эту технику, чтобы оценить, соответствует ли она потребностям организации — в том числе, полностью ли совместим выбранный ими инструмент мутации с их языком программирования. Программное обеспечение для автоматического тестирования ZAPTEST обладает множеством функций, которые позволяют ему проходить мутационные тесты, обеспечивая командам полную уверенность в его возможностях.
Версии Free и Enterprise предлагают высококачественный процесс тестирования, который может с легкостью учитывать изменения в коде.
Вопросы и ответы и ресурсы
1. Лучшие курсы по мутационному тестированию
Онлайн-курсы могут помочь начинающим тестировщикам изучить основы мутации кода или укрепить уже имеющиеся навыки опытных сотрудников службы обеспечения качества. Общие уроки тестирования программного обеспечения также могут принести много пользы тестировщикам. Лучшие онлайн-курсы для специалистов по тестированию мутаций включают:
— В статье PluralSight «Мутационное тестирование в Java с помощью PITest» рассматриваются конкретные способы изменения кода Java и то, как этот подход может принести пользу практическим процессам тестирования программного обеспечения.
— Курс Udemy «The Complete 2023 Software Testing Bootcamp» — это особенно актуальный курс, который иллюстрирует каждый ключевой компонент тестирования программного обеспечения, включая тестирование «белого ящика».
— Бесплатная книга Элисон «Тестирование программного обеспечения — стратегии покрытия условий и мутационного тестирования» подробно рассматривает, как грамотно применять мутационное тестирование.
— В курсе PluralSight «Основы модульного тестирования» рассматриваются преимущества и особенности модульного тестирования, помогая студентам понять точный процесс написания надежных модульных тестов.
— Введение в модульное тестирование» от Udemy — это еще один бесплатный курс, который дает четкое представление о модульном тестировании, а также о важности стратегий разработки на основе тестирования.
2. Каковы 5 лучших вопросов для собеседования по мутационному тестированию?
Существует ряд вопросов, которые фирмы могут задать кандидатам во время собеседования, чтобы проверить их опыт или понимание мутационного тестирования наряду с его основными принципами. Это позволяет компании быть уверенной в том, что она нанимает квалифицированного тестировщика, который может легко справиться с различными сценариями, связанными с мутациями.
Точные вопросы могут быть разными, но могут включать в себя просьбу высказать собственное мнение или привести примеры своих навыков мутации кода.
Пять лучших вопросов для собеседования по мутационному тестированию:
— С какими инструментами для тестирования мутаций вы уже имели опыт работы, если таковой имеется? Каковы основные особенности этого программного обеспечения?
— При проведении мутации кода, как бы вы работали, чтобы обеспечить здоровый баланс между скоростью и глубиной тестирования?
— В каких ситуациях мутационный анализ будет невозможен? Как бы вы проверили процедуру тестирования в этих сценариях?
— Если мутации значения удастся пережить процесс тестирования, каковы будут ваши действия, чтобы предотвратить повторение этого?
— Какую информацию вы бы включили в тестовый пример мутации, чтобы гарантировать, что ваши коллеги получат необходимые данные?
3. Лучшие учебные пособия YouTube по мутационному тестированию
На YouTube доступны бесплатные учебные пособия, вебинары и другие видеоматериалы, которые помогут расширить понимание тестера о тестировании на мутации. Среди наиболее полезных видео и сериалов на эту тему можно назвать следующие:
— Software Testing’s ‘Mutation Testing for Programs’, в котором приводятся практические примеры того, как мутация кода помогает программам, а также как писать тщательные тестовые случаи.
— Devoxx’s ‘Mutation Testing: Нарушил ли мой тест мой код?», в котором рассматривается, как мутационный анализ улучшает общие процедуры тестирования для всех видов программных проектов.
— Конференция NDC Conferences ‘Kill All Mutants! Intro to Mutation Testing», в котором исследуется, как комплекты тестирования могут извлечь пользу из мутации кода и ошибок, которые она помогает создать.
— GOTO Conferences «Мутационное тестирование в Python», в котором специально рассматривается, как приложения на базе Python могут применять мутационный анализ для достижения конкретных целей тестирования.
— Диего Пачеко «Java Mutation Testing With PITest», в которой аналогичным образом иллюстрируется использование мутации кода в программах JavaScript — с акцентом на программу мутации PITest.
4. Как проводить мутационные тесты?
Сочетание мутационного анализа с регрессионным тестированием и другими долгосрочными стратегиями позволяет компаниям обеспечить высокий стандарт гарантии качества даже после выпуска продукта.
Последующие обновления могут привести к изменениям кода, требующим дополнительных проверок. Мутационное тестирование показывает, что программное обеспечение для автоматизации и тестировщики последовательны в различных версиях одного и того же программного обеспечения, повторно подтверждая подлинность их конкретного подхода.
Новые функции требуют новых тестовых примеров, особенно если эти функции взаимодействуют с уже существующими.
Кроме того, использование разработки на основе тестирования позволяет членам команды планировать долговечность программного обеспечения и тестировать его совместимость в рамках цикла разработки.
