Цикл разработки программного обеспечения полон проблем, поскольку организации сталкиваются не только с сокращением времени выхода на рынок, но и с увеличением сложности приложений. Для обеспечения стабильности и функциональности приложений на всех этапах, от начальной разработки до запуска продукта и далее, организациям необходимо использовать различные виды тестирования.
Разумеется, по мере усложнения разработки возрастает и объем необходимого тестирования. Жизненно важным компонентом любого успешного сценария тестирования является управление тестовыми данными (TDM). Он позволяет организациям корпоративного уровня оптимизировать, автоматизировать и контролировать все используемые виды тестирования, снижая при этом затраты и повышая качество тестирования.
Что такое управление тестовыми данными (TDM) в тестировании программного обеспечения?
Управление тестовыми данными — это процесс создания, управления, внедрения и предоставления тестовых данных. Традиционно тестирование при разработке программного обеспечения проводилось в децентрализованных подразделениях, но TDM консолидирует тестирование под руководством одной команды, группы или отдела.
Услуги по управлению тестовыми данными позволяют собрать данные, необходимые для автоматизированного тестирования программного обеспечения, включая данные модульных, интеграционных и системных тестов. Она включает в себя получение и хранение соответствующих и точных данных, необходимых для автоматизированных тестов, уменьшая или устраняя необходимость участия человека в процессе тестирования (концепция, сходная с
роботизированная автоматизация процессов
).
С ростом популярности TDM расширился и стал включать в себя генерацию синтетических данных, маскировку данных, подмножество, искусственный интеллект и многое другое.
В конечном итоге управление данными тестирования повышает надежность и качество готового программного продукта, что приводит к превосходному опыту конечного пользователя. Кроме того, аспект TDM, связанный с маскировкой данных, помогает организациям соблюдать все применимые законы и нормативные акты о конфиденциальности данных.
Кто использует управление тестовыми данными (TDM) в тестировании программного обеспечения?
Хотя ответ «все» может показаться упрощенным и широким, правда заключается в том, что методы управления тестовыми данными приносят пользу всем типам программных приложений. Если тестирование происходит во время цикла разработки (а оно должно происходить), процессы TDM повышают точность, организованность и полезность результатов.
Поскольку любая разработка программного обеспечения требует тестирования, TDM принесет пользу практически любому проекту. Тем не менее, некоторые организации и приложения практически обязывают использовать стратегия управления тестовыми данными.
Приложениям корпоративного уровня требуется TDM из-за их сложных, многогранных потребностей в тестировании. TDM приносит пользу всем основным областям тестирования, встречающимся при разработке предприятия, включая функциональное, нефункциональное тестирование, тестирование производительности и автоматизацию.
Кроме того, процессы обфускации TDM делают его использование необходимым для приложений, в которых используются личные или конфиденциальные данные, включая любые сайты или приложения, связанные с электронной коммерцией, финансами и здравоохранением.
Для каких видов тестирования необходимо управление данными?
Управление данными сосредоточено на трех широких категориях тестирования.
1. TDM для тестирования производительности
Тестирование производительности измеряет производительность приложения при ожидаемой нагрузке, оценивая его отзывчивость, стабильность и масштабируемость. TDM позволяет сосредоточить тестирование на инфраструктуре и элементах, обращенных к пользователю, для достижения быстрой и надежной производительности.
Сайт лучшие инструменты управления испытаниями помогают увеличить количество циклов обновления и объем генерируемых данных.
2. TDM для функционального тестирования
В то время как тестирование производительности анализирует скорость и стабильность работы приложения, функциональное тестирование определяет, действует ли программное обеспечение в соответствии с заранее установленными требованиями. По сути: Делает ли программное обеспечение то, что должно? Услуги по управлению тестовыми данными помогают поддерживать контроль качества основного приложения, а также новых и обновленных функций.
TDM помогает уменьшить или предотвратить низкий охват, ограничения доступа, длительные сроки поиска данных, высокую зависимость и проблемы, связанные с размером тестовой среды.
3. TDM в автоматизированном тестировании
Стратегия тестовых данных для автоматизации и
гиперавтоматизация
Процессы позволяют выполнять операции без прикосновений, а также повышают точность за счет снижения вероятности человеческой ошибки. Процессы управления тестовыми данными используются во всех типах средств автоматизации управления тестовыми данными и тестирования, включая
автоматизация роботизированных процессов
.
A стратегия автоматизации тестовых данных помогает уменьшить медленное создание внешних данных, отсутствие доступа к динамическим данным и невозможность доступа к тестовой среде.
Преимущества управления тестовыми данными
Стратегии TDM, а также инструменты автоматизации управления тестовыми даннымиобеспечивают многочисленные преимущества для организаций корпоративного уровня.
1. Улучшает качество данных
Все тестирование в мире бесполезно, если оно построено на неполных, неактуальных или искаженных данных. TDM идентифицирует, управляет и хранит данные, необходимые для автоматизированного тестирования, чтобы вы могли убедиться в их правильности и полноте. Кроме того, благодаря отсутствию необходимости передачи данных между несколькими тестерами повреждение данных сводится к минимуму, а то и вовсе исключается.
2. Разрабатывает реалистичные данные
Результаты тестирования будут непродуктивными, если данные тестирования не будут точно представлять производственные данные. TDM позволяет организациям определять и хранить тестовые данные, которые являются зеркальным отражением данных, находящихся на производственных серверах, что гарантирует, что результаты тестирования отражают реальные функции программного обеспечения. Называемые «реалистичными данными», они похожи на производственные данные по формату, количеству и другим факторам.
3. Улучшает доступ к данным
Автоматизированное тестирование программного обеспечения эффективно только тогда, когда данные доступны в заранее установленное время. Например, средствам тестирования хранилища данных может потребоваться доступ к данным в определенное время для целей аутентификации. Поскольку TDM фокусируется на хранении данных, соответствующие данные всегда готовы, когда они требуются программному обеспечению для автоматизированного тестирования и производственному графику.
4. Обеспечивает соответствие данных
TDM помогает организациям поддерживать соответствие всем соответствующим государственным и другим нормативным требованиям, таким как
HIPPA
,
CCPA
и
GDPR
. Управление тестовыми данными GDPR и другие подобные нормативные акты требуют производственных данных, которые могут включать имена пользователей, данные о местоположении, личную информацию и многое другое — данные, которые необходимо маскировать до начала тестирования.
Сайт лучшие инструменты управления тестовыми данными позволяют организациям автоматически анонимизировать данные как для внутреннего, так и для внешнего использования в целях обеспечения соответствия требованиям.
Проблемы и подводные камни управления данными тестирования
Хотя управление тестовыми данными обеспечивает жизненно важные преимущества для разработки программного обеспечения на уровне предприятия, оно также имеет потенциальные подводные камни. Понимание проблем, связанных с TDM, позволяет организациям предвидеть и минимизировать их последствия.
1. Производственное клонирование является медленным и дорогостоящим
Для получения данных тестирования большинство организаций берут данные с производственных серверов, а затем анонимизируют их. Однако сбор производственных данных может отнимать много времени, особенно на поздних этапах разработки, когда приходится иметь дело с большими объемами кода.
После клонирования данных вам нужно где-то их хранить. Расходы на инфраструктуру и хранение данных могут быстро увеличиться. Вы можете снизить эти затраты с помощью нарезки данных. Вместо того чтобы клонировать все производственные данные, команда выделит меньший, репрезентативный «кусочек» данных.
2. Процессы обфускации увеличивают затраты и сложность
Как было описано ранее, пользовательские данные строго регламентированы, даже для внутреннего тестирования, и требуют анонимизации. К сожалению, процесс обфускации данных усложняет и удорожает процесс разработки.
Хотя скорость, точность и экономическая эффективность обфускации улучшаются благодаря инструментам автоматизированного тестирования, кривая обучения для соответствующих команд все равно будет существовать.
Топ признаков/причин, указывающих на то, что вашей организации необходимо управление тестовыми данными
Хотя управление тестовыми данными выгодно для всех разработчиков программного обеспечения, организации не всегда уделяют приоритетное внимание его внедрению. Следующие признаки указывают на то, что организация получит немедленную выгоду от внедрения TDM:
- Размер данных увеличивается «по всем направлениям», включая увеличение размера набора данных, общего количества наборов данных, экземпляров баз данных и вышестоящих систем.
- Значительная часть производственного времени уходит на подготовку данных для тестирования.
- Производственные данные значительно превышают количество доступных данных по испытаниям.
- Функции приложения работают с ошибками.
- Группы тестирования децентрализованы или должны полагаться на данные из центрального источника.
- Команды тестирования перегружены работой и не успевают удовлетворять потребности в тестировании.
- Подавляющее большинство данных о тестировании генерируется в восходящем потоке.
- Наборы данных для тестирования не являются многоразовыми или легко дублируемыми.
Управление тестовыми данными помогает уменьшить, исправить и предотвратить эти проблемы, а также другие.
Типы данных при тестировании программного обеспечения
Программные приложения генерируют невероятные объемы данных во время разработки и после выпуска. Сайт процесс управления тестовыми данными обычно фокусируется на следующих типах данных:
1. Производственные данные
Производственные данные генерируются реальными людьми, использующими ваше приложение. В зависимости от размера вашей пользовательской базы и сложности вашего приложения, объем производства может стать очень большим, очень быстро — вот почему его обычно делят на подмножества в зависимости от потребностей тестирования.
Обратите внимание, что производственные данные часто содержат конфиденциальную информацию, связанную с
вопросы соответствия
например, медицинские и финансовые данные, которые требуют обфускации.
2. Синтетические данные
Синтетические данные создаются либо вручную, либо с помощью автоматизированных средств тестирования. Он максимально точно имитирует реальное поведение пользователя.
Хотя это позволяет обойти необходимость размывания данных, синтетические данные имеют ограниченную полезность. В основном он используется для нагрузочного тестирования новых функций.
Точное создание синтетических данных требует высокой квалификации, хотя автоматизированный инструмент управления тестовыми данными облегчает эту задачу.
3. Достоверные данные
Достоверные данные — это термин, используемый для описания данных, полученных при отсутствии непредвиденных ошибок или инцидентов. Формат, значения и количество данных соответствуют ожиданиям предварительного тестирования. Достоверные данные проверяют так называемый «счастливый путь», то есть когда путешествие пользователя идет по предполагаемому маршруту.
4. Неверные данные
Неверные данные происходят по «несчастливому пути». Это данные, полученные в результате неожиданных сценариев и сбоев. Неверные данные также используются как часть тестирования хаоса, которое проверяет возможности приложения под потоком плохих данных.
Что означает «качественные данные» для целей тестирования программного обеспечения?
Тестирование с неполными или неактуальными данными часто хуже, чем полный отказ от тестирования, поскольку сделанные выводы и последующие действия будут неверными. Но как организации определяют «хорошие» данные для целей тестирования программного обеспечения? Ищите эти три характеристики качества данных:
1. Точность
Хорошие данные точно отражают реальные процедуры. Если используются маскированные производственные данные, они должны непосредственно относиться к тестируемой области — это не может быть случайная выборка поведения пользователя. Синтетические данные должны точно повторять реальное поведение пользователей, включая их непредсказуемый характер.
2. Валидность
Хорошие данные соответствуют цели вашего сценария тестирования. Например, большинство онлайн-покупателей не приобретают 200 единиц одного товара, поэтому обширное тестирование поведения системы в этом сценарии является нецелесообразным использованием ресурсов. Тем не менее, вы хотите проверить ситуацию, когда люди покупают десять товаров.
3. Исключения
Данные должны охватывать вопросы, которые, вероятно, будут возникать, но нечасто. Сценарий, когда покупатель оплачивает товар с помощью кода купона, является распространенным примером «исключительных данных» в сфере электронной коммерции.
Какие вопросы следует задать до и во время планирования управления тестированием данных?
Успех тестирования во многом определяется на этапе планирования. На начальных этапах командам следует задавать следующие вопросы.
1. Какие данные нам нужны?
Определение того, какие данные необходимо собрать, состоит из двух частей. Во-первых, он должен относиться к сценарию тестирования. Она также должна иметь отношение к бизнесу, чтобы помочь тестированию оставаться экономически эффективным и результативным.
2. Сколько данных нам нужно?
Слишком большой объем данных, например, копирование всех производственных данных, требует больших затрат, времени и чрезмерно усложняет процесс. С другой стороны, если размер выборки слишком мал, результаты будут неточными.
3. Когда нам нужны данные?
Планируется ли тестирование, или данные должны быть доступны по требованию? Команды должны согласовать все графики тестирования и циклы обновления до начала тестирования.
4. Какой тип тестирования необходим?
Автоматизация тестирования программного обеспечения требует стабильных, предсказуемых наборов данных. Если данные, необходимые для вашего теста, значительно отличаются друг от друга, ручное тестирование может дать лучшие результаты.
Этапы управления тестированием данных
Хотя специфика может быть разной, разработчики программного обеспечения на уровне предприятия обычно следуют следующим шагам при реализации стратегии TDM.
1. Создание данных — техника создания данных для тестирования и т.д.
Чтобы генерировать эффективные данные, необходимо учитывать их точность и актуальность. Воспроизводит ли он реалистичные сценарии? Кроме того, необходимо генерировать данные об исключениях, которые охватывают сценарии, выходящие за рамки типичных действий пользователей.
2. Обесценивание данных
Вам нужно будет маскировать все производственные данные, чтобы оставаться в рамках нормативных требований. Наиболее распространенные типы обфускации включают анаграммирование, шифрование, подстановку и обнуление. Если обфускация вручную возможна в ограниченном объеме, то маскировка на уровне предприятия требует автоматизированных инструментов.
3. Нарезка данных
Копирование всех производственных данных часто является пустой тратой ресурсов и времени. С помощью нарезки данных собирается управляемый набор соответствующих данных, что повышает скорость и экономическую эффективность тестирования.
4. Обеспечение
Обеспечение происходит после получения и маскировки данных. Во время инициализации данные перемещаются в тестовую среду. Автоматизированные инструменты обеспечивают возможность ввода тестовых наборов в тестовые среды с использованием интеграции CI/CD, с возможностью ручной настройки.
5. Интеграции
Тестовые данные из многочисленных источников в экосистеме ИТ должны быть интегрированы в конвейер CI/CD (конвейер CI/CD — это установленный процесс внесения изменений в код). Достижение интеграции требует ранней идентификации всех каналов передачи данных.
6. Версионирование
Создание версий тестовых данных помогает командам повторять тесты для оценки результатов. Кроме того, версии позволяют контролировать точные изменения параметров тестирования.
Характеристики и свойства управления тестовыми данными
TDM адаптируется к постоянно меняющимся потребностям любого проекта по разработке программного обеспечения. Однако, независимо от любых корректировок, необходимых для организации, процесс TDM также будет иметь следующие характеристики:
1. Повышение качества и достоверности данных
TDM повышает точность и реалистичность данных вашего тестирования, чтобы обеспечить действительно репрезентативную выборку поведения пользователей. Все процессы в конечном итоге ведут к одной цели: надежному, стабильному пользовательскому опыту.
2. Соблюдение нормативных требований
Программное обеспечение для управления данными испытаний обеспечивает достаточную маскировку всех производственных данных перед тестированием, что позволяет вашей организации соблюдать все нормы конфиденциальности. Соблюдая требования, вы избежите юридических последствий, включая штрафы, и негативных проблем с общественностью.
3. Улучшенное качество продукции
Обеспечение качества — это трудоемкий и дорогостоящий процесс, но он также необходим для запуска функциональных, удобных для пользователя приложений. Процессы TDM позволяют быстрее выявлять ошибки, повышать безопасность и проводить более разностороннее тестирование по сравнению с традиционным изолированным методом.
Как внедрить управление тестовыми данными
Программный продукт вашей организации будет диктовать различные особенности тестирования, но базовая реализация концепции управления тестовыми данными включает следующие пять шагов:
Шаг 1: Планирование
Начните с формирования группы тестирования данных, которая затем определит требования к управлению тестовыми данными и документации, а также разработает комплексный план тестирования.
Шаг 2: Анализ
На этапе анализа происходит консолидация требований к данным между командами. Резервное копирование, хранение и подобные логистические вопросы также реализуются.
Шаг 3: Дизайн
Этап проектирования — это последняя точка планирования перед началом тестирования. Команды должны определить все источники данных, а также завершить разработку планов по коммуникации, документированию и тестированию.
Шаг 4: Построить
Этап сборки — это место, где «резина встречается с дорогой». Планы выполняются. Во-первых, происходит маскировка данных. Далее выполняется резервное копирование данных. Наконец, проводится тестирование.
Шаг 5: Техническое обслуживание
После внедрение управления тестовыми даннымиКомпания должна будет поддерживать процессы на протяжении всего жизненного цикла проекта. Обслуживание TDM включает устранение неполадок, обновление существующих тестовых данных и добавление новых типов данных.
Стратегии управления тестовыми данными
Поскольку TDM затрагивает так много различных элементов процесса развития, он может быстро стать сложным. Следующие стратегии позволят вам оставаться сосредоточенным и постоянно совершенствовать свою организацию. подход к управлению тестовыми данными.
Стратегия 1: Улучшение предоставления данных
Стремитесь постоянно сокращать время доставки тестовых данных, используя
услуги по тестированию программного обеспечения
такие как
ZAPTEST
. Инструменты с возможностями DevOps оптимизируют тестирование с помощью подхода, не требующего больших усилий.
С помощью ZAPTEST пользователи могут выбрать последовательные, случайные или уникальные тестовые данные, используя автоматическое или определенное количество строк. Они могут указывать диапазон данных и политики «вне значений», что позволяет создавать реалистичные сценарии тестирования на основе данных для функционального тестирования (UI и API), тестирования производительности и RPA.
Кроме того, программное обеспечение для автоматизированного тестирования может заменить IT-системы продажи билетов системой самообслуживания для пользователей.
Стратегия 2: Снижение затрат на инфраструктуру
Объем тестовых данных растет в процессе разработки, что приводит к увеличению использования ресурсов инфраструктуры. Инструменты TDM могут помочь минимизировать сопутствующие расходы на инфраструктуру за счет консолидации данных, архивирования и процесса, называемого закладкой, который позволяет лучше использовать пространство тестовой среды.
Стратегия 3: Улучшение качества данных
Решения по управлению тестовыми данными постоянно повышают характеристики качества данных, фокусируясь на трех ключевых элементах: возрасте, точности и размере данных.
Как улучшить управление данными тестирования
TDM — это не статичный процесс. После первоначальной настройки вы будете стремиться к постоянному совершенствованию, следуя следующим рекомендациям передовые методы управления тестовыми данными.
1. Изолировать данные
Проводя тесты в контролируемой среде, вы можете изолировать данные, чтобы лучше сравнить ожидаемый и фактический результат. Изолирование данных также позволяет проводить параллельное тестирование.
2. Минимизация хранения базы данных
Хранение тестовых данных в базах данных снижает скорость автоматического тестирования и одновременно повышает сложность изоляции данных. Автоматизированные инструменты, а также такие методы, как нарезка данных, помогают сократить объем требуемого хранения базы данных.
3. Сосредоточьтесь на модульных тестах
Следуйте рекомендациям, установленным
пирамида автоматизации тестирования
который рекомендует делать модульные тесты примерно на 50% от всего тестирования. Юнит-тесты работают независимо от внешних данных, стоят гораздо меньше, чем другие виды тестирования, и относительно быстро реализуются.
Как измерить управление тестовыми данными
Следующие показатели дают важнейшую информацию об эффективности ваших стратегий TDM.
1. Имеется ли достаточное количество тестовых данных?
Вы можете измерить доступность тестовых данных, отслеживая время, затраченное на управление данными для использования в тестировании. Если данных недостаточно, время разработки замедляется, и разработчики будут чувствовать себя скованно.
2. Доступны ли тестовые данные для автоматизированного тестирования?
Автоматизированные процессы тестирования требуют данных по запросу. Отслеживайте процент доступных наборов данных, а также частоту обращения к ним и частоту их обновления.
3. Ограничены ли автоматизированные тесты данными тестирования?
Сколько автоматизированных тестов вы можете провести с текущими тестовыми данными? Если вам нужно провести больше тестов, чем позволяют ваши данные, вам нужно будет чаще собирать данные тестов.
Самый простой и точный способ получения этих измерений — это использование программное обеспечение для управления данными испытаний.
Проблемы конфиденциальности и как их предотвратить
Хотя управление тестовыми данными зародилось как метод сбора и анализа данных, со временем оно стало не менее важным для предотвращения различных проблем с конфиденциальностью.
1. Регулирование данных
TDM гарантирует, что ваша компания будет соответствовать требованиям CCPA, HIPAA, GDPR и всем другим соответствующим нормам конфиденциальности данных. Неспособность должным образом замаскировать данные во время тестирования может привести к значительным финансовым и даже потенциально уголовным штрафам.
2. Реакция потребителей
Утечки данных могут нанести существенный ущерб имиджу компании, поскольку пользователи будут неохотно использовать приложение, подверженное утечкам. Внедрение управления тестовыми данными помогает завоевать доверие пользователей, предотвращая утечки и гарантируя потенциальным пользователям, что их данные будут надежно защищены.
Заключение
Потребность в тестировании при разработке программного обеспечения будет только расти, становясь все более необходимой и более сложной. Чтобы оптимизировать процессы разработки, сохраняя при этом контроль качества, корпоративным организациям потребуется использовать программное обеспечение для управления тестовыми данными, а именно инструменты управления тестированием, такие как созданные компанией
ZAPTEST
.
Сайт лучшие инструменты управления тестовыми данными обеспечивают комплексное, оперативное создание и управление тестовыми данными, позволяя создавать превосходное программное обеспечение с большими функциональными возможностями, предоставляемыми быстрее, чем когда-либо прежде.
Часто задаваемые вопросы
Здесь приведены краткие ответы на распространенные вопросы об управлении тестовыми данными при тестировании программного обеспечения.
Что такое управление тестовыми данными?
Управление тестовыми данными — это создание, управление и анализ данных, необходимых для автоматизированных инструментов тестирования хранилища данных. Процессы сосредоточены на выявлении высококачественных данных, относящихся к определенным параметрам тестирования, их маскировке и передаче соответствующим командам.
Лучшие инструменты управления тестовыми данными автоматизируют многие процессы, такие как сбор, маскировка и хранение данных.
Что такое тестовые данные в тестировании программного обеспечения?
Значительная часть данных, используемых при тестировании программного обеспечения, — это производственные данные, которые генерируются реальными пользователями. В связи с правилами конфиденциальности производственные данные требуют маскировки перед использованием в тестировании.
Данные тестирования программного обеспечения также могут быть синтетическими, то есть искусственно созданными, чтобы как можно точнее воспроизвести поведение реальных пользователей. Он часто используется для тестирования новых функций или обновлений перед их запуском.
