O teste de mutação, ou mutação de programa, é uma técnica de teste de caixa branca que ajuda as empresas a desenvolver uma gama de novas verificações de software enquanto também auditam os processos actuais de um projecto. Esta é uma abordagem relativamente nova, que assegura que tanto os programadores como os testadores estão a trabalhar a um nível elevado.
Uma aplicação é apenas tão bem sucedida ou tão boa quanto os seus próprios procedimentos de garantia de qualidade – o que significa que é essencial que as organizações adoptem mais do que um tipo de técnica de teste.
A aprendizagem sobre testes de mutação poderia ajudar as equipas de teste a aumentar as suas competências e repertório geral – permitindo-lhes melhorar a fiabilidade destes controlos. Os testes de mutação são um processo complexo e sensível, por isso é vital que os testadores pesquisem exaustivamente os benefícios, desafios e programas de terceiros que possam garantir uma implementação bem sucedida.
Neste artigo, analisamos os testes de mutação e a forma como estes melhoram a garantia de qualidade, bem como outras considerações fundamentais para as equipas de teste de software.
O que é o Teste de Mutação no Teste de Software?
No contexto do software, teste de mutação significa quando uma equipa de garantia de qualidade introduz deliberadamente bugs – ou ‘mutações’ – no código de uma aplicação para ver como a equipa responde. O objectivo é criar um erro e garantir que o conjunto de testes é capaz de identificar cada alteração à aplicação.
Ao editar o código do programa, um testador de mutações pode mudar uma expressão verdadeiro/falso, apagar uma declaração, ou simplesmente alterar um valor. Estes erros podem manifestar-se de várias maneiras durante outras verificações de software; todos eles são facilmente detectáveis por uma equipa de testes experiente e qualificada.
As mutações em si são muitas vezes muito pequenas, permitindo ao testador que mutila o código observar como a equipa descobre estas alterações. Mudanças significativas seriam óbvias mesmo com um olhar rápido – por isso erros menores são tipicamente a melhor maneira de garantir que a empresa está a empregar práticas de teste robustas.
Esta técnica analisa especificamente a eficácia dos casos de teste de uma equipa; os documentos que contêm as informações do teste. A equipa pode também utilizar software de automação de terceiros para executar estas verificações, caso em que os testes de mutação analisam a forma como esta plataforma pode detectar falhas dentro do código do programa.
1. Quando é que precisa de fazer o teste de mutação?
Como o objectivo dos testes de mutação é validar e melhorar as actuais verificações de garantia de qualidade, é essencial que as equipas realizem este teste no início da fase de testes. Isto significa que se o conjunto de testes não for capaz de identificar e ‘matar’ os mutantes, há tempo suficiente para fazer mudanças radicais de qualquer escala nos procedimentos de teste da organização.
Como este é um método altamente versátil, os testes de mutação são aplicáveis a praticamente qualquer tipo de software, incluindo programas web, móveis, e desktop. Isto funciona melhor durante a fase de teste da unidade – que examina os componentes mais pequenos de uma aplicação.
2. Quando não é necessário fazer o Teste de Mutação
Há ainda alguns cenários em que a mutação e os testes gerais da caixa branca não são apropriados para um programa; isto pode ser devido a várias razões.
Por exemplo, se os testadores tiverem apenas como objectivo verificar com testes na caixa negra – nesse caso, concentrar-se-iam antes no front-end para essa sessão ou mesmo na fase de testes em geral.
Há algumas empresas que consideram que os testes da caixa branca são tediosos e demorados, o que poderia resultar em saltar o processo. Casos de teste fortes e bem verificados podem também contornar a necessidade de testes de mutação, uma vez que isto mostra a diligência e o empenho da equipa em procedimentos de teste precisos.
3. Quem está envolvido na Análise da Mutação?
Há uma série de diferentes papéis envolvidos na análise das mutações, incluindo:
– Testadores de mutação
Mutilam o código introduzindo vários defeitos menores para assegurar que o processo de teste está a funcionar como esperado. Estes testadores são geralmente membros preexistentes da equipa de garantia de qualidade.
– Testadores de aplicação
Verificam regularmente o código para detectar quaisquer problemas, identificando e corrigindo quaisquer mutações que encontrem. Realizam testes de caixa branca para encontrar erros de codificação – mas também utilizam outras técnicas.
– Desenvolvedores de aplicações
Concebem as características do programa e escrevem o código inicial. Também corrigem quaisquer problemas que os testadores encontram, assegurando que o software está num estado estável para lançamento.
– Gestores de projecto
Oferecem orientações sobre a aplicação e podem trabalhar ao lado dos testadores de mutação para verem a eficácia das suas próprias equipas. Asseguram padrões fortes em todas as fases de desenvolvimento.
O que testamos com os testes de mutação?
Os testes de mutação concentram-se mais nos processos de teste do que na aplicação. Para este efeito, examina o seguinte:
1. Casos de teste
Os casos de teste são documentos que contêm informação detalhada sobre cada teste, incluindo os resultados que os testadores esperam de cada verificação individual. Casos de teste consistentes e precisos fornecem aos membros da equipa de GQ uma ideia da saúde da aplicação e de como o seu desempenho se adequa às expectativas da empresa.
A informação nestes casos de teste pode determinar a capacidade de um testador de detectar certos defeitos – incluindo aqueles que os testes de mutação induzem.
2. Normas de ensaio
Os testes de mutação examinam de perto os actuais procedimentos de teste para assegurar que os membros da equipa possam identificar até questões menores que possam afectar a percepção do software por parte de um utilizador.
A diligência e competência dos testadores podem mesmo ser os principais factores que uma empresa avalia com estes controlos. Sem uma forte atenção aos detalhes em cada fase, os testadores podem perder mutações graves que estão presentes dentro do programa.
3. Unidades individuais de código
Os testes de mutação são comuns durante a unidade de testes parte do desenvolvimento. Isto analisa os componentes individuais para manter um forte enfoque em cada teste, optimizando significativamente todo o processo, assegurando que os testadores apenas trabalhem com as linhas de código relevantes.
Uma vez que os testes de mutação estão frequentemente no início da fase de garantia de qualidade e podem ser precursores de testes em grande escala, esta abordagem pode aumentar a velocidade sem comprometer a precisão.
4. Actualizações do programa
As actualizações de software implicam normalmente o reinício do processo de teste para garantir que não há novas falhas e que os erros anteriores não voltam a surgir.
A repetição de testes de mutação é uma parte chave disto e ajuda a promover padrões de teste consistentes após grandes mudanças de software.
A equipa de testes pode considerar desnecessárias verificações pós actualizações completas, mas a mutação de código pode assegurar que compreendem a importância dos testes em todas as fases de desenvolvimento.
5. Software de automatização
As empresas também realizam testes de mutação para inspeccionar os seus conjuntos de testes automatizados e certificar-se de que são capazes de detectar a mutação do código, entre outras questões.
Se uma aplicação de testes de terceiros puder identificar alterações externas a um programa e potencialmente até corrigi-lo, isto significa que a organização pode confiar no software para automatizar os testes.
É essencial que as empresas validem a sua abordagem de automatização; isto dá paz de espírito a cada testador.
6. Estratégia de automatização
A forma como a empresa integra a automatização nos seus processos é tão importante como o software que emprega; por exemplo, pode decidir implementar a hiperautomação. Isto permite à empresa decidir de forma inteligente qual a mutação e os testes de software a automatizar.
Sem uma forte estratégia de automatização que acomode a pura variedade presente no código de uma aplicação, alguns testes podem ser incompatíveis com a automatização – o que limita as capacidades da plataforma.
7. O pedido
Embora os testes de mutação se concentrem mais na equipa de testes do que na aplicação, podem ainda destacar informações significativas sobre este programa.
Por exemplo, os testes de mutação mostram como o software responde a alterações no seu código, incluindo se assinala estes problemas da forma que a equipa espera.
Esta abordagem não é uma técnica de teste de software, mas ainda é capaz de oferecer dados interessantes sobre as suas operações internas.
Ciclo de vida dos testes de mutação
O ciclo de vida habitual dos testes de mutação é o seguinte:
1. Análise dos requisitos
O primeiro passo de qualquer ciclo de vida de testes de mutação é descobrir exactamente o que requer validação e quais as partes do código da aplicação que mais beneficiariam com estes testes.
A equipa pode falar com programadores e executivos para determinar as suas preocupações e começar a abordá-las.
2. Planeamento de testes
Os testadores começam então a desenvolver as verificações exactas que pretendem implementar – neste caso, as mutações que oferecerão o melhor discernimento.
Esta fase determina a estratégia global de teste de mutação e como a equipa vai implementar eficazmente as mutações de código pretendidas.
3. Desenvolvimento de casos de teste
Os testes de mutação envolvem a sua própria documentação de teste separada, incluindo informação sobre o código mutado e como esperam que os testadores resolvam o problema.
A boa manutenção de registos assegura que todos os testes se processam como planeado e pode ajudar a equipa a manter o seu compromisso com elevados padrões de teste.
4. Configuração do ambiente de teste
Os testadores certificam-se de que a aplicação está pronta para mudar – e que têm um procedimento para abordar estas questões se outros membros da equipa não forem capazes de as detectar.
Como parte disto, os testadores de mutação estabelecem um servidor de teste e utilizam-no como tela para as suas mutações.
5. Execução de testes
Após completarem os seus preparativos, os provadores alteram o código em vários componentes da aplicação; depois esperam que outros provadores reparem e resolvam os problemas.
Tanto os testadores de mutação como os testadores de aplicação devem documentar isto exaustivamente para se certificarem de que os seus registos são robustos.
6. Fechamento do ciclo de ensaio
Uma vez terminados os testes, os testadores de mutação verificam duas vezes se todas as alterações feitas são fixadas pelos testadores de aplicação ou por eles próprios.
Depois fecham o ciclo de testes e analisam os resultados, discutindo como os testadores responderam aos vários erros juntamente com a sua capacidade de os corrigir.
7. Repetição de testes
Após o encerramento do ciclo de ensaio, poderá ser necessário reactivá-lo após futuras actualizações de software.
Cada alteração a uma aplicação altera a sua funcionalidade de alguma forma, resultando em novas possibilidades que a equipa deve ter em conta a fim de garantir que o seu processo de teste é suficientemente meticuloso.
Vantagens dos testes de mutação
Há muitos benefícios na realização de testes de mutação, incluindo
1. Valida o processo de teste
O principal benefício dos testes de mutação é a sua capacidade de mostrar como os testadores da empresa abordam o software – e a sua capacidade de reconhecer problemas de codificação. Isto também assegura que os casos de teste da equipa são suficientemente abrangentes e cobrem todos os testes necessários.
Os testes de mutação examinam o procedimento geral de teste de uma organização para garantir que funciona como esperado.
2. Assegura uma forte automatização
Os testes de mutação ajudam uma equipa a verificar se a sua plataforma de automatização de testes de terceiros é capaz de identificar adequadamente os erros dentro do código e tratá-los da forma correcta.
Se este software não os detectar mesmo após a calibração necessária, pode valer a pena trocar a plataforma por uma que possa passar facilmente nestes testes.
3. Boa cobertura
Cada processo de teste de software deve ser capaz de cobrir amplamente toda a aplicação para garantir que cada aspecto receba o nível de atenção necessário.
Os testadores de mutação podem alterar qualquer parte do código de um programa; uma boa implementação permite que estes testes abranjam todas as características principais. Isto ensina os testadores a procurar problemas em toda a aplicação.
4. Examina o código fonte
Como os testes de mutação envolvem trabalhar com o código e fazer alterações directas quando apropriado, este método também poderia enfatizar a escrita não optimizada presente na aplicação.
Os testadores de software só podem autorizar o programa e realizar a sua ronda normal de testes se o código do software for adequado; estas verificações permitem que os testadores realcem potenciais problemas futuros.
5. Conduz a um melhor software
Os testes de mutação ajudam a assegurar que os processos de teste da aplicação se adequam aos requisitos do programa.
Se uma análise de mutação revelar que a equipa de garantia de qualidade não está a seguir os procedimentos correctos ou que os casos de teste são inadequados, os testadores podem trabalhar para melhorar esta situação. Sem esta devida diligência, a organização pode libertar um produto defeituoso sem se aperceber disso.
6. Eficaz para diferentes línguas
Independentemente da língua que uma equipa de teste utilize para a sua aplicação, há opções de software disponíveis que podem oferecer análises de mutação de alta qualidade.
Isto inclui uma série de características de qualidade de vida que são específicas da língua, racionalizando os controlos para uma maior fiabilidade. Uma abordagem por medida para línguas diferentes aumenta a qualidade de cada teste individual.
7. Ferramentas altamente acessíveis
Muitas das plataformas de mutação de topo são completamente de fonte aberta – o que significa que oferecem mais personalização e uma gama abrangente de características de forma gratuita ou a custos drasticamente mais baixos.
Com menos barreiras em comparação com muitas outras formas de testes, a mutação de códigos é uma forma útil e conveniente para as empresas avaliarem, ou mesmo melhorarem, a sua abordagem de garantia de qualidade.
Desafios dos testes de mutação
Este processo também vem com numerosos desafios, como por exemplo:
1. Requer conhecimentos de programação
Para que os testadores possam executar estas verificações, devem ter uma compreensão abrangente do programa e do código, o que dificulta a contribuição dos testadores menos experientes.
Uma empresa só pode testar software de forma a adequar-se às competências existentes dos testadores; especificamente, a sua capacidade de editar uma aplicação e criar um erro de codificação corrigível.
2. Não adequado para testes de caixa negra
O teste da caixa negra consiste principalmente em olhar para a parte frontal de uma aplicação sem inspeccionar o seu funcionamento interno e código – isto é efectivamente incompatível com os testes de mutação.
Como resultado, estas verificações só são úteis para alguns testes em comparação com outros métodos; muitos dos quais podem oferecer uma cobertura muito maior de toda a fase de testes.
3. A concepção de testes de mutação consome muito tempo
A mutação de código pode ser um processo tedioso devido à necessidade da equipa de encontrar componentes individuais que valeriam a pena mutilar. Decidir quais as mutações a decretar pode demorar muito tempo; isto pode ser problemático quando outros tipos de testes estão efectivamente à espera que estas verificações validem completamente a abordagem de testes da empresa.
4. Pode exigir muitas mutações de código
Na mesma linha, projectos complexos justificam naturalmente um número mais elevado de mutantes para assegurar uma abordagem de teste abrangente. Isto adiciona mais tempo à fase de mutação e pode envolver muitas alterações manuais ao código da aplicação.
Sem software de automatização de testes de alta qualidade com capacidade de mutação de programas, isto poderia ser difícil para os testadores implementarem com sucesso.
5. Os testadores podem não notar erros
A maior preocupação que os testadores de mutações e gestores de projecto têm frequentemente quando implementam estas verificações é a possibilidade de os testadores de software (manuais ou automatizados) simplesmente não se aperceberem dos problemas.
Isto pode exigir uma revisão completa dos procedimentos de teste da empresa – embora isto ainda possa fornecer aos testadores informações vitais sobre os seus padrões de garantia de qualidade.
6. Pode ser memory-intensive
Os testes de mutação requerem geralmente um elevado poder de processamento, embora isto possa depender da aplicação que os testadores utilizam.
Se a organização tiver um número limitado de máquinas ou se estes dispositivos tiverem especificações baixas, poderão ter dificuldade em executar demasiadas mutações em simultâneo. Isto afecta o número de verificações que podem efectuar antes do final da fase de testes.
7. Os relatórios podem ser densos em termos de informação
Embora isto dependa principalmente da interface da ferramenta de teste de mutação de uma equipa, os relatórios por eles gerados podem ser difíceis de analisar.
Isto significa que leva tempo a classificar manualmente através deles e encontrar os resultados certos dos testes; alguns programas permitem aos utilizadores personalizar o processo de relatório real; isto varia de uma aplicação para outra.
Características dos testes de mutação
As principais características dos testes de mutação eficazes são:
1. Abrangente
Estas verificações cobrem todos os principais aspectos do software; as empresas com recursos suficientes podem até conceber um teste de mutação para cada caso de teste regular.
Embora o número exacto dependa das capacidades e preferências da organização, os testes de mutação eficazes cobrem uma vasta gama de características codificadas.
2. Estratégico
Do mesmo modo, as mutações do programa devem seguir uma estrutura clara e bem planeada que facilite os objectivos gerais de teste da organização.
Por exemplo, os erros que produzem podem aproximar-se de falhas de teste realistas que permitem aos testadores antecipar estas questões se elas ocorrerem naturalmente, melhorando significativamente o processo de teste da empresa.
3. Construtivo
O objectivo dos testes de mutação é identificar falhas nos testes – mostrando como a equipa poderia melhorar os seus controlos e corrigir erros menores à medida que estes surgem.
Os testadores de mutação devem dar prioridade aos mutantes ‘inválidos’ que afectam a funcionalidade do software, permitindo melhorias de teste mais claras em todo o projecto.
4. Preemptivo
Estas verificações existem para validar a estratégia global da equipa; isto significa que os testes de mutação funcionam melhor durante as fases iniciais de desenvolvimento.
Se os provadores notarem quaisquer falhas significativas na sua abordagem de garantia de qualidade, isto dá-lhes o tempo necessário para alterar os seus casos de teste para se certificarem de que são adequados.
5. Consistente
Os testes de mutação através de diferentes iterações de uma aplicação devem retornar resultados consistentes, ao mesmo tempo que acrescentam mais verificações para acomodar alterações de software.
Os controlos subsequentes devem incluir a mesma atenção aos detalhes, a fim de manter a sua eficácia – sem esta precisão, os testes de mutação podem tornar-se menos precisos.
6. Subtil
Os testes de mutação visam examinar a capacidade da equipa de garantia de qualidade para identificar defeitos de código através dos seus testes e plataformas de terceiros.
Isto significa que os testes não devem ser imediatamente óbvios para todos os que inspeccionam o software; o objectivo é examinar a forma como os testadores respondem a questões de código menores.
7. Colaborativo
Como em qualquer teste de software, a mutação de código é um processo que normalmente requer trabalho de equipa e comunicação para garantir o seu sucesso. A manutenção de um ambiente de colaboração ajuda a evitar silos de informação, o que pode resultar em erros de comunicação – isto também garante que cada testador se mantenha concentrado nas tarefas em mãos.
Tipos de testes de mutação
Os três principais tipos de testes de mutação são:
1. Mutação de valores
As mutações de valores alteram directamente os valores dentro do código, alterando um número ou letra para outro de uma forma que afecta a funcionalidade da aplicação.
Por exemplo, o testador poderia alterar os parâmetros exactos do programa, tais como os números a que responde. Os testadores de mutação podem visar especificamente os valores constantes de um software, uma vez que estes permanecem sempre os mesmos durante as operações normais.
2. Mutação de decisão
As mutações de decisão modificam os operadores aritméticos e lógicos, alterando efectivamente a forma como a aplicação responde a situações específicas.
Por exemplo, a troca de um operador maior que o operador (>) por um operador menor que o operador (<) afecta naturalmente a saída do programa. Os provadores podem também trocar ‘ou’ por ‘e’ ou vice-versa, alterando fundamentalmente este software e a forma como interpreta a informação que outros provadores e possíveis utilizadores fornecem.
3. Declaração Mutação
As mutações das declarações alteram as declarações reais do código, modificando as regras que uma aplicação utiliza para tomar as suas decisões. Os testadores podem alterar o conteúdo destas linhas, duplicá-las, ou mesmo eliminá-las para verificar como o programa mutante tem impacto na funcionalidade do software.
Estas mutações alteram os blocos de construção de um programa, removendo potencialmente funções inteiras ou impedindo-as de funcionar de outra forma.
Esclarecer alguma confusão
– Teste de Mutação vs. Teste de Regressão
Os testes de mutação e regressão são ambas abordagens úteis aos testes de software – a compreensão de cada uma destas técnicas pode melhorar a garantia de qualidade global de uma empresa.
1. O que é o Teste de Regressão?
O teste de regressão é quando os testadores examinam o software entre diferentes iterações para se certificarem de que ainda funciona apesar das alterações ao código.
Mesmo pequenas alterações podem resultar em problemas graves sem estas verificações, causando potencialmente o ressurgimento de bugs anteriores. Isto geralmente requer automatização devido à natureza complexa de retesar cada componente; muitas empresas renunciam aos testes de regressão por este motivo.
Os provadores podem realizar estes controlos em unidades individuais, componentes singulares, ou no produto inteiro – os testes exactos necessários dependem principalmente do projecto e da sua escala.
2. Qual é a diferença entre os testes de Mutação e Regressão?
Os testes de regressão concentram-se principalmente na verificação do programa e da sua funcionalidade, enquanto que a mutação do código analisa a forma como os testadores respondem aos problemas.
A primeira também tem lugar, em grande parte, após múltiplas iterações de um programa, enquanto as verificações de mutação podem estar em qualquer fase de desenvolvimento – embora normalmente nas primeiras partes da fase de testes.
Tanto os testes de regressão como os de mutação podem lidar com unidades de codificação individuais e como alterações menores podem resultar em questões significativas que os testadores devem trabalhar para rectificar.
3. Conclusão: Testes de Mutação vs. Testes Automatizados
A automatização é muitas vezes uma parte fundamental dos testes de mutação devido à grande variedade de controlos e unidades – isto torna-a por vezes vital para um processo de testes bem sucedido e abrangente.
As empresas utilizam geralmente mutações de código para examinar a sua plataforma de automatização de terceiros e a forma como identifica a escrita problemática.
A combinação de um catálogo completo de verificações de mutação com software automatizado pode aumentar significativamente a cobertura da empresa e garantir resultados mais fortes.
Embora se trate de duas práticas de ensaio distintas, não precisam de se opor uma à outra. A automatização integrada de processos robóticos, por exemplo, pode impulsionar a estratégia de testes de mutação de uma empresa.
De que precisa para iniciar os testes de mutação em engenharia de software?
Os requisitos habituais para testes de mutação abrangentes incluem:
1. Uma estratégia de ensaio clara
A equipa de teste deve estabelecer uma estratégia para os testes de mutação, incluindo quais os componentes e unidades que são mais importantes a examinar.
Por exemplo, certos aspectos do código podem ser mais integrais ao sucesso e funcionalidade de uma aplicação; os testadores devem certificar-se de que existem mutações suficientes para acomodar isto.
O calendário de testes de mutação da empresa é também uma consideração vital, uma vez que garante que os testadores têm tempo suficiente para investigar o código.
2. Nenhum arrepio de escopo
Mesmo com uma estratégia minuciosa que estabelece a abordagem da empresa aos testes de mutação, é possível que haja um número significativamente maior de testes do que o necessário.
A eficiência é primordial em todo este procedimento, especialmente porque outras fases de teste podem estar à espera que a equipa encontre e mate as mutações. Os testadores devem definir claramente o seu alcance antes de começarem a mutar o código; isto assegura que tudo é controlável dentro de um período de tempo prático.
3. Rigorosa documentação
Cada processo de teste beneficia de documentação completa – muitas vezes sob a forma de casos de teste que detalham as verificações individuais e quaisquer mutantes relevantes.
Isto ilustra o progresso actual da equipa ao longo dos testes, o que é especialmente útil para gestores e executivos. A documentação de cada mutação de código também ajuda os testadores a manter registos claros relativamente às alterações que fazem.
Se a equipa de garantia de qualidade luta para encontrar estas mutações durante os testes, estes documentos servem efectivamente como uma chave de resposta.
4. Testadores qualificados
Os testadores que mutilam o código devem ter uma forte compreensão do software – incluindo as muitas formas de mutação ou mesmo de o quebrar.
Os testadores de mutação sabem aproximadamente como as suas alterações terão impacto na aplicação e como outros membros da equipa de garantia de qualidade poderão identificar o código mutante.
Isto requer geralmente um bom nível de conhecimento de programação. Para que a análise da mutação seja eficaz, os testadores do software também devem ter competências e experiência de teste bem desenvolvidas.
5. Software de automatização
O software de automatização de terceiros pode ser uma necessidade antes dos testes de mutação devido ao número de verificações que este processo requer frequentemente. Isto é especialmente verdade para aplicações complicadas com mais código e características a serem examinadas pela equipa de garantia de qualidade.
As empresas podem decretar estas verificações especificamente para testar como o software de automação responde a erros de codificação. Isto pode ser uma parte central do processo de julgamento da empresa para decidir quais os programas mais úteis.
Processo de teste de mutação
Os passos habituais que os testadores costumam seguir quando efectuam análises de mutação são:
1. Preparar os testes
A preparação é o primeiro passo de qualquer processo de teste. Isto inclui negociar as verificações exactas para implementar e obter qualquer aprovação necessária – tal como por parte dos executivos da empresa e das partes interessadas.
Os testadores devem desenvolver estas verificações de forma a acomodar a linha temporal do projecto, cobrindo simultaneamente todos os componentes principais. O planeamento da equipa pode determinar a eficácia das suas mutações de código.
2. Introduzir mutantes e falhas
Após a conclusão dos preparativos, a equipa de teste começa a alterar o código, mutando-o de acordo com o seu plano para introduzir falhas específicas. Estes erros devem ser relativamente menores, uma vez que isto permite aos testadores avaliar a capacidade do resto da equipa para identificar problemas de codificação.
As falhas menores podem também ajudar a organização a inspeccionar a sensibilidade do seu software de automação de terceiros.
3. Aplicar os casos de teste
Os casos de teste devem ter em conta todos os pontos de falha possíveis numa aplicação – isto pode exigir uma reescrita se o programa mutante for capaz de funcionar sem quaisquer erros.
Os casos de teste de um programa representam toda a gama de verificações que os testadores conduzem; cada um deles deve ajudar os testadores a descobrir quaisquer mutações ocultas e ser parte integrante da usabilidade da aplicação.
4. Comparar os resultados
Após adicionar erros mutacionais ao programa e aplicar os casos de teste da equipa, a equipa deve comparar os resultados tanto do programa original como do programa mutante.
A esperança é que para cada verificação bem sucedida no original, haja também um erro na aplicação mutante. Isto demonstra as capacidades tanto dos testadores como das ferramentas que eles utilizam.
5. Agir com base em diferentes resultados
Se houver diferentes resultados entre o programa original e o mutante como os testadores esperam, isto significa que o caso de teste pode matar com sucesso o mutante, demonstrando a sua presença.
Os testadores podem então proceder com confiança na sua metodologia e na sua capacidade de identificar problemas de codificação. Não são necessárias alterações aos casos de teste para estes testes em particular.
6. Alterar os casos, se necessário
Algumas mutações de código podem resultar em conclusões idênticas nos diferentes programas, sugerindo que os casos de teste são incapazes de realçar com sucesso todos os erros possíveis na aplicação.
Nestes casos, o mutante permanece “vivo” e pode continuar a afectar o software de formas que os testadores não têm uma estrutura para tratar – isto leva à criação de melhores casos de teste.
Como criar programas mutantes
Os programas mutantes são efectivamente idênticos aos programas originais, à excepção de uma pequena alteração que pode ter impacto na funcionalidade de uma aplicação de forma pequena mas perceptível.
Casos de teste abrangentes e detalhados ajudam um testador ou um conjunto de software a identificar estas alterações e as suas falhas resultantes. Cada caso que a empresa está a verificar requer um programa original e mutante, mostrando os efeitos de cada alteração isoladamente.
Os programas tipicamente reproduzem erros realistas, tais como erros tipográficos de codificação. É também importante para os testadores evitar mutantes ‘natimortos’ que impedem a execução da aplicação – isto é demasiado óbvio para os testadores.
O que mudar num programa mutante?
Tal como acontece com muitas variáveis de teste de software, as alterações exactas que os testadores fazem dependem da aplicação e do seu código.
Há três categorias que abrangem a maioria dos testes de mutação: operandos, expressões, e declarações. Alterar qualquer um destes pode criar um programa mutante eficaz – mostrando como os diferentes valores ou regras afectam a própria lógica que um programa utiliza.
Estas categorias dizem respeito aos três principais tipos de mutações que os testadores investigam; estas são mutações de decisão, de valor e de declaração, respectivamente. As alterações devem ser menores e não devem impedir totalmente a execução de um teste.
Melhores práticas para testes de mutação
Ao realizar testes de mutação em contexto de teste de software, existem certas práticas que vale a pena seguir e que asseguram resultados fortes, tais como
1. Maximizar a pontuação da mutação
A pontuação de mutação de um programa é a percentagem de mutantes que uma equipa ou aplicação pode identificar com sucesso ou ‘matar’.
Por exemplo, se uma ronda de testes de mutação tiver 40 mutantes e os testadores encontrarem 36, a pontuação da mutação é de 90% – o objectivo da equipa é sempre assegurar uma pontuação de 100%.
2. Escolher os mutantes aleatoriamente
Embora possa ajudar a dar prioridade a certos componentes e a testá-los mais detalhadamente, também é útil que os testadores seleccionem aleatoriamente quais os mutantes a acrescentar – especialmente num prazo apertado.
Desde que estas verificações representem todos os tipos significativos de mutação, a equipa de garantia de qualidade pode validar a sua estratégia global de testes de software.
3. Manter as mudanças pequenas
As mutações de código devem representar pequenos desvios em relação ao programa original, pois isto ilustra a probabilidade de um testador identificar certos erros; os pequenos problemas de codificação também demonstram o quão sensível é o seu software.
É vital que os testadores de mutações encontrem um equilíbrio que permita que estas pequenas alterações ainda produzam falhas perceptíveis.
4. Uma mutação por programa
Os testes de mutação analisam os casos de teste individuais isoladamente para inspeccionar a sua abrangência. Para ajudar a resolver este problema, cada programa mutante deve ter apenas uma alteração em relação ao original.
Programas com mutações múltiplas podem não ser capazes de emparelhar eficazmente com casos de teste; as mutações podem entrar em conflito umas com as outras.
5. Considerar cuidadosamente o software de automação
As empresas utilizam frequentemente a mutação de código para validar a utilização de software de automação pela equipa e certificar-se de que esta é capaz de identificar erros tão eficazmente como um testador humano.
Isto significa que a selecção da plataforma de automação correcta pode ser uma consideração importante, bem como a possibilidade de integrar a automatização de processos robóticos.
6. Usar desenvolvimento orientado por testes
Desenvolvimento orientado por testes (TDD) refere-se a uma técnica específica que tem em conta os requisitos de testes em cada fase de desenvolvimento.
Isto ajuda a garantir que os casos de teste são totalmente compatíveis com o software – permitindo-lhe passar facilmente nos testes de mutação e fazer um melhor programa que se sincroniza com os processos de garantia de qualidade.
Tipos de resultados de um teste de mutação
Há vários resultados que os testes de mutação geram, incluindo
1. Programa Mutante
Os programas mutantes são um resultado natural destas verificações; os testadores criam-nas para reflectir os seus casos de teste actuais e as questões que ajudam a detectar. Os programas geralmente só se desviam do seu homólogo original de uma forma menor mas significativa para assegurar uma maior fiabilidade.
2. mutante vivo ou morto
Após os testes, uma mutação ou é “morta” ou permanece “viva” – isto refere-se simplesmente a se o testador (ou o seu software) identifica com sucesso um problema de codificação ou não.
Se o mutante permanecer vivo, os casos de teste podem necessitar de alterações graves.
3. Caso de teste de mutação
A equipa de garantia de qualidade utiliza casos de teste específicos de mutação separados que registam informações sobre os seus programas mutantes.
Isto ajuda a garantir que a equipa tem registos completos para cada verificação; estes documentos incluem detalhes sobre as mutações e os seus efeitos no programa.
4. Pontuação da mutação
O objectivo final de qualquer teste de mutação é atingir uma pontuação de mutação de 100% com os procedimentos de teste da empresa a localizar e matar com sucesso todos os mutantes. Qualquer coisa menos do que isto sugere que os seus casos de teste e processos gerais requerem melhorias para identificar códigos problemáticos.
Exemplos de testes de mutação
Aqui estão três exemplos de testes de mutação:
1. Exemplo de mutação de valores
As mutações de valor implicam a alteração de uma constante ou parâmetro que pode potencialmente alterar os limites do programa. Por exemplo, o software de uma caixa automática pode utilizar o peso de um artigo alimentar para determinar o seu preço.
Os testadores podem alterar o código por detrás deste programa para alterar os parâmetros de peso, tornando os alimentos muito mais caros por cada onça ou libra. O testador ou plataforma de teste deve ser capaz de identificar os efeitos dos diferentes valores sobre este programa.
Como este erro altera uma das principais características do software, os casos de teste devem reparar neste erro e alertar a equipa.
2. Exemplo de mutação de decisão
As mutações de decisão envolvem a alteração de um operador aritmético ou lógico, invertendo ou alterando de outra forma a forma como esta aplicação responde à entrada do utilizador. Voltando ao exemplo de um auto-controlo, estas máquinas podem assinalar um item com um peso inesperadamente elevado, possivelmente devido a um erro do utilizador.
O código da máquina poderia fazê-lo através de uma decisão “se (a>b)” – com “b” reflectindo o peso esperado, e “a” correspondendo ao peso real. A equipa pode mudar isto para “se (a≤b)”, o que muda a forma como a caixa responde; assinalaria o item mesmo com o peso esperado.
3. Exemplo de mutação de declarações
As mutações de declarações envolvem a alteração de uma regra ou saída – isto pode até incluir a eliminação total de declarações da aplicação. Estas mutações podem ser mais perceptíveis do que outras, dependendo da frequência da declaração específica; é vital que os testadores seleccionem a declaração sabiamente.
Por exemplo, uma máquina de auto-verificação pode exibir um aviso se um utilizador tentar comprar um artigo com limite de idade. Sem a declaração correspondente, a máquina pode colidir ou permitir que qualquer cliente compre qualquer artigo.
Mutando a declaração e destacando-a para a equipa, os testadores podem verificar se a sua abordagem acomoda estas questões.
Tipos de erros e bugs detectados através de Teste de Mutação
Os testes de mutação descobrem principalmente problemas dentro do próprio processo de teste. Com isto em mente, eis uma série de questões que estes controlos podem ajudar a identificar:
1. Casos de teste pouco claros
Se a análise da mutação revelar uma pontuação baixa de mutação (ou mesmo qualquer pontuação abaixo dos 100%), isto sugere que os casos de teste da equipa são incapazes de contabilizar todas as falhas possíveis que possam afectar uma aplicação.
Podem não ser específicos ou suficientemente amplos para corresponder às exigências da equipa. Estes documentos devem incluir todas as possibilidades que a equipa possa encontrar ao testar o software para garantir a fiabilidade.
2. Equipa de testes sem formação
Os testes de mutação podem também ilustrar as capacidades da equipa, incluindo a sua capacidade de identificar pessoalmente mutações e outras falhas. Se não conseguirem localizar os mutantes através dos programas apesar dos casos de teste claros e detalhados, isto deve-se potencialmente ao facto de os testadores não aplicarem correctamente estes casos.
Os programas mutantes podem mostrar problemas durante todo o processo de teste – isto pode também incluir testadores não qualificados ou não treinados.
3. Software de teste inadequado
Se uma empresa utiliza estas verificações para inspeccionar a sua própria plataforma de testes, pode descobrir que o software não consegue identificar com precisão ou matar o código mutante.
A empresa pode responder investigando outras escolhas até encontrar uma compatível com os seus casos de teste. Se o software de automatização não encontrar código problemático, provavelmente terá dificuldade em identificar outras questões que estejam a afectar o software.
4. Código não optimizado
Os testes de mutação podem revelar problemas já presentes no software. Por exemplo, os testadores podem tentar mutilar o código mas descobrir eles próprios defeitos críticos.
Isto serve como outra perspectiva importante do programa, mostrando que a mutação do código proporciona benefícios para além do processo de teste. Quanto mais os testadores examinarem este código em qualquer capacidade, mais problemas a equipa pode descobrir e resolver ao longo da fase de testes.
Métricas de Teste de Mutação Comum
As principais métricas que os testes de mutação utilizam incluem:
1. Mutantes mortos
Isto refere-se ao número de mutantes que os testadores ou software foram capazes de identificar, assinalando a sua existência para garantir que o pessoal possa encontrar falhas menores como estas.
A quantidade de mutantes que os testadores matam depende da força dos seus casos de teste.
2. Mutantes vivos
Os mutantes vivos são aqueles que o testador ou software não consegue identificar – mostrando quaisquer lacunas que possam existir na estratégia de garantia de qualidade da equipa. Se isto acontecer, os testadores devem recalibrar o seu processo e testar casos para acomodar estes mutantes e matá-los em verificações futuras.
3. mutantes válidos
Esta métrica determina a quantidade de mutações que o programa foi capaz de incluir com sucesso sem um erro de tempo de execução, anulando o teste e a sua eficácia.
Os mutantes válidos são aqueles que o testador e o software de automação podem examinar; isto deve-se ao facto de as mutações serem relativamente menores.
4. Mutantes inválidos
Mutações significativas podem afectar a aplicação o suficiente para tornar os testes impraticáveis ou mesmo impossíveis – por isso ajuda a rastrear quantos mutantes ‘inválidos’ estão presentes no programa mutante.
A identificação destes permite aos testadores editá-los ou mesmo removê-los, assegurando que as verificações apenas incluem mutações válidas.
5. Total de mutantes
O número de mutações independentemente da sua validade é outra métrica que os testadores rastreiam; isto permite-lhes monitorizar os mutantes e registar o seu estado.
Como cada mutação envolve normalmente um teste separado, o total também serve como contagem para o número de mutações de código global.
6. Pontuação da mutação
A métrica mais útil para a análise da mutação é geralmente a pontuação da mutação, que é efectivamente a percentagem de mutantes válidos que o testador ou o conjunto de automatização foi capaz de detectar.
Qualquer coisa menos de 100% de detecção pode ser um sinal de procedimentos de teste inadequados.
7 Erros e armadilhas na implementação de testes de mutantes
Os testes de mutação são um processo complexo que as empresas devem implementar sabiamente a fim de evitar problemas ou erros graves. Aqui estão sete armadilhas que os testadores devem trabalhar para evitar ao realizar testes de mutação:
1. Escala de mutação imprópria
A escala é uma consideração importante durante a análise da mutação, uma vez que este processo existe para garantir que os testadores identificam pequenas falhas dentro de uma aplicação. Se a mutação for demasiado óbvia para os testadores, esta pode não ser uma forma eficaz de verificar a sua capacidade de notar ou contrariar problemas de software.
2. Mutações inválidas ou vivas
Mesmo na escala correcta, muitas mutações só oferecem eficácia limitada – por exemplo, se não conduzirem a uma falha, ou se resultarem num problema que impeça a aplicação de funcionar.
Os testadores devem estar atentos à forma como qualquer alteração de codificação pode afectar todo o software.
3. Casos de teste incompatíveis
Os casos de teste e as mutações devem ser perfeitamente emparelhados para assegurar testes consistentes e harmoniosos. Ao decidir quais as mutações a acrescentar ou mesmo durante a concepção dos casos de teste iniciais, a equipa de garantia de qualidade pode trabalhar para garantir que estas se encaixem e conduzam a testes mais fluidos em geral.
4. Prazos e calendários
As fases de teste variam em comprimento mas devem sempre respeitar os prazos internos da empresa. As empresas que não programarem adequadamente os seus testes de mutação podem não ser capazes de completar o processo a tempo.
Antes de um projecto chegar à fase de teste, a equipa deve assegurar-se de que o calendário de testes é suficientemente abrangente.
5. Cobertura de teste inadequada
As empresas podem optar por implementar as suas mutações de código de forma aleatória – mas ainda assim é importante que abranjam uma vasta gama de questões.
Para garantir que tanto os testadores como o software possam detectar todo o tipo de mutante, as verificações devem incluir vários valores, decisões, e mutações de declaração no mínimo.
6. Utilização de mutantes para testar o software
Embora os testes de mutação ofereçam uma nova perspectiva sobre uma aplicação, as equipas só devem utilizar este método para verificar o seu próprio processo de teste. A empresa precisa de compreender as capacidades e limitações exactas dos testes de mutação; esta técnica só pode ser bem sucedida juntamente com outras verificações de software.
7. Demasiados mutantes
É primordial que as empresas garantam uma ampla cobertura de testes, mas podem implementar demasiados mutantes no processo. Cada programa de mutação requer uma quantidade significativa de poder computacional – limitando quantos uma organização pode conduzir simultaneamente.
A execução de demasiadas mutações pode também tornar mais difícil o cumprimento dos prazos de teste.
Lista de verificação, dicas e truques de teste de mutação
Existem várias dicas adicionais que poderiam ajudar qualquer equipa a melhorar o sucesso do seu processo de teste de mutação, como por exemplo
1. Verificar a compatibilidade da linguagem de programação
Tanto as ferramentas de teste de mutação gratuitas como as pagas são tipicamente especializadas numa linguagem de codificação – o que torna importante que os testadores seleccionem uma ferramenta compatível com a aplicação e a plataforma de teste de software.
A equipa de teste deve investigar muitas opções para garantir que utilizam um programa que se adequa ao seu orçamento, bem como à sua linguagem de codificação preferida.
2. Distribuir sabiamente os testes
Diferentes membros da equipa de teste irão provavelmente analisar diferentes aspectos da aplicação, geralmente correlacionados com os seus pontos fortes específicos, fraquezas e experiência global.
Quando a equipa atribui testes de mutação a cada testador, deve ter isto em mente para ter uma ideia da sua proficiência; isto mostra até que ponto os testes adicionais irão provavelmente correr bem.
3. Escolher cuidadosamente as falhas
Se uma iteração recente do software tivesse um bug envolvendo um valor ou declaração, poderia ajudar a replicá-lo e examinar a forma como a equipa ou programa responde.
Isto ajuda a garantir a longevidade da aplicação e ilustra a capacidade da equipa de detectar erros anteriores se estes se repetirem – esta é uma componente chave dos testes de regressão.
4. Maximizar a potência computacional
Uma vez que as verificações de mutação podem exigir muito poder computacional para funcionar, ajuda a tirar o máximo partido do hardware da empresa.
Por exemplo, se certas máquinas tiverem especificações mais fortes, poderia ser útil executar os mutantes nestes dispositivos. Isto permite à empresa evitar quaisquer atrasos significativos a que máquinas mais lentas possam levar.
5. Não dispensar as mutações vivas
Mesmo com um calendário rigoroso, os testadores devem trabalhar para modificar e alargar os seus casos de teste para combater quaisquer mutantes que sobrevivam ao processo.
Embora estes erros possam não parecer significativos se o software ou o testador não os descobrir, ainda assim representam uma falha dos casos de teste para identificar todos os problemas de codificação.
6. Investigar novo software de automatização
Se os casos de teste da equipa forem suficientemente detalhados mas o seu conjunto de testes automatizados não os puder utilizar com sucesso para identificar cada mutação, poderão beneficiar de software diferente.
Há muitas plataformas livres e pagas disponíveis, e as empresas devem verificar todas as opções para se certificarem de que têm o software que melhor se adequa aos seus casos de teste a longo prazo.
7. Sincronizar cada processo de teste
A colaboração é uma componente central de cada estratégia de teste – isto ajuda a garantir que cada processo se possa encaixar facilmente, tal como a equipa pretende.
Por exemplo, a equipa de teste poderia desenvolver os seus casos de teste com a mutação em mente para assegurar um maior nível de compatibilidade, tornando mais fácil para os testadores validar a sua estratégia.
8. Utilizar testes unitários
Os testes unitários permitem à equipa de garantia de qualidade inspeccionar peças de código isoladamente, racionalizando em massa os testes e facilitando a identificação de problemas pelas equipas.
Esta combinação pode ser especialmente útil se os testadores se preocuparem com prazos, dando-lhes uma oportunidade de simplificar os seus controlos e melhorar a cobertura global – levando a testes de software muito mais fortes.
9. Escrever casos de teste detalhados
Os casos de teste de mutação devem conter informação adequada sobre o mutante e o seu efeito no programa, bem como a forma como a equipa ou plataforma de teste localizou estas falhas.
Ao fornecer o máximo de detalhes possível, um testador pode validar pessoalmente o caso de teste e certificar-se de que a equipa sabe exactamente como assegurar um teste suave.
5 Melhores Ferramentas de Teste de Mutação
Há uma vasta gama de ferramentas disponíveis que podem ajudar as empresas com os seus requisitos de testes de mutação. Como é frequentemente o caso das aplicações de teste de software, os preços e características variam de uma plataforma para outra, tornando vital que as organizações escolham a que melhor se adapta às suas necessidades.
Alguns destes programas poderiam oferecer contrapartidas gratuitas ou ser inteiramente de fonte aberta; embora seja normalmente necessário pagar por uma maior comodidade.
Com isto em mente, aqui estão as cinco melhores ferramentas para testes de mutação.
1. Stryker
Stryker é especialista em mutação JavaScript, racionalizando este processo significativamente para garantir a ausência de falsos positivos e reduzir a quantidade total de esforço que os testadores necessitariam para todas as verificações de mutação.
A plataforma Stryker avalia inteligentemente o software e utiliza a informação que recolhe para descobrir as cordas ou segmentos de código que beneficiariam da mutação. Esta aplicação vem com um repórter de texto claro que produz um resumo do mutante, incluindo se Stryker foi capaz de o matar.
2. PITest
O PITest é uma escolha muito popular em todo o mundo devido à sua capacidade de alterar o código de bytes Java e de fazer milhares de mutações por segundo. Esta aplicação utiliza dados de cobertura de casos de teste para saber instantaneamente quais os testes que podem matar um mutante.
Apenas realiza testes que sabe que serão relevantes, limitando o poder computacional que este procedimento normalmente consome. O PITest também é compatível com a maioria das formas do plugin de teste da unidade Surefire, mas pode ter dificuldades em gerir eficazmente as dependências das ordens de teste.
3. Seguro+++
Insure++ tem muitas capacidades de teste, incluindo análise de mutação, permitindo à plataforma detectar ambiguidades num programa. Num afastamento dos testes de mutação convencionais, o Insure++ forgoes gerando mutantes defeituosos e, em vez disso, cria mutações funcionalmente equivalentes que correspondem ao código fonte do projecto.
Isto é para evitar pressupostos implícitos que podem inadvertidamente limitar o processo de teste e podem não reflectir ambientes de teste realistas. Como o nome sugere, a plataforma é principalmente compatível com programas C++, e todas as características são calibradas para esta linguagem.
4. Jumble
Esta aplicação é especializada na estrutura JavaScript da JUnit, com indicadores visuais abrangentes de como o código responde à análise da mutação. Jumble é uma plataforma de código aberto e funciona dentro do byte-código das aplicações Java para baixar o tempo de cada ciclo de teste.
Aplicações semelhantes que utilizam exclusivamente o código fonte de um programa podem por vezes demorar mais tempo a realizar estas verificações devido ao seu processo de recompilação.
Jumble também faz uso da heurística para optimizar ainda mais os testes de mutação, tornando mais simples os testes subsequentes.
5. MutPy
MutPy suporta testes de mutação para aplicações baseadas em Python, oferecendo total apoio a mutações de alta ordem, bem como análises de cobertura abrangentes. A interface deste programa é fácil de utilizar durante a fase de saída, o que mostra claramente aos utilizadores todos os detalhes essenciais dos testes de mutação da equipa.
MutPy oferece muitas escolhas por medida para os testadores – permitindo-lhes calibrar este software especificamente para as suas necessidades. A plataforma utiliza Árvores de Sintaxe Abstrata que fornecem uma estrutura clara do código fonte da aplicação, dando aos testadores mais confiança nas suas mutações.
Conclusão
A mutação de código tem aplicações para quase todos os processos de teste de software, oferecendo uma série de benefícios claros para as empresas que implementam esta técnica – especialmente mais cedo na fase de garantia de qualidade.
Nenhuma metodologia está sem desafios; isto significa que é imperativo que as organizações considerem sensatamente as vantagens da análise de mutação, assegurando ao mesmo tempo que esta se encaixa na sua linha temporal habitual de desenvolvimento de software.
Estas mutações dão às equipas de teste uma oportunidade de examinar a sua própria abordagem e determinar a sua eficácia para localizar e rectificar erros dentro do código fonte. Esta técnica é especialmente compatível com procedimentos de automatização, permitindo às empresas validar o software em que confiam para tratar dos seus controlos.
Os testes de mutação oferecem uma forma abrangente para as equipas de garantia de qualidade desenvolverem uma melhor compreensão dos seus próprios processos e software, incluindo as questões que de outra forma não conseguiriam detectar.
Como resultado, é vital que as equipas de teste investiguem de perto esta técnica para avaliar se corresponde às necessidades da organização – incluindo se a ferramenta de mutação que escolhem é totalmente compatível com a sua linguagem de programação. O software de testes automatizados ZAPTEST possui muitas características que lhe permitem passar nos testes de mutação, assegurando que as equipas têm plena confiança nas suas capacidades.
Tanto a versão Free como a Enterprise oferecem um processo de teste de alta qualidade que pode acomodar mutações de código com facilidade.
FAQs e Recursos
1. Melhores cursos sobre testes de mutação
Os cursos em linha podem ajudar os primeiros testadores a aprender os princípios básicos da mutação de código ou reforçar as competências pré-existentes dos membros experientes do pessoal de garantia de qualidade. Aulas gerais de teste de software também podem oferecer muitos benefícios aos testadores. Os melhores cursos online para os testadores de mutações incluem:
– PluralSight ‘Mutation Testing in Java with PITest’ analisa especificamente como alterar o código Java e as formas como esta abordagem poderia beneficiar os processos práticos de teste de software.
– O “The Complete 2023 Software Testing Bootcamp” de Udemy é um curso especialmente actualizado que ilustra cada componente chave dos testes de software, incluindo os testes da caixa branca.
– O ‘Software Testing – Condition Coverage and Mutation Testing Strategies’ da Alison é gratuito e examina de perto como implementar sabiamente os testes de mutação.
– PluralSight’s ‘Unit Testing Fundamentals’ explora os benefícios e características dos testes unitários, ajudando a garantir que os estudantes compreendem o processo exacto de escrita de testes unitários fortes.
– A “Introdução aos testes unitários” de Udemy é mais um curso gratuito que proporciona uma clara quebra dos testes unitários, bem como a importância das estratégias de desenvolvimento orientadas por testes.
2. Quais são as 5 principais perguntas da entrevista sobre Testes de Mutação?
Há uma série de perguntas que as empresas podem fazer aos candidatos durante uma entrevista para verificar a sua experiência ou compreensão dos testes de mutação, juntamente com os seus princípios fundamentais. Isto permite a uma empresa certificar-se de que contrata um testador qualificado que pode abordar com facilidade diferentes cenários relacionados com as mutações.
As perguntas exactas variam mas podem incluir o pedido das suas próprias opiniões ou de exemplos das suas capacidades de mutação de código.
As cinco principais perguntas da entrevista de teste de mutação são:
– Com que ferramentas de teste de mutação tem experiência prévia, se é que tem alguma? Quais eram as principais características deste software?
– Ao efectuar a mutação do código, como trabalharia para assegurar um equilíbrio saudável entre a velocidade e a profundidade dos testes?
– Em que situações seria impossível a análise das mutações? Como inspeccionaria o procedimento de ensaio nestes cenários?
– Se uma mutação de valor conseguir sobreviver ao processo de teste, qual seria o seu curso de acção para evitar que isto volte a acontecer?
– Que informações incluiria num caso de teste de mutação a fim de garantir que os seus colegas têm os dados de que necessitam?
3. Melhores tutoriais do YouTube sobre testes de mutação
Tutoriais gratuitos, webinars e outros vídeos estão disponíveis no YouTube para ajudar a melhorar a compreensão de um testador sobre testes de mutação. Alguns dos vídeos e séries mais úteis sobre o assunto incluem:
– Software Testing’s ‘Mutation Testing for Programs’, que fornece exemplos práticos de como a mutação de código ajuda os programas, a par de como escrever casos de teste completos.
– Os ‘Testes de Mutação’ do Devoxx: O meu teste quebrou o meu código?’, que analisa como a análise de mutação melhora os procedimentos gerais de teste para todos os tipos de projectos de software.
– Conferências NDC’ ‘Matem todos os Mutantes! Intro to Mutation Testing’, que investiga como os conjuntos de testes podem beneficiar da mutação de código e as falhas que esta ajuda a criar.
– GOTO Conferences’ ‘Mutation Testing in Python’, que examina especificamente como as aplicações baseadas em Python podem aplicar a análise de mutação para atingir objectivos de testes específicos.
– Diego Pacheco’s ‘Java Mutation Testing With PITest’, que ilustra de forma semelhante o software JavaScript usa mutação de código – com foco no programa de mutação PITest.
4. Como manter os testes de mutação?
A combinação da análise de mutação com testes de regressão e outras estratégias a longo prazo permite às empresas assegurar um forte padrão de garantia de qualidade, mesmo após a libertação.
As actualizações subsequentes podem levar a alterações de código que requerem verificações adicionais. Os testes de mutação mostram que o software de automação e os testadores são consistentes entre diferentes versões do mesmo software, re-autenticando a sua abordagem particular.
Novas funções requerem casos de teste mais recentes, especialmente se estas características interagirem com as já existentes.
Além disso, a utilização de desenvolvimento orientado para testes permite aos membros da equipa planear a longevidade do software e testar a sua compatibilidade como parte do seu próprio ciclo de desenvolvimento.
