Comment utiliser les tests Test Studio dans vos builds TFS CI

Soyez un super héros de test de CI avec Test Studio! Dans cet article, vous apprendrez à utiliser Test Studio dans une construction TFS et à obtenir des résultats détaillés.

Il y a une chose immuable dans le processus d'intégration / de livraison continue (CI / CD), quels que soient les scripts de construction En cours d'exécution et quels outils sont utilisés, il y a toujours une phase de test où vous devez configurer des tests d'automatisation.

Dans cet article, je vais vous guider dans le processus d'utilisation des tests Test Studio dans un TFS construit et obtient des résultats de test détaillés pour chaque exécution. Je me concentrerai directement sur la phase de test en supposant que les phases de construction et de déploiement sont déjà définies avec succès.

Un outil de test a deux exigences fondamentales pour exécuter avec succès des tests dans un environnement CI. La première chose à faire est d'avoir les outils CLI nécessaires pour gérer l'exécution du test. La seconde consiste à avoir un moyen facile de rapporter les résultats des tests et de les montrer dans un rapport significatif. Du point de vue de l'outil de test, cela signifie être capable de sortir les résultats de test dans un format couramment utilisé, comme JUnit par exemple.

Heureusement, Test Studio a les deux capacités. Je vais montrer, en quelques étapes simples, comment utiliser Test Studio pour tester dans le processus de construction TFS. Je vais couvrir deux approches, l'une utilisant le runner CLI Test Studio fourni avec chaque édition de Test Studio (ArtOfTest.Runner.exe), et la seconde avec le coureur de test VS (vstest.console.exe).

Test Studio CLI Runner

Une note au démarrage – pour plus d'informations, n'hésitez pas à vous référer à la documentation CLI du programme d'exécution Test Studio à tout moment.

Utilisation de Test Studio (TS) CLI runner (appelé ArtOfTest.Runner.exe) est facile. Je vais maintenant expliquer en quelques étapes comment inclure les tests de Test Studio dans le processus de construction en utilisant le TS Runner. Comme je l'ai mentionné ci-dessus, nous allons nous concentrer sur la phase d'exécution du test et la phase de reporting.

Ajout d'une simple action de script batch d'exécution dans le processus de construction

Pour lancer vos tests, vous n'avez qu'à Vous devez d'abord définir la racine du projet de test, puis choisir d'exécuter un test ou une liste de tests, puis décider du format de sortie du résultat. ce format est supporté nativement par TFS et les résultats apparaîtront dans le résumé de construction (nous en parlerons plus à l'étape suivante)

Indice : Il est très utile de définir votre répertoire de travail (le répertoire de travail est le dossier d'où l'agent exécutant vos tâches est lancé). Dans ce cas, mon projet de test est en TFS et les fichiers de test sont téléchargés dans le répertoire de travail. De cette façon, vous pouvez utiliser des chemins relatifs comme dans l'exemple. Notez que le TS Runner exe est également dans le chemin du système (cela peut également être fait en cours d'exécution si nécessaire).

Maintenant que nous avons une tâche qui va exécuter vos tests, nous devons définir les options de contrôle sur "Continue on error". Ceci est important car si la construction s'arrête sur cette tâche, elle n'effectuera pas la tâche de téléchargement que nous utilisons plus tard dans le processus. Ne vous inquiétez pas cependant, la construction échouera toujours.

La deuxième étape importante consiste à extraire les résultats du test et du téléchargement De cette façon, vous pouvez vérifier l'historique des résultats dans le récapitulatif de construction et générer une tendance historique de votre taux de réussite / échec entre chaque génération, c'est pourquoi une tâche Publier les résultats TS est nécessaire.

La configuration de la tâche "Publish Test Results" est simple. Vous venez de définir le format des résultats attendus à JUnit et sélectionnez le dossier de sortie des résultats.

Si tout est correctement défini, vous pouvez test des résultats "title =" testResults "data-openoriginalimageonclick =" true "/>

Dans la vue des résultats, vous pouvez facilement vérifier la tendance réussite / échec, les détails de l'échec (le cas échéant) et d'autres données. Vous pouvez également associer directement les résultats avec des éléments de travail dans TFS ou des bogues de journal.

Astuce : Vous pouvez également utiliser la tâche de publication d'artefact si vous devez télécharger une partie ^rd fichiers au résumé de construction. Par exemple, vos tests peuvent générer des données supplémentaires comme des captures d'écran.

Si vous décidez d'utiliser le testeur VS CLI (vstest.console. exe) la seule étape différente dans le processus est dans la tâche d'exécution de test.Ce dont vous avez besoin est d'utiliser la tâche d'exécution VS tests à la place.

Il y a quelques points importants à clarifier ici: Notez que la vérification du "Test mix contient des tests d'interface utilisateur", car elle est obligatoire pour activer cette option. Les fichiers de paramètres sont utiles car vous pouvez y définir certaines options spécifiques à Test Studio. tests. Vous trouverez plus d'informations dans cet article sur les paramètres de test VS et les tests de Test Studio

En conclusion, il n'existe pas de méthode unique pour exécuter vos tests dans un environnement CI. Dans cet article, je vous ai montré l'essentiel sur la façon d'intégrer les tests de Test Studio dans votre environnement, mais les possibilités sont infinies. Vous pouvez utiliser des scripts supplémentaires (PowerShell par exemple) pour préparer l'environnement, ou poster des scripts de construction pour améliorer les rapports, ou trouver autre chose qui vous convient le mieux.

Vous voulez les essayer? Commencez un essai gratuit aujourd'hui:

Try Test Studio