Comment argumenter contre la recherche sur l’IA First

Avec l’IA sur nous, les entreprises ont récemment tourné leur attention Tests utilisateurs «synthétiques» – Recherche axée sur l’IA qui remplace la recherche UX. Là, les questions sont répondues par des «clients» générés par l’IA, les tâches humaines «effectuées» par des agents d’IA.

Cependant, ce n’est pas seulement pour la recherche ou la découverte de bureau pour laquelle l’IA est utilisée; c’est un réel Test de convivialité avec des «personnages d’IA» qui imiter le comportement humain des clients réels dans le produit réel. C’est comme UX Research, Just & MLDR; Eh bien, sans les utilisateurs.

Si cela semble inquiétant, déroutant et bizarre, c’est le cas – mais cela n’empêche pas les entreprises d’adopter une «recherche» de l’IA pour stimuler les décisions commerciales. Bien que, sans surprise, l’entreprise puisse être dangereux, risquéet coûteux et diminue généralement la valeur de l’utilisateur.

Cet article est Une partie de notre série en cours sur Ux. Vous pouvez trouver plus de détails sur Modèles de conception et stratégie UX dans Modèles de conception d’interface intelligente 🍣 – Avec une formation UX en direct à venir bientôt. Aperçu gratuit.

Rapide, bon marché, facile & mldR; Et imaginaire

Erika entend célèbre noté Cette «conception n’est aussi« centrée sur l’homme »que le modèle commercial le permet.» Si une entreprise est fortement motivée par Inclinaison, hypothèses et opinions fortesil y aura peu ou pas d’intérêt pour la recherche UX correctement fait en premier lieu.

Mais contrairement à la recherche UX, la recherche sur l’IA (commodément appelée tests synthétiques) est rapide, bon marché et facile à réécouter. Cela ne soulève pas des questions inconfortables, et cela ne signale pas de mauvaises hypothèses. Il ne nécessite pas de recrutement d’utilisateurs, beaucoup de temps ou de débats de longue haleine.

Et: il peut gérer des milliers de personnages d’IA immédiatement. En étudiant la sortie générée par l’AI, nous pouvons découvrir des voyages communs, des modèles de navigation et des attentes communes. Nous pouvons anticiper comment les gens se comportent et ce qu’ils feraient.

Eh bien, c’est le grande promesse. Et c’est là que nous commençons à rencontrer de gros problèmes.

Les LLM sont des plaisirs des gens

Une bonne recherche UX a des racines Ce qui s’est réellement passépas quoi pourrait sont arrivés ou quoi pourrait se produit à l’avenir.

Par nature, les LLM sont formées pour fournir le plus «plausible»Ou probablement la sortie basée sur des modèles capturés dans ses données de formation. Ces modèles, cependant, émergent des comportements attendus par des profils statistiquement« moyens »extraits du contenu sur le Web. Mais ces personnes n’existent pas, elles ne l’ont jamais fait.

Par défaut, les segments d’utilisateurs sont pas dans l’ampleur et non organisé. Ils ne représentent pas la clientèle d’aucun produit. Donc, pour être utile, nous devons provoquer avec éloquence l’IA en expliquant qui sont les utilisateurs, ce qu’ils font et comment ils se comportent. Sinon, la sortie ne correspondra pas aux besoins des utilisateurs et ne s’appliquera pas à nos utilisateurs.

Lors de la «production» d’informations sur l’utilisateur, LLMS ne peut pas générer des choses inattendues Au-delà de ce que nous demandons déjà.

En comparaison, les chercheurs ne sont en mesure de définir ce qui est pertinent au fur et à mesure que le processus se déroule. Dans les tests réels des utilisateurs, les informations peuvent aider Shift Priories ou réinventer radicalement le problème que nous essayons de résoudre, ainsi que des résultats commerciaux potentiels.

De vraies idées viennent de comportement inattendude la lecture des indices et des émotions comportementales, de l’observation d’une personne faisant le contraire de ce qu’ils ont dit. Nous ne pouvons pas le reproduire avec LLMS.

La recherche sur les utilisateurs de l’IA n’est pas «meilleure que rien»

Pavel Samsonov articuler que des choses qui ressemblent à des clients pourrait Dites-les sont sans valeur. Mais des choses que les clients en fait ont dit, fait ou expérimenté transporter une valeur inhérente (bien qu’ils puissent être exagérés). Nous avons juste besoin de les interpréter correctement.

La recherche sur les utilisateurs de l’IA n’est pas «meilleure que rien» ou «plus efficace». Il crée un Illusion des expériences client Cela ne s’est jamais produit et est au mieux de bonnes suppositions mais au pire trompeur et non applicable. S’appuyer seul sur les «informations» générées par l’AI-AI n’est pas très différente de la lecture des feuilles de thé.

Le coût des décisions mécaniques

Nous entendons souvent parler de la percée de l’automatisation et de la génération de connaissances avec l’IA. Pourtant, nous oublions souvent que l’automatisation a souvent un coût: le coût des décisions mécaniques qui sont généralement aveuglefavoriser l’uniformité et la qualité d’érode.

Comme Maria Rosala et Kate Moran écrirele problème avec la recherche sur l’IA est qu’il sera certainement déformantet sans de vraies recherches, vous n’attrapez pas et ne corrigerez pas ces inexactitudes. Prendre des décisions sans parler à de vrais clients est dangereux, nuisible et coûteux.

Au-delà de cela, les tests synthétiques suppose que les gens s’installent dans des boîtes bien définies, ce qui est rarement vrai. Le comportement humain est façonné par nos expériences, nos situations, nos habitudes qui ne peuvent pas être reproduites par la génération de texte seule. IA renforce les biais, soutient les intuitionset amplifie les stéréotypes.

Trianguler les idées au lieu de les vérifier

Bien sûr, l’IA peut fournir Points de départ utiles pour explorer au début du processus. Mais intrinsèquement, il invite également de fausses impressions et des conclusions non vérifiées – présentée avec un niveau de confiance et de certitude incroyable.

Commencer par la recherche humaine Réalisé avec de vrais clients utilisant un vrai produit est tout simplement plus fiable. Après cela, nous pouvons toujours appliquer l’IA pour voir si nous avons peut-être manqué quelque chose de critique dans les interviews des utilisateurs. L’IA peut améliorer mais ne pas remplacer la recherche UX.

De plus, lorsque nous utilisons l’IA pour la recherche sur le bureau, il peut être tentant d’essayer «valider«AI« Insights »avec des tests réels des utilisateurs. Cependant, une fois que nous avons plante une graine de perspicacité dans notre tête, il est facile de reconnaître ses signes partout – même si ce n’est vraiment pas là.

Au lieu de cela, nous étudions les clients réels, alors Trianguler les données: Les grappes de piste ou les parties les plus fréquentées du produit. Il se peut que l’analyse et la recherche sur les bureaux d’IA confirment votre hypothèse. Cela vous donnerait une position beaucoup plus forte pour avancer dans le processus.

Emballage

Je peux ressembler à un enregistrement cassé, mais je me demande pourquoi nous ressentons l’urgence de remplacer le travail UX par des outils d’IA automatisés. Une bonne conception nécessite une bonne quantité de pensée critiqueobservation et planification.

Pour moi personnellement, le nettoyage après la production générée par l’AI prend beaucoup plus de temps que de faire le travail réel. Il y a un valeur incroyable En parlant aux personnes qui utilisent réellement votre produit.

Je choisirais toujours un jour avec un véritable client au lieu d’une heure avec 1 000 utilisateurs synthétiques qui prétendent être des humains.

Ressources utiles

NOUVEAU: Comment mesurer UX et Impact de conception

Rencontrez Meason UX & Design Impact (8H), un nouveau guide pratique pour les concepteurs et UX mène à mesurer et à montrer votre impact UX sur les affaires. Utilisez le code 🎟 IMPACT Pour économiser 20% aujourd’hui. Sauter aux détails.

(CM)