C’est la Saint-Valentin et les romances numériques fleurissent. Partout dans le monde, les cœurs solitaires s’ouvrent aux amoureux virtuels. Mais leurs secrets ne sont pas aussi sûrs qu’il y paraît.
Selon une nouvelle analyse de Mozilla, les petites amies IA récoltent des tonnes de données privées et intimes. Ces informations peuvent ensuite être partagées avec les spécialistes du marketing, les annonceurs et données courtiers. Il est également vulnérable aux fuites.
L’équipe de recherche a étudié 11 chatbots romantiques populairesdont Replika, Chai et Eva. Environ 100 millions de personnes ont téléchargé ces applications uniquement sur Google Play.
Grâce à l’IA, les chatbots simulent des interactions avec des copines, des âmes sœurs ou des amis virtuels. Pour produire ces conversations, les systèmes ingèrent une multitude de données personnelles.
Ces informations sont souvent extrêmement sensibles et explicites.
« Les chatbots romantiques IA collectent bien au-delà de ce que nous pourrions considérer comme des points de données « typiques », tels que l’emplacement et les intérêts », a déclaré à TNW Misha Rykov, chercheur au projet *Privacy Not Included de Mozilla.
« Nous avons constaté que certaines applications mettent en évidence l’état de santé de leurs utilisateurs, signalant lorsqu’ils reçoivent des médicaments ou des soins d’affirmation de genre. »
Mozilla a qualifié les garanties d’« inadéquates ». Dix des onze chatbots ne répondaient pas aux normes de sécurité minimales de l’entreprise, comme l’exigence de mots de passe forts.
Replika, par exemple, a été critiqué pour avoir enregistré tous les textes, photos et vidéos publiés par les utilisateurs. Selon Mozilla, l’application a « définitivement » partagé et « peut-être » vendu des comportements comportementaux aux annonceurs. Étant donné que les comptes peuvent être créés avec des mots de passe faibles, tels que « 11111111 », les utilisateurs sont également très vulnérables au piratage.
Les copines IA cachent des secrets
Les trackers sont répandus sur les chatbots romantiques. Sur le Application d’IA romantique, les chercheurs ont trouvé au moins 24 354 trackers avecen seulement une minute d’utilisation.
Ces trackers peuvent envoyer des données aux annonceurs sans le consentement explicite des utilisateurs. Mozilla soupçonne qu’ils pourraient enfreindre le RGPD.
Les chercheurs ont trouvé peu d’informations publiques sur la collecte de données. Les politiques de confidentialité étaient rares. Certains chatbots n’avaient même pas de site Web.
Le contrôle des utilisateurs était également négligeable. La plupart des applications ne donnaient pas aux utilisateurs la possibilité de conserver leur discussions intimes à partir des données d’entraînement du modèle d’IA. Une seule entreprise – Genesia AI, basée à Istanbul – a proposé une fonctionnalité de désinscription viable.
Les chatbots romantiques sont séduisants
Les copines IA peuvent être dangereusement persuasives. On leur a reproché décès par suicide et même une tentative de assassiner la reine Elizabeth II.
« L’une des choses les plus effrayantes à propos des chatbots relationnels IA est le potentiel de manipulation de leurs utilisateurs », a déclaré Rykov.
« Qu’est-ce qui empêcherait les mauvais acteurs de créer des chatbots conçus pour apprendre à connaître leurs âmes sœurs, puis d’utiliser cette relation pour manipuler ces personnes afin qu’elles fassent des choses terribles, adoptent des idéologies effrayantes ou se fassent du mal ou fassent du mal à autrui ? »
Malgré ces risques, les applications sont souvent promues en tant que plateformes de santé mentale et de bien-être. Mais leurs politiques de confidentialité racontent une autre histoire.
Romantic AI, par exemple, déclare dans ses termes et conditions que l’application n’est « ni un fournisseur de soins de santé ou de services médicaux, ni une fourniture de soins médicaux, de services de santé mentale ou d’autres services professionnels ».
Cependant, sur le site Web de l’entreprise, le message est très différent : « L’IA romantique est là pour maintenir votre SANTÉ MENTALE. »
Mozilla réclame des garanties supplémentaires. Au minimum, ils souhaitent que chaque application fournisse un système d’adhésion pour les données de formation et des détails clairs sur ce qui arrive avec les informations.
Idéalement, les chercheurs souhaitent que les chatbots fonctionnent selon le principe de « minimisation des données ». Dans le cadre de cette approche, les applications ne collecteraient que ce qui est nécessaire au fonctionnement du produit. Ils soutiendraient également le « droit de supprimer » les informations personnelles.
Pour l’instant, Rykov conseille aux utilisateurs de procéder avec une extrême prudence.
« N’oubliez pas qu’une fois que vous avez partagé des informations sensibles sur Internet, vous ne pouvez plus les récupérer », a-t-elle déclaré. « Vous en avez perdu le contrôle. »
Source link