Concevoir pour la sécurité —

Dans cet épisode, nous parlons de concevoir pour la sécurité. Que signifie considérer les utilisateurs vulnérables dans nos conceptions ? Drew McLellan s'entretient avec l'experte Eva PenzeyMoog pour le savoir.

Afficher les notes

Mise à jour hebdomadaire

Transcription

Drew McLellan : Elle est la fondatrice de The Inclusive Safety Project, un auteur du livre, Designed For Safety, qui sort ce mois-ci de A Book Apart. Elle est la conceptrice principale de 8th Light, où elle conçoit et construit des logiciels personnalisés et consulte sur une stratégie de conception sûre et inclusive. Nous savons qu'elle est une experte dans la conception de technologies pour protéger les personnes vulnérables, mais saviez-vous qu'elle est la détentrice du record international du plus grand nombre de beignets exécutés dans un chariot élévateur ? Mes formidables amis, bienvenue, s'il vous plaît, Eva PenzeyMoog. Salut, Eva, comment vas-tu ?

Eva PenzeyMoog : Je défonce.

Drew : C'est bon à entendre. Je voulais vous parler aujourd'hui des principes de conception de produits et d'expériences en pensant à la sécurité des utilisateurs vulnérables. Serait-il juste dès le départ de donner une sorte d'avertissement de déclenchement pour tout sujet particulier que nous pourrions aborder ?

Eva : Absolument, oui. Merci d'avoir soulevé cela. Déclenchez certainement un avertissement pour les mentions explicites de violence domestique, peut-être aussi de maltraitance envers les personnes âgées et la maltraitance des enfants.

Drew : C'est important. N'hésitez pas. Si vous vous inquiétez de l'un de ces problèmes, cela pourrait être un déclencheur pour vous. N'hésitez pas à les ignorer. On se voit au prochain épisode. Cadrez la conversation pour nous, Eva. Lorsque nous parlons de Design For Safety, de quel type de problèmes de sécurité parlons-nous ? Nous ne parlons pas d'interfaces pour les voitures autonomes. Ce n'est pas ce genre de sécurité, n'est-ce pas ?

Eva : Exactement. Oui. Quand je parle de sécurité, je parle vraiment de sécurité interpersonnelle, les façons dont les utilisateurs peuvent armer nos produits pour se nuire mutuellement de manière interpersonnelle. Des gens qui se connaissent, vivent ensemble, beaucoup de violences conjugales de la part des partenaires amoureux, mais aussi des parents et des enfants. Il y a aussi un peu d'employeurs et d'employés plus dans le domaine de la surveillance. Mais il y a cette relation personnelle intérieure réelle requise en termes de sécurité dont je parle, par opposition à, oui, quelqu'un d'anonyme sur Internet ou une entité anonyme essayant d'obtenir vos données, des choses comme ça.

Drew : Pourrait-il s'agir de problèmes aussi simples que … Je pense à tous les jours que vous voyez sur les réseaux sociaux où différents utilisateurs ont la possibilité de s'adresser des messages, et comment c'est censé être un petit outil utile pour permettre aux gens de prendre une conversation hors ligne ou hors du public. Mais ce genre de chose pourrait aussi, sans les bonnes garanties, être un vecteur pour une sorte d'abus de contrôle.

Eva: Oui, absolument. Il est certain que chaque fois que vous autorisez les utilisateurs à s'envoyer n'importe quel type de texte, il y a une possibilité d'abus. La messagerie Facebook, celle-là est un peu plus évidente, et je pense… Eh bien, j'espère qu'ils ont mis en place des garanties pour qu'ils reconnaissent que vous ne voulez peut-être pas voir certains messages ou que vous voulez laisser quelqu'un vous contacter. Mais celui qui est vraiment intéressant et lié que j'ai rencontré en faisant des recherches est un grand nombre d'applications ou de services bancaires différents comme Venmo qui vous permettent de partager de l'argent. Il y a souvent un espace pour un message. Au moins avec Venmo, c'est obligatoire.

Eva : Certaines banques, c'est facultatif, mais les gens enverront un centime à quelqu'un et auront ensuite un message abusif ou quelque chose de vraiment dangereux, effrayant ou menaçant, et il n'y a pas vraiment de moyen pour l'utilisateur qui reçoit ces messages de signaler cela ou de dire : « Je veux bloquer cet utilisateur, car pourquoi voudriez-vous empêcher quelqu'un de vous envoyer de l'argent ? » C'est une situation où je pense que le concepteur n'a tout simplement pas considéré que les agresseurs cherchent toujours des moyens de faire des choses comme ça. Ils sont très créatifs et cela n'a pas été pris en compte dans la conception.

Drew : Nous parlons souvent de la conception du chemin heureux où tout est utilisé comme il est conçu pour être utilisé et l'expérience se déroule sans heurts. Ensuite, en tant qu'ingénieurs, nous réfléchissons à la façon dont les choses pourraient mal se passer en termes d'échec de la validation ou d'API en panne. Mais je ne suis pas sûr… En tant qu'industrie, avons-nous un grand angle mort sur les façons dont les technologies pourraient être utilisées à mauvais escient lorsqu'il s'agit de considérer la sécurité de nos utilisateurs ?

Eva : Ouais. Je pense absolument qu'il y a un angle mort géant. Les gens connaissent très bien ce genre de modèles de menaces, comme je l'ai mentionné, de la personne anonyme qui vous harcèle sur Twitter, différentes entités essayant de pirater les données d'une société bancaire, des choses comme ça. Mais nous l'appelons le modèle de menace de violence domestique, qui est très différent et auquel la plupart des gens ne pensent pas et cela a toujours été le retour quand j'ai fait mon discours, concevant contre la violence domestique avant que la pandémie n'arrête les conférences . C'était toujours le retour d'information, les gens disent : « Je n'en avais jamais entendu parler. Je n'en avais aucune idée." C'est le but avec mon discours et mon livre et mon travail en général est d'aider les gens à comprendre ce que c'est et quoi faire à ce sujet parce que c'est quelque chose qui est juste un énorme angle mort.

Drew : Je pense que nous ont une tendance, et il est évidemment dangereux de supposer que chaque utilisateur est comme nous. Tout comme les personnes qui construisent le service ou le produit, tout comme nos soldats, comme nos amis et notre famille et les personnes que nous connaissons, et présumer que tout le monde est dans une situation familiale stable et a la pleine propriété ou le contrôle de leurs services et appareils. Ce n'est pas toujours le cas, n'est-ce pas ?

Eva : Oui, absolument. Certainement pas toujours le cas. Je pense que nous pourrions regarder nos amis et notre famille et penser que tout le monde est dans une bonne relation, mais quelque chose que j'ai trouvé, c'est que la plupart des personnes qui subissent des violences domestiques ne le disent pas exactement à tout le monde dans leur vie et le crient de les toits. La plupart des gens, d'après les statistiques, c'est tellement courant. Vous connaissez probablement quelqu'un qui a été dans cette situation ou qui est actuellement dans cette situation, et ils n'en parlent tout simplement pas vraiment ou ils ne partagent peut-être pas toute l'étendue du comportement.

Eva : Dans à bien des égards, il est compréhensible que ce n'est pas quelque chose à quoi les gens ont vraiment pensé sur le lieu de travail parce que ce n'est pas quelque chose auquel nous pensons dans la société et la vie en général et nous reproduisons cela sur notre lieu de travail. Mon travail essaie de nous amener à en parler un peu plus explicitement.

Drew : Quelles sont certaines des choses auxquelles nous devrions penser en ce qui concerne ces considérations ? En pensant simplement au moment où quelqu'un d'autre pourrait avoir accès à votre compte, ou si un partenaire connaît votre mot de passe et peut y accéder, vous penseriez que ces produits ont été conçus pour être contrôlés par une seule personne, mais maintenant, peut-être que quelqu'un d'infâme y accède. Quel genre de considérations y a-t-il?

Eva: Ouais. Eh bien, il y a tellement de choses différentes, mais c'est une très grande que j'ai… Trois chapitres principaux de mon nouveau livre sont axés sur les trois grands domaines différents où cela se produit, et ce que vous venez de mentionner est l'objet de l'un des sur les problèmes de contrôle et d'alimentation avec des produits conçus pour plusieurs personnes. Des choses comme un compte bancaire partagé, des choses comme Netflix ou Spotify, des choses comme toutes sortes d'appareils domestiques différents, des appareils Internet des objets, qui sont ostensiblement destinés à plusieurs personnes. Mais il y a l'hypothèse que tout le monde est une personne respectueuse qui ne cherche pas à trouver un autre moyen d'exercer son pouvoir et son contrôle sur les gens qui l'entourent. en tant que compte joint, mais en réalité une personne a plus de pouvoir. Par exemple, cela m'est arrivé et c'était vraiment frustrant parce que je gère la plupart des finances de mon mariage. Mais lorsque nous avons créé notre premier compte bancaire commun il y a des années, ils ont défini mon mari comme utilisateur principal, ce qui signifie essentiellement que ce sont ses données accessibles au public qui ont été utilisées pour créer un quiz de sécurité. Lorsque je me connecte à notre banque depuis un nouveau réseau Wi-Fi, je dois lui demander : dans laquelle de ces rues habitiez-vous quand vous étiez enfant ? Ils sont en fait pour la plupart… Je peux répondre à certains d'entre eux. été ensemble depuis longtemps. Ils sont assez efficaces pour empêcher quelqu'un d'entrer. Mais c'est comme si c'était censé être un compte joint, pourquoi est-ce en fait… C'est en fait juste un compte pour lui auquel j'ai également accès. Beaucoup de problèmes avec cela où ils permettent à quelqu'un d'avoir plus de contrôle parce qu'il ne peut tout simplement pas me donner les réponses et alors je n'aurais pas accès à nos finances sans avoir à appeler la banque ou passer par quelque chose et passer par un processus différent. Oui. Beaucoup de problèmes de contrôle. nous avons mis en place des garanties à cela, soit en faisant en sorte qu'une seule personne n'ait pas le contrôle. Si ce n'est pas possible, comment pouvons-nous au moins nous assurer que l'autre personne comprend exactement ce qui se passe et sait exactement comment reprendre le pouvoir ? Pouvons-nous leur donner un numéro à appeler, une sorte de paramètre à modifier ? Quoi qu'il en soit, tout devient un peu compliqué.

Eva : J'ai tout un processus dans le livre sur ce à quoi cela ressemble réellement dans la pratique, quelque chose d'un peu plus spécifique que de simplement considérer la violence domestique ou simplement considérer la violence domestique. qui contrôle. Je ne trouve pas ce genre de conseil super utile. J'ai un processus très complet que les concepteurs peuvent mettre en place en plus de leur processus de conception existant pour obtenir certains de ces éléments. une notion banale. Nous créons des produits ou des services dont le bloc de construction fondamental est, d'accord, nous avons un compte utilisateur. Nous ne réfléchissons probablement même pas de trop près aux types de problèmes lors de la configuration et pensons que le compte est différent des personnes qui en sont responsables ? Souvent, ils sont simplement considérés comme une seule entité, et vous devez ensuite y ajouter d'autres entités pour créer des comptes conjoints et ce genre de choses. Mais compte tenu également de la question de ce qu'il advient de ce compte si deux personnes se séparent, comment cela peut-il être séparé à l'avenir ? Est-ce quelque chose auquel nous devrions penser dès le début?

Eva: Oui, absolument. C'est un très bon point que tu soulèves. Je pense que l'une des choses qui me tient vraiment à cœur est que lorsque nous centrons les survivants de différents types d'abus dans notre conception, nous finissons par créer des produits qui sont meilleurs pour tout le monde. J'ai interviewé un bon nombre de personnes sur l'élément d'exploitation financière, qui est très courant dans les contextes de violence domestique. La statistique est de 99% des personnes dans une relation de violence domestique, il y a un élément d'exploitation financière qui est vraiment courant. Mais j'ai aussi fini par interviewer des personnes qui avaient tragiquement perdu leur conjoint, une personne était décédée, et elles avaient un compte commun. ce n'est pas quelque chose que beaucoup de ces produits sont conçus pour gérer, et cela peut prendre des années pour obtenir un contrôle total sur un compte partagé ou sur quelque chose comme… Quand ma grand-mère est décédée, elle avait beaucoup de prévoyance et elle avait donné l'accès à mon père à tout. Mais même avec cela, il lui a encore fallu beaucoup de temps pour tout mettre au point parce que ces produits ne sont tout simplement pas conçus pour gérer des choses comme ça. Mais si nous devions centrer les survivants et penser à, oui, à quoi cela ressemble-t-il lorsque deux personnes se séparent et être capables de gérer cela efficacement, cela aiderait finalement un tas d'autres personnes dans d'autres situations.

Drew. : Nous pensons beaucoup au processus d'intégration, à la création de nouveaux comptes et à l'intégration des gens dans un produit, puis nous oublions de considérer ce qui se passe lorsqu'ils partent par quelque moyen que ce soit, s'ils meurent malheureusement ou comment cela se termine. à l'autre bout du processus. Je pense que c'est quelque chose qui n'attire pas l'attention dont il pourrait vraiment bénéficier. et ils sont souvent littéralement les clés de notre accès à l'information, aux finances et à la communication. Dans une situation négative, cela pourrait facilement… Le fait qu'il s'agisse d'un appareil si personnel peut devenir un vecteur de contrôle et d'abus. Juste en pensant à des choses comme les services de localisation, des services comme Find My d'Apple, ce qui est génial si vous avez des enfants d'âge scolaire et que vous pouvez vous enregistrer et voir où ils sont, voir qu'ils sont là où ils sont censés, ils sont en sécurité . C'est une fonctionnalité de sécurité à bien des égards, mais cette fonctionnalité peut être subvertie, n'est-ce pas ?

Eva : Oui, absolument. Oui, et je suis heureux que vous en parliez, car beaucoup de ces produits sont des dispositifs de sécurité pour les enfants. Oui, bien sûr, les parents veulent savoir où sont leurs enfants, ils veulent s'assurer qu'ils sont en sécurité, et cela peut être un outil vraiment efficace. Je pense qu'il y a beaucoup de problèmes avec les parents qui abusent de ces produits. J'ai trouvé des cas d'étudiants qui sont toujours enregistrés par leurs parents et qui recevront un appel s'ils se rendent à une fête en dehors du campus, par exemple pourquoi n'êtes-vous pas dans votre dortoir ? Des choses comme ça. Cela peut devenir trop. Mais oui, pour la plupart, ce sont d'excellents produits. Mais beaucoup de gens en abusent ensuite pour suivre des adultes qui ne consentent pas à ce que leur emplacement soit suivi, et souvent ils soit…

Eva : Vous devez entrer dans le service comme avec Google Maps, par exemple, le partage de position. Vous devez y entrer pour voir que vous le partagez avec quelqu'un. Il n'y a pas d'alerte. Similaire avec Find My. L'utilisateur dont l'emplacement est suivi reçoit une alerte, mais dans une situation de violence domestique, il est très facile pour l'agresseur de simplement supprimer l'alerte du téléphone de la personne avant de pouvoir la voir, et alors il n'y a pas vraiment d'autre moyen que cette personne va se rendre compte que cela se produit même. Je pense que c'est un bon exemple de quelque chose que les cas d'abus ne sont tout simplement pas pris en compte lorsque nous créons des choses qui concernent en fin de compte la sécurité des enfants. Mais nous devons réaliser qu'il y a des tonnes de gens qui vont l'utiliser pour pas les enfants dans ces autres contextes.

Drew : Je suppose que dans une relation, vous pouvez donner votre consentement pour que votre emplacement soit suivi assez volontiers à un moment donné, et vous ne comprendrez peut-être pas que cela continue, et vous ne serez peut-être pas conscient que cela continue et vous êtes suivi sans vous en rendre compte.

Eva: Ouais. C'est une chose vraiment importante à considérer car dans les relations abusives, ce n'est pas comme… L'abus ne commence pas le premier jour, pour la plupart. C'est généralement une très bonne relation au début, puis ils introduisent lentement différentes formes de contrôle et prennent le pouvoir et retirent la personne de leur réseau de soutien, et tout cela se produit au fil du temps, souvent au fil des ans, parce que si vous venez de commencer à le faire le le premier rendez-vous, la plupart des gens diraient : « Ouais, non, je suis sorti. » Mais une fois qu'il y a cette relation amoureuse, il devient beaucoup plus difficile de simplement quitter cette personne. , mais la personne a oublié depuis longtemps qu'elle a partagé son emplacement avec cette personne, et là encore, il n'y a pas de bon moyen de se le rappeler. Il y a certaines choses à leur honneur, Google envoie un e-mail tous les 30 jours, bien que certaines personnes aient dit qu'elles ne les recevaient pas aussi fréquemment, et certaines personnes le font. Je ne sais pas exactement ce qui se passe, mais ils envoient un e-mail récapitulatif avec toutes les personnes avec lesquelles vous partagez votre position, ce qui est vraiment génial.

Eva : Mais je pense que beaucoup de dégâts peuvent être causés en 30 jours. Je préférerais quelque chose qui est plus fréquent ou même une chose omniprésente qui vous fait savoir que cela se produit, ou quelque chose qui se produit plus fréquemment, puis permettrait à l'agresseur de simplement supprimer cette notification. Oui, c'est un très bon point, c'est ce consentement. Il y a beaucoup de choses qui découlent des pratiques de consentement aux agressions sexuelles. Je pense qu'il y a tellement de pertinence pour la technologie. Ce n'est pas parce que vous avez consenti à quelque chose dans le passé que vous y consentez maintenant ou dans le futur. Mais dans la technologie, on se dit : "Eh bien, ils ont consenti il ​​y a cinq ans, donc ce consentement, c'est toujours valable", et ce n'est vraiment pas le cas. Nous devrions obtenir leur consentement à nouveau plus tard.

Drew : Oui, cela présente toutes sortes de défis, n'est-ce pas ? Dans la façon dont ces choses sont conçues, parce que vous ne voulez pas mettre tellement d'obstacles dans la conception d'un produit qu'il devienne inutile. Ou dans le cas où vous suivez un enfant et qu'il n'a pas vraiment donné son consentement ce jour-là, et tout d'un coup, il a disparu et le service n'est pas activé. Mais encore une fois, s'assurer que ce consentement ne dure que tant qu'il est vraiment donné. Je pense que c'est assez facile dans un document partagé, si vous utilisez Google Documents, ou autre, pour voir qui regarde ce document à ce moment-là, toutes les icônes apparaissent, si… Les avatars de tous les différents utilisateurs qui étaient là et avoir accès. Vous pensiez que ce genre de solutions pourrait tout aussi bien fonctionner lorsque les gens accèdent à votre emplacement ?

Eva : Oui, tout à fait. Oui, ça colle. Il n'y a pas beaucoup de solutions simples et simples avec ce genre de choses, et les trucs à propos de, ouais, vous voulez… Peut-être que ce n'est pas une bonne idée de laisser vos enfants de huit ans donner leur consentement chaque jour, car et si un jour ils sont juste comme "Non", ou ils disent par erreur non ou quoi que ce soit, et puis tout d'un coup, vous ne pouvez pas les trouver. Oui, c'est un vrai scénario. Je pense qu'avec certains de ces trucs, c'est comme si je ne pense pas que ça va être réaliste de dire : « Eh bien, cette production ne devrait pas exister ou vous devriez obtenir le consentement tous les jours. »

Eva : Mais alors, dans ces cas, il y a toujours des choses que vous pouvez faire comme dire à la personne que cette personne, cet autre utilisateur peut voir sa position même s'il n'y a pas grand chose à faire à ce sujet. À tout le moins, leur donner ces informations afin qu'ils comprennent clairement ce qui se passe et puissent ensuite prendre des mesures pour assurer leur sécurité s'ils sont dans cette relation abusive, cela va être vraiment utile. Peut-être que maintenant ils savent, d'accord, je ne vais pas prendre mon téléphone avec moi quand je quitte le bureau pendant mon heure de déjeuner pour voir mon amie que mon partenaire n'approuve pas parce qu'elle préconise toujours que je quitte le relation et il saurait que je suis allé quelque part si j'apporte mon téléphone.

Eva: Mais si je garde mon téléphone au bureau, alors il ne le saura pas. Être capable de prendre ce type de décisions éclairées. Même si vous n'êtes pas nécessairement en mesure de mettre fin au partage de position, il y a certainement d'autres choses que nous pouvons faire pour assurer la sécurité des utilisateurs tout en conservant les fonctionnalités de base du produit fonctionnel.

Drew : Oui. Cela se résume à des décisions de conception, n'est-ce pas? Et trouver des solutions à des problèmes difficiles, mais d'abord comprendre que le problème est là et qu'il doit être résolu, et je pense que c'est là que cette conversation est si importante pour comprendre les différentes façons dont les choses sont utilisées. De plus en plus, nous avons des appareils avec des microphones et des caméras. Nous avons beaucoup de caméras de surveillance dans nos maisons et sur nos sonnettes, et la surveillance secrète n'est plus seulement quelque chose dans les films d'espionnage et les émissions policières, n'est-ce pas ?

Eva : Ouais. Oh oui. C'est un énorme problème. J'ai des sentiments très forts à propos de ce genre de choses, et je sais que beaucoup de gens aiment vraiment ces appareils et je pense que c'est tout à fait bien. Je pense qu'ils sont beaucoup utilisés à des fins de surveillance. Je pense à beaucoup de conjoints et de membres de la famille, mais aussi à beaucoup de… C'est là que je pense entrer dans des trucs avec les enfants, pour moi du moins, il devient un peu plus clair que même les enfants ont des droits à la vie privée, et surtout quand vous regardez les adolescents ont besoin de beaucoup plus d'indépendance et ils ont besoin d'espace, et il y a littéralement des trucs de développement du cerveau en cours autour de l'indépendance. et aussi parfois vérifier ce qu'ils font sans que ce soit quelque chose où vous les regardez constamment ou vous injectez constamment dans leur vie d'une manière qu'ils ne veulent pas. Mais oui, la pléthore de différents dispositifs de surveillance est tout simplement incontrôlable, et les gens les utilisent tout le temps pour se surveiller secrètement ou même pas ouvertement. Parfois, c'est au grand jour du genre : « Ouais, je te regarde. Qu'allez-vous faire à ce sujet? Vous ne pouvez pas parce que nous sommes dans cette relation où j'ai choisi d'utiliser la violence pour garder mon pouvoir et mon contrôle sur vous. Quelque chose que j'ai souvent rencontré, ce sont les gens… Cela devient un moyen de plus pour l'agresseur d'isoler la survivante de son réseau de soutien. Vous ne pouvez pas avoir une conversation téléphonique privée avec votre ami ou votre frère ou votre thérapeute. Du coup, il n'y a nulle part dans votre maison qui soit en fait un espace privé, ce qui a également été un très gros problème pendant la pandémie où les gens sont obligés de rester à la maison. Nous avons vu une telle augmentation de la violence domestique, ainsi que la violence domestique facilitée par la technologie, car les agresseurs ont eu plus de temps pour comprendre comment faire ces choses, et c'est un espace beaucoup plus petit qu'ils doivent câbler pour contrôler. Beaucoup de gens ont fait ça. Cela a été un très gros problème.

Drew : Je m'attendrais à ce que les fabricants de ce genre de produits, de caméras de surveillance et autres, disent : « Nous ne faisons que fabriquer des outils ici. Nous n'avons aucune responsabilité quant à leur utilisation. Nous ne pouvons rien y faire. » Mais diriez-vous que, oui, ils ont une responsabilité dans la façon dont ces outils sont utilisés ?

Eva : Oui, je le ferais. Je voudrais, tout d'abord, dire à quelqu'un qui a dit : « Vous êtes d'abord un être humain avant d'être un employé d'une entreprise de technologie, une personne capitaliste qui fait de l'argent. Vous êtes un être humain et vos produits affectent les êtres humains et vous en êtes responsable. La deuxième chose que je dirais, c'est que le simple fait d'exiger un niveau plus élevé de connaissances techniques de nos utilisateurs est un état d'esprit vraiment problématique, car il est facile pour ceux d'entre nous qui travaillent dans la technologie de dire : « Eh bien, les gens ont juste besoin d'en savoir plus à ce sujet. Nous ne sommes pas responsables si quelqu'un ne comprend pas comment notre produit est utilisé. des gens vraiment férus de technologie qui ne travaillent pas dans la technologie. Mais exiger que les gens comprennent exactement comment chaque application dont ils disposent, chaque chose qu'ils utilisent sur leur téléphone ou leur ordinateur portable, chaque appareil qu'ils ont chez eux, comprennent chaque fonctionnalité et identifient les façons dont cela pourrait être utilisé contre eux, c'est un fardeau énorme. Cela peut sembler peu important si vous ne pensez qu'à votre seul produit comme, oh, eh bien, bien sûr, les gens devraient prendre le temps de le comprendre.

Eva : Mais nous parlons de des dizaines de produits que nous imposons aux personnes qui traversent une situation dangereuse de comprendre, ce qui est tout simplement très irréaliste et assez inhumain, surtout compte tenu de ce que les abus et la surveillance et ces différentes choses font à votre cerveau si vous êtes constamment dans un état d'être menacé et dans ce mode de survie tout le temps. Votre cerveau ne sera pas en mesure d'avoir un fonctionnement exécutif complet plutôt que de comprendre, de regarder cette application et d'essayer d'identifier comment mon mari l'utilise pour me regarder ou pour me contrôler ou quoi que ce soit. Je dirais que c'est vraiment juste, honnêtement, un état d'esprit de merde à avoir et que nous sommes responsables de la façon dont les gens utilisent nos produits.

Drew : Quand vous pensez que la plupart des gens ne comprennent pas plus d'un ou deux boutons. sur leur micro-ondes, comment pouvons-nous nous attendre à comprendre les capacités et le fonctionnement de toutes les différentes applications et services avec lesquels nous entrons en contact ?

Eva : Absolument. Ouais.

Drew : Lorsqu'il s'agit de concevoir des produits et des services, je me sens comme un homme anglophone hétérosexuel blanc que j'ai un énorme angle mort à cause de la position privilégiée que la société m'offre, et je me sens très naïf et je suis conscient que cela pourrait conduire à des choix de conception problématiques dans les choses que je fais. Y a-t-il des étapes que nous pouvons prendre et un processus que nous pouvons suivre pour nous assurer que nous exposons ces angles morts et faisons de notre mieux pour sortir de notre propre domaine d'expérience et inclure plus de scénarios ?

Eva : Oui , Tout à fait. J'ai tellement de pensées à ce sujet. Je pense qu'il y a plusieurs choses. Premièrement, nous sommes tous responsables de nous renseigner sur nos angles morts. Tout le monde a des angles morts. Je pense qu'un homme blanc cis a peut-être plus d'angles morts que les autres groupes, mais ce n'est pas comme s'il y avait un groupe qui n'aurait pas d'angles morts. Tout le monde les a. Je pense nous renseigner sur les différentes façons dont notre technologie peut être mal utilisée. Je pense que c'est plus que… Évidemment, la sécurité interpersonnelle est mon truc sur lequel je travaille. Mais il y a aussi toutes ces autres choses que j'essaie également d'apprendre constamment et de comprendre comment m'assurer que la technologie sur laquelle je travaille ne perpétuera pas ces différentes choses.

Eva : J'aime beaucoup Design For Real Life de Sara Wachter-Boettcher et Eric Meyer est idéal pour le design inclusif et le design compatissant. Mais j'ai aussi appris sur les algorithmes, le racisme et le sexisme et les différents problèmes liés aux algorithmes. Il y a tellement de choses différentes que nous devons considérer, et je pense que nous sommes tous responsables d'apprendre ces choses. Ensuite, je pense aussi qu'apporter l'expérience vécue de personnes qui ont vécu ces choses une fois que vous avez identifié, d'accord, le racisme va être un problème avec ce produit, et nous devons nous assurer que nous traitons cela et essayer de l'empêcher et donner définitivement aux gens des moyens de signaler le racisme ou ce que vous avez. . Même juste l'étude pour savoir si vous avez… Si votre photo est celle d'une personne noire, vous allez être refusée. Votre demande de réservation de séjour va être refusée plus fréquemment que si vous avez une personne blanche sur votre photo. Je pense que je suis une personne blanche, c'est quelque chose que je ne pense pas que je pourrais simplement aller et apprendre et ensuite parler en tant qu'autorité sur la question. Je pense que dans ce cas, vous devez faire appel à quelqu'un avec cette expérience vécue qui peut vous informer, donc embaucher un consultant en designer noir parce qu'évidemment nous savons qu'il n'y a pas une grande diversité en fait dans la technologie.

Eva : Idéalement, vous il y aurait déjà des gens dans votre équipe qui pourraient en parler, mais je pense… Mais alors c'est tellement compliqué. C'est là qu'intervient, exigeons-nous ce genre de travail de nos coéquipiers ? Cela peut aussi être problématique. La personne noire de votre équipe va probablement déjà faire face à beaucoup de choses différentes, et ensuite les blancs se disent : « Hé, parlez-moi des expériences traumatisantes que vous avez vécues à cause de votre race. » Nous ne devrions probablement pas mettre ce genre de fardeau sur les gens, à moins que …

Eva: Beaucoup de gens soulèveront volontiers cela et en parleront, et je parlerai de choses, de mon expérience en tant que femme, mais ce n'est peut-être pas quelque chose que je veux faire tous les jours. Dans ce cas, embaucher des personnes qui font cela pour le travail, puis toujours payer les gens pour leurs expériences vécues et faire en sorte que cela ne soit pas une exploitation en termes de compensation réelle des gens pour ces connaissances et cette expérience vécue.

Drew : Ouais. Je pense que cela souligne vraiment à quel point il est incroyablement important et bénéfique d'avoir des équipes diverses travaillant sur des produits, apportant toutes sortes d'expériences différentes.

Eva : Oui, absolument.

Drew : L'un des les choses que vous couvrez dans votre livre dans le processus de conception créent des archétypes d'agresseur et de survivant pour vous aider à tester vos fonctionnalités. Pourriez-vous nous parler un peu de cette idée ?

Eva : Ouais. Cela est venu de vouloir avoir une sorte d'artefact de personnage qui aiderait les gens à comprendre très clairement quel est le problème. C'est quelque chose qui vient après que l'équipe a fait des recherches sur le problème et a identifié les différents problèmes probables en matière de sécurité interpersonnelle et peut très clairement exprimer ce que c'est. Ensuite, vous créez l'archétype de l'agresseur, qui est la personne qui essaie d'utiliser votre produit quel que soit le mal, puis l'archétype du survivant, qui va être la victime de ce mal. L'important à ce sujet est d'avoir des objectifs. C'est à peu près comme si vous trouviez une photo, ou vous n'avez même pas besoin d'une photo, mais cela explique simplement ce qu'est l'abus et ensuite les objectifs de la personne.

Eva : Si c'est quelqu'un qui veut comprendre là où leur ex-petite amie vit maintenant parce qu'il veut la harceler, son objectif est de la harceler. Then the survivor’s goal … Well, sorry, the abuser’s goal would be to use your product. Let’s say it’s Strava, for example, is one of the ones I use as an example in the book. I want to use Strava to track down my ex girlfriend, and then the survivor archetype is saying, “I want to keep my location secret from my ex who is trying to stalk me.” Then you can use those goals to help inform some of your design and to test your product to see is there anything about the survivor’s location data that is publicly available to someone who’s trying to find their location, even if they have enabled all of their privacy features?

Eva: I use Strava as the example because up until a few months ago, there was that ability. There was something that even if you had put everything to private, if you were running or exercising nearby someone else using the app for a certain amount of time, it’s unclear how close you have to be or how long you have to be running the same street as this other person, it’ll tag them as having appeared in your workout. That would be an example where the abuser was able to meet his goals, he was able to find his ex in this way. Then you would know, okay, we need to work against it and prevent that goal from being successful.

Drew: Especially, you can’t think up every scenario. You can’t work out what an abuser would try to do in all circumstances. But by covering some key apparent problems that could crop up, then I guess you’re closing lots of doors for other lines of abuse that you haven’t thought of.

Eva: Yes. Yeah, exactly. That brings up a really good other related point, which is that, yeah, you’re probably not going to think of everything. Then having ways for users to report issues and then being the type of team and company that can take those criticisms or issues that users identify with some grace and quickly course correcting because there’s always going to be things you don’t think about and users are going to cover all sorts of things. I feel like this always happens. Being able to have a way to get that feedback and then to quickly course correct is also a really big part of the whole process of designing for safety.

Drew: Is there a process that would help you come up with these potential problems? Say you’re designing a product that uses location data, what process would you go through to think of the different ways it could be abused? Is there anything that helps in that regard?

Eva: Yeah. This is something I get more in depth about in the book, but having some research around it first is the first thing. With location services is a pretty easy one, so to speak. There’s so many documented issues with location services. There’s also been academic studies done on this stuff, there’s lots of literature out there that could help inform the issues that you’re going to face. Then the other thing that I suggest that teams do is after doing this research is doing a brainstorm for novel of use cases that have not been covered elsewhere.

Eva: The way I usually do this is I have the team do a Black Mirror brainstorm. Let’s make a Black Mirror episode. What’s the worst, most ridiculous, just anything goes, worst case scenario for this product or feature that we’re talking about? People usually come up with some really wild stuff and it’s actually usually really fun. Then you say, “Okay, let’s dial it back. Let’s use this as inspiration for some more realistic issues that we might come across,” and then people are usually able to identify all sorts of things that their product might enable.

Drew: For people listening who feel like they would really love to champion this area of work within their organization, do you have any advice as to how they could go about doing that?

Eva: Yeah. There is a lot of stuff about this in the book, about integrating this into your practice and bringing it to your company. Advice for things like talking to a reluctant stakeholder whose only concern is, well, how much is this going to cost me? How much extra time is this going to take? Being able to give really explicit answers about things like that is really useful. Also, I have recordings of my conference talk which people usually say, “I had just had no idea that this was a thing.” You can help educate your team or your company.

Eva: I talked about this in the book too, honestly, it can be awkward and weird to bring this stuff up and just being mentally prepared for how it’s going to feel to be like, “We should talk about domestic violence,” or, “We should talk about invasive child surveillance.” It can be really hard and just weird. One of the pieces of advice I give is for people to talk to a supportive coworker ahead of time, who can back them up if you’re going to bring this up in a meeting and just help reduce the weirdness, and there are some other tactics in the book. But those are definitely the big ones.

Drew: I would normally ask at this point where our listeners should go to find out more about the topic. But I know that the answer is actually to go and read your book. We’ve only really just scratched the surface on what’s covered in Design For Safety, which is out now, this August 2021 from A Book Apart. The book, for me, it’s sometimes an uneasy read in terms of content, but it’s superbly written and it really opened my eyes to a very important topic. One thing I really like about all the A Book Apart books is they’re small and focused and they’re easy to consume. I would really recommend that listeners check out the book if the topic is interesting to them.

Eva: Yeah, thanks for that. Theinclusivesafetyproject.com is the website I have to house all of this information. There’s a lot of great resources in the back of the book for people who want to learn more. But if you just want something and more immediately, you can go to Theinclusivesafetyproject.com and there’s a resources page there that has different sort of articles or studies to look at different people working in related spaces to follow on Twitter, books to read, things like that.

Drew: Right. I’ve been learning what it means to design for safety. What have you been learning about, Eva?

Eva: I have been learning about data. I’m reading a really interesting book called Living in Data by Jer Thorp, which I thought it was going to be all about different issues with big data, which is such a big thing but it’s actually an extremely thoughtful, much more interesting approach to what it means to live in data and just how much data is taken from us every day and what’s done with it and just data out there in the world. It’s really interesting and important, and yeah, I would definitely recommend that book.

Drew: No, amazing. If you the listener would like to hear more from Eva, you can follow her on Twitter where she’s @epenzeymoog, and you can find all her work linked from her website at evapenzeymoog.com. Design For Safety is published abookapart.com and is available now. Thanks for joining us today, Eva. Do you have any parting words?

Eva: Please get vaccinated so that we can go back to normal.

(il)