Qu'y a-t-il derrière les révoltes des employés chez Amazon, Microsoft et Google?

26 juin 2018

10 min de lecture

Qu'est-ce que vous obtenez quand vous croisez la technologie de pointe avec la guerre et la surveillance du gouvernement? Des centaines d'employés perturbés, des centaines de milliers de personnes en détresse et une quantité incalculable de mauvaises relations publiques.

Chez Amazon, les employés sont en colère contre la décision de la société de vendre son logiciel de reconnaissance faciale Rekognition aux services de police et aux agences gouvernementales. La technologie utilise l'intelligence artificielle (IA) pour identifier, suivre et analyser les visages en temps réel, et Amazon prétend reconnaître jusqu'à 100 personnes dans une image et identifier " personnes d'intérêt "À des fins comme la surveillance du gouvernement. En mai, une enquête menée par l'American Civil Liberties Union (ACLU) a montré qu'Amazon vendait activement le logiciel de reconnaissance faciale aux agences gouvernementales

. Dans une lettre interne au PDG Jeff Bezos la semaine dernière, les employés ont mentionné le rapport ACLU et leurs craintes que le logiciel soit utilisé pour nuire aux plus marginalisés.

"La technologie joue un rôle de plus en plus critique dans de nombreux secteurs de la société ", dit la lettre. "Ce qui est clair pour nous, c'est que nos pratiques de développement et de vente n'ont pas encore reconnu l'obligation qui en découle. Se concentrer uniquement sur la valeur pour les actionnaires est une course vers le bas et une autre à laquelle nous ne participerons pas. Nous refusons de construire la plate-forme qui alimente ICE, et nous refusons de contribuer à des outils qui violent les droits humains. En tant qu'Amazoniens concernés par l'éthique, nous exigeons un choix dans ce que nous construisons et un mot à dire dans la façon dont il est utilisé. Nous apprenons de l'histoire, et nous comprenons comment les systèmes d'IBM ont été utilisés dans les années 1940 pour aider Hitler. IBM n'a pas pris ses responsabilités à ce moment-là, et au moment où leur rôle a été compris, il était trop tard. »

Les employés ont demandé à Amazon d'arrêter de vendre des services de reconnaissance faciale aux organismes d'application de la loi, de cesser de collaborer avec Palantir et d'autres entreprises travaillant avec l'ICE. ensemble et mettre en œuvre de fortes mesures de transparence sur les entreprises et les agences qui utilisent les services Amazon et comment. En s'exprimant, les employés d'Amazon ajoutent leurs voix à celles de beaucoup d'autres. Lundi, des organisations de droits civiques, religieuses et communautaires ont visité le siège d'Amazon à Seattle délivrant plus de 150 000 signatures de pétition, une lettre de coalition signée par 70 organisations communautaires à travers les États-Unis et une lettre d'actionnaires. Dans un article publié en juin Amazon Web Services (AWS) indique que le logiciel de reconnaissance faciale de l'entreprise a également été utilisé pour prévenir la traite des êtres humains, l'exploitation des enfants et le vol de colis. d'imposer une interdiction sur les nouvelles technologies prometteuses, car elles pourraient être utilisées par de mauvais acteurs à des fins néfastes à l'avenir », a écrit le Dr Matt Wood, directeur général d'AI chez AWS. "Le monde serait un endroit très différent si nous avions empêché les gens d'acheter des ordinateurs parce qu'il était possible d'utiliser cet ordinateur pour nuire."

La société n'a pas répondu à une demande de commentaires supplémentaires et n'a pas répondu publiquement à lettre ouverte des employés

Ce qui se passe chez Amazon indique une tendance beaucoup plus grande de l'industrie de la technologie au cours des derniers mois. Les employés réalisent – et agissent – leur capacité à s'unir pour façonner la politique de l'entreprise et, avec elle, les trajectoires des causes qui les intéressent.

"Comme ce débat particulier est mené par des employés de l'intérieur des entreprises, Il se joue dans un forum très public, ce qui est inhabituel », explique Alan Smeaton, professeur d'informatique à l'Université de Dublin. "Il montre une lutte de pouvoir de l'intérieur."

Dans un blog de janvier, Microsoft a vanté sa fierté en soutenant le travail de sécurité intérieure de ICE avec ses services de cloud computing. La politique controversée de «tolérance zéro» de l'administration Trump à l'encontre des personnes qui traversent illégalement la frontière a fait les gros titres ces dernières semaines pour avoir séparé plus de 2 300 enfants de leurs familles. La semaine dernière, plus de 100 employés de Microsoft ont signé une lettre ouverte au PDG Satya Nadella pour protester contre le contrat de 19,4 millions de dollars avec ICE. 19659004] "Nous croyons que Microsoft doit adopter une position éthique et placer les enfants et les familles au-dessus des profits", indique la lettre. "En tant que personnes qui construisent les technologies dont Microsoft profite, nous refusons d'être complices. Nous faisons partie d'un mouvement grandissant, composé de nombreux acteurs de l'industrie qui reconnaissent la lourde responsabilité de ceux qui créent une technologie puissante pour s'assurer que ce qu'ils construisent est utilisé pour le bien et non pour le mal. "

memo aux employés, Nadella a dénoncé la politique de séparation familiale à la frontière comme «cruelle et abusive», mais il a également minimisé l'implication de l'entreprise dans ICE. "Je veux être clair: Microsoft ne travaille pas avec le gouvernement américain sur des projets liés à la séparation des enfants de leurs familles à la frontière", a-t-il écrit, en mentionnant que les services cloud sont "hérités, calendrier, messagerie et gestion de documents Il n'a pas établi de lignes directrices spécifiques en matière de transparence pour ces contrats et, en réponse à une demande de commentaires, un représentant a déclaré Entrepreneur que Microsoft n'avait plus rien à partager.

7 entreprises réinventant des champs «anciens» avec une nouvelle technologie

Les employés d'Amazon et de Microsoft ne sont pas les seuls à prendre l'alarme

En mars, le site d'actualités techniques Gizmodo ] a signalé la décision de Google d'employer l'IA pour soutenir un programme pilote militaire controversé appelé Project Maven. L'initiative vise à améliorer l'analyse des séquences de drones en classant automatiquement les images de personnes et d'objets et pourrait être utilisée pour rendre les frappes de drones plus précises. «À un moment donné, je me suis rendu compte que je ne pouvais pas recommander de bonne foi à quiconque de rejoindre Google, sachant ce que je savais», a déclaré un employé de Google à Gizmodo en mai. . «Je me suis rendu compte que si je ne pouvais pas recommander aux gens de venir ici, pourquoi suis-je encore ici?» (Par ailleurs, la société a discrètement retiré la plupart des mentions de sa devise «ne sois pas méchant». conduite en fin avril ou début mai.)

L'implication de Google dans le projet Maven a provoqué un tollé général et les chercheurs de l'IA à travers le pays ont signé une lettre ouverte appelant la société à s'engager à ne jamais La technologie. Google a annoncé en juin qu'il ne renouvellerait pas son contrat avec le Pentagone après son expiration l'année prochaine, ainsi que le retrait de son partenariat avec l'armée à des fins d'IA

"Nous reconnaissons qu'une technologie aussi puissante soulève des questions tout aussi son utilisation, "Google a publié dans un article de blog de après l'annonce que l'entreprise ne renouvellerait pas son contrat avec le Pentagone. L'entreprise a énoncé sept principes pour ses travaux futurs sur l'IA, précisant qu'ils ne seraient pas traités comme des concepts théoriques mais plutôt comme des «normes concrètes qui régiront activement notre recherche et développement de produits». Les principes eux-mêmes: être socialement bénéfique, éviter ou renforcer les préjugés injustes, être construit et testé pour la sécurité, rendre des comptes aux personnes, incorporer les principes de conception de la vie privée, maintenir des normes élevées d'excellence scientifique et être mis à disposition pour des usages conformes à ces principes. pour les utilisations de l'IA, elle ne poursuivra pas, bien que la langue permette sans doute une certaine marge de manœuvre. En ce qui concerne les technologies qui causent ou sont susceptibles de causer un préjudice global, l'entreprise a précisé: «Lorsqu'il y a un risque important de préjudice, nous ne procéderons que si nous croyons que les avantages l'emportent largement sur les risques et incorporent des contraintes de sécurité appropriées. La compagnie dit qu'elle ne collaborera pas sur des armes ou «d'autres technologies dont l'objectif principal est de causer ou de faciliter directement les blessures», ni sur les «technologies qui recueillent ou utilisent des informations pour la surveillance en violation des normes internationalement acceptées». dont le but contrevient aux principes largement acceptés du droit international et des droits de l'homme. "Google a refusé de commenter plus loin Entrepreneur .

En ce qui concerne le pouvoir collectif des techniciens de façonner la nature de la politique de l'entreprise, les implications à travers les industries, la politique et les relations internationales sont loin.

Ces implications n'ont pas été explorées correctement par les chercheurs, Selon les 26 auteurs d'un récent rapport intitulé " L'utilisation malveillante de l'intelligence artificielle ." Les antécédents des auteurs couvraient le monde universitaire, la société civile et l'industrie, de l'Université de Cambridge à l'Avenir de Institut de l'Humanité. En matière de sécurité politique, le rapport souligne l'utilisation potentielle de l'IA pour la propagande ciblée et la tromperie, comme la manipulation de vidéos ou de discours humains

"Les chercheurs en IA et les organisations qui les emploient sont dans une position unique. Le monde à intelligence artificielle », dit le rapport, qui souligne le besoin d'éducation, de normes éthiques et d'attentes

Related: Voici comment commencer avec l'IA quand la seule chose que vous connaissez est l'acronyme

L'afflux récent n'est pas la première fois que l'IA a été impliquée dans des controverses. En 2015, Google Photos a étiqueté les utilisateurs afro-américains comme des gorilles, et en 2017, les développeurs russes de FaceApp ont "embelli" les visages en éclaircissant les tons chair. Mais "ce que nous voyons maintenant est différent", dit Smeaton. C'est parce que les controverses antérieures sur l'utilisation de données faussées utilisées pour former la technologie, pas la technologie AI elle-même.

Les chercheurs d'IA deviennent plus conscients de la façon dont le travail qu'ils ont utilisé pour un usage pourrait être utilisé pour quelque chose de différent. même avec une intention malveillante – par d'autres. Smeaton souligne le chercheur de l'Université de Cambridge, Aleksandr Kogan, comme un excellent exemple. "Kogan n'est pas le premier à constater qu'une fois que son travail est sorti de la boîte, d'autres prennent le contrôle de son utilisation", dit-il, mentionnant qu'après avoir vu la dévastation causée par les bombes atomiques Hiroshima et Nagasaki, Robert Oppenheimer a tenté pour arrêter le développement et ensuite démissionné du projet Manhattan. «D'une certaine manière, nous voyons l'histoire se répéter», déclare Smeaton.

"Tech a besoin de son talent, et son talent sait mieux que la plupart d'entre nous les changements sismiques … la technologie va se déchaîner", affirme Maya Wiley, militante américaine des droits civiques. "Ce n'est pas tout bon, et nous devons être des gens avant les profiteurs."

Après la nouvelle de l'implication de Google dans la technologie de guerre et le Pentagone, plus de 300 employés de l'industrie ont signé une pétition à Google, Amazon, Microsoft et IBM avec une prémisse: Tech ne devrait pas être dans les affaires de la guerre.

"Beaucoup d'entre nous signer cette pétition sont confrontés à des décisions éthiques dans la conception et le développement de la technologie sur une base quotidienne" ça dit. "Nous ne pouvons pas ignorer la responsabilité morale de notre travail … Nous représentons un réseau croissant de techniciens qui s'engagent à ne jamais" suivre les ordres ", mais à nous tenir responsables les uns des autres et de l'industrie."