Le discours de haine est encore trop facile à trouver sur les médias sociaux

Peu de temps après le tournage de la synagogue à Pittsburgh, j'ai remarqué que le mot «Juifs» était une tendance sur Twitter. En tant que chercheur et éducateur sur les médias sociaux, je craignais que la violence ne se répande en ligne, comme ce fut le cas dans le passé .

Le tireur présumé du synagogue sur le site des médias sociaux de Gab ] a attiré l'attention sur le rôle de ce site en tant que alternative remplaçante de haine à des options plus classiques telles que Facebook et Twitter. Celles-ci figurent parmi les plates-formes de médias sociaux qui ont promis de combattre le discours de haine et les abus en ligne sur leurs sites .

. ] Cependant, alors que j’explorais les activités en ligne à la suite du tournage, j’ai vite compris que les problèmes ne se posaient pas uniquement sur des sites comme Gab. Le discours de haine est encore facile à trouver sur les principaux réseaux de médias sociaux, y compris Twitter . J'ai également identifié quelques étapes supplémentaires que l'entreprise pourrait prendre.

Réponses incomplètes aux nouveaux termes incitatifs à la haine

Je m'attendais à ce que de nouvelles menaces apparaissent en ligne autour de la fusillade à Pittsburgh, et certains signes indiquaient qu'il se produisait. Dans une récente attaque antisémite le dirigeant de la Nation of Islam, Louis Farrakhan, a utilisé le mot «termite» pour décrire le peuple juif. J'ai cherché ce terme, sachant que les racistes utiliseraient probablement la nouvelle insulte comme un mot de code pour éviter d'être détecté lors de l'expression de l'antisémitisme.

Twitter n'a pas suspendu le compte de Farrakhan à la suite de encore une fois de son antisémitisme. Les déclarations sémitiques et la fonction de recherche de Twitter suggèrent automatiquement que je cherche peut-être l'expression «le termite mange des balles». Cela transforme le champ de recherche de Twitter en un panneau d'affichage de discours de haine.

La société avait cependant apparemment ajusté certains ses algorithmes internes, car aucun résultat tweeté antisémite du mot «termite» ne figurait dans mes résultats de recherche.

Messages inaperçus pendant des années

Alors que je poursuivais mes recherches de discours de haine et d'appels à la violence contre les Juifs , J'ai trouvé des preuves encore plus troublantes de lacunes dans le système de modération du contenu de Twitter.

À la suite des élections américaines de 2016 et de la découverte que Twitter était utilisé pour influencer elec tion la société a déclaré qu'elle investissait dans l'apprentissage automatique pour « détecter et atténuer les effets sur les utilisateurs d'activité de compte fictif, coordonné et automatisé ."

D'après ce que j'ai découvert, ces les systèmes n'ont pas identifié même des menaces violentes et des discours de haine très simples, clairs et directs, qui se trouvaient sur son site depuis des années.

Lorsque j'ai signalé un tweet posté en 2014 qui préconisait de tuer les Juifs «pour le plaisir», Twitter l'a arrêté. le même jour – mais son avis standard automatisé sur Twitter n'expliquait pas pourquoi il n'avait pas été touché depuis plus de quatre ans.

"Mon seul rêve est un monde sans juifs"

– HAMAS PALESTINE (@ b4ng_yus) Le 20 juillet 2014

Le système haineux: le système

Lorsque j'ai examiné des tweets haineux qui n'avaient pas été capturés après toutes ces années, j'ai remarqué que beaucoup ne contenaient aucun texte – le tweet n'était qu'une image.

Sans texte, les tweets sont plus difficiles pour les utilisateurs et Twitter ' s propres algorithmes d’identification de haine, à trouver. Mais les utilisateurs qui recherchent spécifiquement un discours de haine sur Twitter peuvent ensuite faire défiler l'activité des comptes trouvés, en affichant des messages encore plus haineux.

Twitter semble être conscient de ce problème: les utilisateurs signalant un tweet sont invités à ] examinez quelques autres tweets du même compte et soumettez-les au même moment. Cela finit par soumettre un peu plus de contenu à l'examen, mais laisse encore de la place pour que certains ne soient pas détectés.

Aide pour les géants de la technologie en difficulté

Lorsque j'ai trouvé des tweets qui, à mon avis, violaient les politiques de Twitter, je les ai signalés. La plupart d'entre eux ont été enlevés rapidement, même en moins d'une heure. Cependant, certains messages offensants ont mis plusieurs jours à paraître.

Il reste encore quelques tweets textuels qui n’ont pas été supprimés, bien qu’ils aient clairement enfreint la politique de Twitter. Cela montre que le processus de révision du contenu de la société n'est pas cohérent.

Il peut sembler que Twitter élimine de mieux en mieux les contenus préjudiciables, qu'il supprime beaucoup de contenu et de mèmes et qu'il suspend des comptes, mais qu'une grande partie de cette activité n'est pas liée. haïr le discours.

Au contraire, une grande partie de l'attention de Twitter a été consacrée à ce que la société appelle « manipulation manipulée », tels que des robots et des réseaux de faux profils gérés par des unités de propagande du gouvernement . .

À mon avis, la société pourrait faire un pas important en sollicitant l’aide de membres du public, ainsi que de chercheurs et d’experts comme mes collègues et moi-même, pour identifier un contenu odieux.

C’est courant pour les entreprises technologiques. – y compris Twitter – pour offrir des paiements aux personnes signalant des failles de sécurité dans leur logiciel.

Toutefois, tout ce que l'entreprise propose aux utilisateurs qui signalent un contenu problématique est envoie un message généré automatiquement en remerciement. La disparité dans la manière dont Twitter traite les problèmes de code et les rapports de contenu envoie un message indiquant que l'entreprise donne la priorité à sa technologie par rapport à sa communauté.

Twitter pourrait . payez des gens pour avoir signalé du contenu enfreignant les règles de la communauté, offrant des récompenses financières pour éradiquer les vulnérabilités sociales de son système, comme si ces utilisateurs l'avaient aidé à identifier des problèmes liés aux logiciels ou au matériel.

Un dirigeant de Facebook. s'est dit préoccupé par le fait que cette solution potentielle pourrait se retourner contre et générer plus de haine en ligne, mais je pense que le programme de récompenses pourrait être structuré et conçu de manière à éviter ce problème.

Il reste encore beaucoup à faire

Il existe d'autres problèmes avec Twitter qui vont au-delà de ce qui est posté directement sur son propre site. Les personnes qui publient un discours de haine tirent souvent parti d'une caractéristique essentielle de Twitter, à savoir la possibilité pour les tweets d'inclure des liens vers d'autres contenus Internet.

Cette fonction est essentielle pour l'utilisation de Twitter, car elle permet de partager des contenus d'intérêt mutuel sur le Web. Mais c’est aussi une méthode de diffusion du discours de haine.

Par exemple, un tweet peut sembler totalement innocent en disant: «C’est drôle» et en fournissant un lien. Mais le lien – vers le contenu non publié sur les serveurs de Twitter – appelle un message rempli de haine.

En outre, la modération du contenu de Twitter Le système permet uniquement aux utilisateurs de signaler des tweets haineux et menaçants – mais pas les comptes dont les profils contiennent des messages similaires.

Certains de ces comptes – notamment ceux avec des photos de profil d'Adolf Hitler, ainsi que les noms et les Twitter qui préconisent de brûler des juifs – ne postez même pas de tweets et ne suivez pas les autres utilisateurs de Twitter.

Parfois, ils peuvent tout simplement exister pour être trouvés lorsque des personnes <span id = "urn: enhancement-edc701ee-20cd-c32d-f1d0-86202a01d804 "class =" textannotatio n "> recherchez des mots dans leurs profils, transformant à nouveau le champ de recherche de Twitter en un système de diffusion.

<span id =" urn: enhancement-edc701ee-20cd-c32d-f1d0 -86202a01d804 "class =" textannotatio n "> Ces comptes peuvent également – bien qu’il soit impossible de le savoir – être utilisés pour communiquer avec d’autres sur Twitter par message direct en utilisant la plateforme comme voie de communication secrète.

En l'absence de tweets ou d'autres activités publiques, il est impossible pour les utilisateurs de signaler ces comptes via le système de rapports de contenu standard. Mais ils sont tout aussi offensants et nuisibles – et doivent être évalués et modérés comme tout autre contenu du site.

Alors que les personnes cherchant à propager la haine deviennent de plus en plus sophistiquées, les directives de la communauté Twitter – mais surtout ses efforts de mise en application –

Si les sites de médias sociaux veulent éviter de devenir – ou de rester – des vecteurs de guerre de l'information et des fléaux d'idées haineuses et de mèmes, ils doivent s'intensifier beaucoup plus activement et au moins, leurs milliers d’employés à plein temps chargés de modérer le contenu cherchent comme un professeur au cours d’un week-end.

Cet article est republié du The Conversation de Jennifer Grygiel professeur adjoint en communication, <a href="http://theconversation.com/institutions/syracuse-university-1994" target="_blank" rel="nofollow noopener"> Université de Syracuse sous un Creative Com licence mons. Lisez l'article original .