Modération de contenus inappropriés sur Internet : découvrez l’IA développée par Yahoo Labs

Les contenus inappropriés, tels que les propos injurieux ou les images choquantes, déferlent sur le Web. Pour endiguer leur prolifération, les entreprises qui évoluent sur la toile doivent sans cesse mettre en œuvre de nouvelles formules de modération de contenu. L’IA (Intelligence Artificielle) élaborée par Yahoo Labs, fait partie des solutions innovantes dans le domaine.

Les difficultés de modérer certains contenus

Pour modérer leurs contenus, des entreprises recourent aux services d’un modérateur, en interne ou en externalisation, en sollicitant les prestations d’une agence de modération ou en dressant des listes noires. Ces techniques s’avèrent parfois efficaces, mais leur impact est assez limité. Les géants du Web développent ainsi des logiciels de plus en plus performants, aptes à appréhender les subtilités des langages utilisés par les internautes. Toutefois, le travail est très compliqué, notamment pour la modération de messages incitant à la haine et des vidéos de propagande qui nécessitent une évaluation du contexte. En effet, il est difficile pour une machine de comprendre un texte. Il suffit de se référer aux traductions réalisées par les outils dédiés en ligne pour en avoir un aperçu. Pour modérer de tels contenus, il faut tenir compte de facteurs contextuels qui ne sont pas définis à l’avance. De ce fait, il n’est guère étonnant qu’un algorithme ne soit pas en mesure d’accomplir convenablement la mission d’analyse qui lui a été confiée, le caractère inapproprié des contenus dépendant d’une situation inhabituelle, non programmée au préalable.
De leur côté, certains utilisateurs font preuve d’ingéniosité pour contourner les règles établies par les logiciels de modération. Ils recourent à de nombreuses astuces pour éviter la censure. Cela peut consister à supprimer une lettre dans un mot ou à en rajouter. D’autres remplacent des lettres par des chiffres. L’emploi de mots d’argot ou l’amalgame de plusieurs langues suffit à tromper l’algorithme. Ces pratiques sont très courantes et elles sont même utilisées par la plupart des internautes sans qu’ils ne s’en rendent compte. Au final, ils obtiennent un message hermétique, quel que soit le programme informatique mis en place. La créativité humaine dépasse de loin les capacités d’une machine, aussi perfectionnée soit-elle.

Une IA ayant un taux de précision de 90%

Une équipe de chercheurs de Yahoo Labs s’est penchée sur ce problème. Elle a inventé une nouvelle IA qui serait capable de pourchasser les contenus choquants et injurieux publiés sur la toile de manière plus performante que tous les programmes mis en œuvre jusqu’ici. Le taux de précision de ce nouvel outil est estimé à 90%, un pourcentage nettement supérieur à celui de ses principaux concurrents. Selon la revue « MIT Technology », la force de cet algorithme réside dans le fait que les chercheurs aient combiné des méthodes banales, telles que la détection d’injures, de ponctuations couramment utilisées pour les accompagner, les règles de syntaxe, avec des techniques plus complexes pour déceler le sens des mots. Le logiciel a été conçu pour analyser en profondeur une base de données contenant des avis signalés et ensuite retirés, des articles publiés sur Yahoo News et Yahoo Finance entre 2012 et 2014. Pour affiner les détections, l’équipe de chercheurs a également inclus dans cette base de données des commentaires respectueux. Ainsi, même si le groupe Yahoo a vendu le cœur de ses activités à l’opérateur Vérizon, son secteur dédié à la recherche et au développement reste toujours actif.

Les limites des logiciels de détection d’injures

Les chercheurs de Yahoo Labs ont inventé ce programme pour faire face aux problèmes rencontrés par le Natural Language Processing, méthode habituellement utilisée pour la modération des contenus en ligne, sur les réseaux sociaux ou sur n’importe quelle plateforme. Ils ont, tout d’abord, identifié le concept d’offuscation qui est lié à la variabilité de l’orthographe sur le Web. Aucun logiciel n’a été, auparavant, capable de couvrir l’ensemble des transformations orthographiques employées par les Internautes. À titre d’exemple : certains écrivent « ch4t » au lieu de chat, « géniaaaaal » au lieu de génial.
Ces ingénieurs développeurs ont aussi relevé la difficulté de reconnaître la totalité des injures discriminatoires pouvant toucher une multitude de minorités existantes ou imaginaires. Ils ont constaté qu’il est pratiquement impossible de détecter automatiquement les insultes. Contrairement aux idées reçues, les Internautes qui postent des injures respectent les règles d’orthographe et de grammaire.
Par ailleurs, il faut prendre en considération le contexte extérieur au message lui-même. Prenons un exemple : “Chuck Hagel protégera les Américains de ces animaux du désert. Laissez-les plutôt s’entretuer, bon débarras !“. Un algorithme peut interpréter cette phrase de différentes manières. Il est difficile d’affirmer que les « animaux du désert » font allusion à une minorité ou réellement à des espèces animales. Enfin, un programme élaboré pour détecter les insultes n’est pas capable de discerner les tons sarcastiques qui pourraient faire l’objet d’une censure.

Une combinaison de deux techniques de modération

L’équipe de chercheurs s’est inspirée du système « word embedding » qui a servi aux ingénieurs de Facebook pour développer le logiciel « Deep Text ». Le principal défi de la modération automatisée étant la compréhension du langage par l’algorithme, ce procédé a été mis au point afin de permettre au programme d’analyser et de traiter l’aspect sémantique des données. La programmation de l’outil a tenu compte de certains critères : anticiper, superviser et être constant. La majorité des logiciels de compréhension et de traduction de textes en ligne recourent à l’usage d’étiquettes pour établir la catégorie des mots. Toutefois, pour sauvegarder le lien entre le mot et l’étiquette, il importe que le mot soit écrit de la même manière qu’il a été inséré dans le programme. La combinaison des techniques « word embedding » et « deep learning » permet de créer des corrélations entre les différentes variantes d’un mot grâce à un système de repérage des similitudes morphologiques.

Une problématique complexe pour les acteurs sur Internet

La censure constitue un problème très complexe pour les acteurs du Web. Comme les Internautes interagissent de façon permanente sur la toile, les détenteurs de site doivent gérer ce flux incessant d’informations. Le recours aux prestations de modérateurs s’avère indispensable. Nombreux sont ceux qui optent pour l’outsourcing, à Madagascar notamment, afin d’assurer la modération de leur plateforme. Certes, les réseaux sociaux effectuent régulièrement des mises à jour, mais les partages et les avis inappropriés prolifèrent à un rythme très rapide si bien qu’il devient de plus en plus difficile de les suivre. Cette inaptitude à contenir et à modérer le flux des échanges a montré ses limites lors des récents attentats ayant eu lieu en France, aux États-Unis et en Allemagne. Les messages de haine et de violence ont déferlé sur Internet. La contre-attaque a été fulgurante, non pas de la part de Facebook, mais du gouvernement français qui s’est distingué par le nombre de signalements émis au cours de l’année 2015.

La politique de modération de Facebook

Rappelons que Facebook a soulevé la polémique en 2012 lorsqu’il a supprimé un post publiant « l’Origine du monde », œuvre célèbre de Courbet. Ce retrait a suscité de vifs débats. En guise de réponse aux différentes attaques dont il a fait l’objet, le réseau social a ouvert une rubrique visant à apporter des éclaircissements sur sa politique de modération. Il faut signaler qu’avant 2015, Facebook n’avait pas porté à la connaissance des utilisateurs ses règles de censure et les publications étaient annulées sans aucune explication. Depuis, les utilisateurs sont mieux informés sur les contenus à éviter sous peine de rejet. Citons en exemple « les discours qui incitent à la haine, les contenus violents, trop explicites ainsi que la nudité ». Comme Facebook est une plateforme ouverte à toutes les catégories d’Internautes, les règles ont été établies afin de rappeler au public certaines valeurs et notions à respecter malgré la grande diversité de personnes qui sillonnent le Web.
Les entreprises américaines sont majoritaires sur la toile. Ainsi, les règles de modération s’inspirent des normes morales appliquées aux États-Unis. Pour mettre un terme aux polémiques, Facebook a décidé d’adopter une stratégie rigoureuse, la tolérance zéro. Cependant, depuis 2015, les règles ont été plus ou moins assouplies. Le réseau social autorise la publication d’images de nudité, à condition qu’elles aient un caractère artistique, telle que la célèbre peinture « l’Origine du monde » qui a fait couler beaucoup d’encre et déchaîné autant de passions. En marge de la fonctionnalité « signaler la publication » demandant la suppression d’un post, Facebook met en œuvre une multitude de logiciels pour détecter les contenus inappropriés, mais leur succès est assez mitigé.

En conclusion

Pour filtrer les messages insultants et les images choquantes, les réseaux sociaux déploient un large éventail de logiciels pour les détecter. Force est, toutefois, de constater que la réussite de ces programmes informatiques est relative. Aucune machine ne vaut l’intervention humaine qui dispose d’un esprit de discernement pour évaluer, de manière objective, les posts publiés par les Internautes. Avez-vous créé des espaces participatifs sur votre plateforme ? Il importe de faire modérer ses réseaux sociaux ! N’hésitez pas à faire appel à notre société de modération LAPLUME.MG pour gérer le flux continu d’informations sur votre site Internet, votre blog ou votre forum.