Automatisation et contenus illégaux : peut-on se fier aux machines qui décident à notre place ?

Bien que l'automatisation soit nécessaire en vue de gérer et traiter l'immense quantité de contenus partagés sur le Net par les internautes, les machines commettent des erreurs qui peuvent nuire gravement à vos droits, et au bien-être de la société.

La plupart d'entre nous aimons discuter et partager nos idées et avis sur des questions sérieuses ou bêtes, partager des moments heureux ou tristes, et jouer ensemble sur internet. Et c'est un très bonne chose. Nous voulons tou.te.s être libres d'apprendre de nouvelles choses, de contacter nos amis et de rencontrer de nouvelles personnes. Toutes les minutes, nous partageons constamment des photos, vidéos et idées. Nous partageons 527 760 photos sur Snapchat, regardons 4 146 600 vidéos sur Youtube, partageons 456 000 tweets et près de 46 740 photos sur Instagram. Toutes les minutes ! Et savez-vous de combien de minutes se compose une journée ? 1440.

Ces contenus sont de nature différente. Ce sont, par exemple, des vidéos amateur, parfaitement légales. Mais certains contenus enfreignent clairement la loi, comme la pédopornographie ou l'incitation à la haine. Et entre ces contenus légaux et illégaux. il existe un troisième groupe, qui certaines personnes pensent nuisible, quand d'autres pensent qu'il ne représente absolument aucun problème. Bien qu'elles ne soient pas illégales, certains parents aimeraient éviter que leurs enfants regardent des vidéos pornos à 12 ans. Il n'est pas facile de définir, voir catégoriser, quel contenu est nuisible et pour qui il est nuisible. Tout cela dépend aussi de la culture, de l'âge, des circonstances et de nombreux autres facteurs.

Parce qu'une vaste quantité de contenus en ligne est hébergée par des plateformes en ligne, ces dernières doivent se reposer sur des outils automatisés (des robots) pour identifier et retirer différentes catégories de contenus potentiellement illégaux ou nuisibles. Plus particulièrement, des acteurs dominants tels que Facebook et Google ont utilisé des technologies de filtrage des contenus et de supervision de ces derniers en vue d'identifier des contenus et de les supprimer. Sommes-nous d'accord pour retirer les contenus pédopornographiques ? Certainement. Sommes-nous d'accord pour empêcher ISIS de diffuser ses vidéos de recrutement? Absolument.

L'UE et quelques États membres, ont continuellement poussé les plateformes de partage de contenus en ligne à retirer rapidement les contenus illégaux ou potentiellement nuisibles, tels que les discours de haine ou d'apologie au terrorisme, menaçant souvent d'amendes les entreprises si ces dernières n'agissaient pas assez vite. Pour satisfaire ces demandes de la part de l'UE, les entreprises s'appuient ainsi sur des outils automatisés permettant de filtrer les contenus qui ne devraient pas être publiés sur Internet.

Si l'automatisation est nécessaire en vue de traiter l'immense quantité de contenus partagés par les internautes, cette technologie commet des erreurs qui peuvent porter atteinte à nos droits et libertés et plus largement menacer le bien-être de la société.

1. L'incapacité des filtres à saisir le contexte menace grandement la liberté d'expression

Les outils décisionnels automatisés ne parviennent pas à comprendre les différences linguistiques ou culturelles. Les technologies de reconnaissance des contenus sont incapables de saisir le contexte des expressions avec précision. Même dans des situations simples, ces outils établissent de fausses correspondances. En 2017, la pop star Ariana Grande avait diffusé en direct son concert caritatif "One Love Manchester" su sa chaîne Youtube. La diffusion avait rapidement été interrompue par le filtre de téléchargement de Youtube, qui avait identifié ce concert comme une atteinte aux droits d'auteur de la chanteuse... Et plus sérieusement, ce même outil a retiré des milliers de vidéos youtube qui témoignent des atrocités commises contre des civils en Syrie, pouvant potentiellement entraver de futures enquêtes sur les crimes de guerre qui pourraient permettre de poursuivre leurs auteurs en justice. En raison de leur non compréhension du contexte, ou en d'autres termes, de leur incapacité à saisir les réelles intentions des utilisateur.trice.s, ces outils identifient et retirent des contenus qui sont totalement légaux. Par conséquent, les journalistes, activistes, comédiens, artistes, ainsi que chacun de nous qui partage des opinions, vidéos ou photos, risque d'être censuré pour la simple et bonne raison que les entreprises du Net s'appuient sur des outils au fonctionnement défaillant.

2. Les filtres automatiques ne représentent en aucun cas un remède miracle

Ces technologies sont parfois décrites comme l' "intelligence artificielle", un terme qui évoque des notions d'intelligence informatique surhumaine. Cependant, aucune technologie de la sorte existe, ni ne pointe à l'horizon. Ce terme se réfère plutôt à des modèles avancés de statistiques qui ont été conçus pour reconnaître des tendances et schémas, mais sans réelle "compréhension" ou "intelligence". Les technologies de reconnaissance de contenus ne peuvent saisir le sens ou les intentions de celles.ceux qui partagent une publication sur les réseaux sociaux ou les effets que celle-ci aura sur les autres. Ces outils ne font que scanner les contenus à la recherche de certaines caractéristiques, tels que des éléments visuels, verbaux ou sonores, qui correspondent à ce que l'on leur a "appris" à identifier comme étant des "discours de haine" ou "contenus terroristes". Il n'existe pas de donnée d'apprentissage parfaite et dénuée d'ambiguïté, et c'est pour cette raison que la capacité de ces outils à reconnaître ces schémas sont intrinsèquement limitées au type de contenus que ces derniers ont été formés à reconnaître. Bien que ces technologies puissent atteindre des niveaux très élevés de précision quand il s'agit d'identifier des tendances claires et non ambigües, leur capacité à automatiser la mission très sensible visant à juger si quelque chose constitue ou non un discours de haine est fondamentalement limitée.

Tout naturellement, les gouvernements souhaitent montrer à leurs citoyen.ne.s qu'ils prennent des mesures pour les protéger du terrorisme, des discours de haine, des violences sexuelles sur mineurs ou des atteintes aux droits d'auteur. Et les entreprises sont très heureuses de pouvoir vendre leurs outils technologiques automatisés et de les présenter comme une solution miracle aux représentants politiques, qui cherchent désespérément une réponse simple à ces problématiques. Mais nous nous devons de garder à l'esprit qu'aucun automatisé ne résoudra ces problèmes, profondément ancrés dans notre société. Nous pouvons les utiliser comme des outils permettant de réduire le fardeau que doivent supporter les plateformes, mais nous avons besoin de garde-fous qui assurent que nous ne sacrifions pas les droits humains et les libertés fondamentales à cause d'outils mal "formés" et défaillants.

En définitive, qui devrait décidé de ce que nous pouvons voir sur Internet ? Resté.e à l'écoute et ne manquez pas le prochain article de cette série !

Auteures : Eliška Pírková de Access Now & Eva Simon de Liberties