jeÀ la suite d’une autre fusillade à caractère raciste diffusée en direct sur les réseaux sociaux, les entreprises technologiques sont confrontées à de nouvelles questions sur leur capacité à modérer efficacement leurs plateformes.

PaytonGendron, le tireur de 18 ans qui a tué 10 personnes dans un quartier majoritairement noir de Buffalo, New York, samedi, a diffusé son violent déchaînement sur le service de streaming de jeux vidéo Twitch. Twitch dit avoir supprimé le flux vidéo en quelques minutes, mais il restait suffisamment de temps pour que les gens créent des copies éditées de la vidéo et la partagent sur d’autres plateformes, notamment Streamable, Facebook et Twitter.

Alors, comment les entreprises technologiques travaillent-elles pour signaler et supprimer les vidéos de violence qui ont été modifiées et diffusées sur d’autres plateformes sous différentes formes – des formes qui peuvent être méconnaissables de la vidéo originale aux yeux des systèmes automatisés ?

À première vue, le problème semble compliqué. Mais selon Hany Farid, professeur d’informatique à l’UC Berkeley, il existe une solution technique à ce problème technique unique. Les entreprises technologiques ne sont tout simplement pas motivées financièrement pour investir des ressources dans son développement.

Le travail de Farid comprend des recherches sur le hachage robuste, un outil qui crée une empreinte digitale pour les vidéos qui permet aux plateformes de les trouver ainsi que leurs copies dès qu’elles sont téléchargées. The Guardian s’est entretenu avec Farid du problème plus large de l’interdiction du contenu indésirable des plateformes en ligne et de la question de savoir si les entreprises technologiques en font assez pour résoudre le problème.

Cette interview a été modifiée pour plus de longueur et de clarté.

Twitch dit que il a pris la vidéo du tireur de Buffalo en quelques minutes, mais versions éditées de thLa vidéo a toujours proliféré, pas seulement sur Twitch mais sur de nombreuses autres plateformes. Comment stopper la diffusion d’une vidéo éditée sur plusieurs plateformes ? Y a-t-il une solution?

Ce n’est pas un problème aussi difficile que le secteur de la technologie vous le fera croire. Il y a deux choses en jeu ici. L’un est la vidéo en direct, la rapidité avec laquelle cela aurait pu et aurait dû être trouvé et la façon dont nous limitons la distribution de ce matériel.

La technologie de base pour arrêter la redistribution est appelée “hachage” ou “hachage robuste” ou “hachage perceptif”. L’idée de base est assez simple : vous avez un élément de contenu qui n’est pas autorisé sur votre service, soit parce qu’il a violé les conditions d’utilisation, soit parce qu’il est illégal ou pour une raison quelconque, vous accédez à ce contenu et extrayez une signature numérique ou un hachage comme on l’appelle.

Ce hachage a des propriétés importantes. Le premier est qu’il est distinct. Si je vous donne deux images différentes ou deux vidéos différentes, elles doivent avoir des signatures différentes, un peu comme l’ADN humain. C’est en fait assez facile à faire. Nous sommes capables de le faire depuis longtemps. La deuxième partie est que la signature doit être stable même si le contenu est modifié, lorsque quelqu’un change, par exemple, la taille ou la couleur ou ajoute du texte. La dernière chose est que vous devriez pouvoir extraire et comparer les signatures très rapidement.

Donc, si nous avions une technologie qui satisfaisait à tous ces critères, dirait Twitch, nous avons identifié une attaque terroriste qui est diffusée en direct. Nous allons récupérer cette vidéo. Nous allons extraire le hachage et nous allons le partager avec l’industrie. Et puis, chaque fois qu’une vidéo est téléchargée avec le hachage, la signature est comparée à cette base de données, qui est mise à jour presque instantanément. Et puis vous arrêtez la redistribution.

Comment les entreprises technologiques réagissent-elles en ce moment et pourquoi n’est-ce pas suffisant ?

C’est un problème de collaboration au sein de l’industrie et c’est un problème de technologie sous-jacente. Et si c’était la première fois que ça arrivait, je comprendrais. Mais ce n’est pas, ce n’est pas la 10e fois. Ce n’est pas la vingtième fois. Je tiens à souligner qu’aucune technologie ne sera parfaite. Il s’agit de lutter contre un système intrinsèquement accusatoire. Mais ce ne sont pas quelques choses qui passent entre les mailles du filet. Votre artère principale éclate. Le sang jaillit quelques litres par seconde. Ce n’est pas un petit problème. Il s’agit d’un échec catastrophique complet pour contenir ce matériau. Et à mon avis, comme c’était le cas avec la Nouvelle-Zélande et comme c’était celui d’avant, c’est inexcusable d’un point de vue technologique.

Mais les entreprises ne sont pas motivées pour résoudre le problème. Et nous devrions arrêter de prétendre que ce sont des entreprises qui se foutent de tout autre chose que de gagner de l’argent.

Parlez-moi des problèmes existants avec la technologie qu’ils utilisent. Pourquoi n’est-ce pas suffisant ?

Je ne connais pas toutes les technologies utilisées. Mais le problème est la résistance à la modification. Nous savons que notre adversaire – les personnes qui veulent ce genre de choses en ligne – apporte des modifications à la vidéo. Ils le font avec la violation du droit d’auteur depuis des décennies maintenant. Les gens modifient la vidéo pour essayer de contourner ces algorithmes de hachage. Alors [the companies’] le hachage n’est tout simplement pas assez résistant. Ils n’ont pas appris ce que fait l’adversaire et ne se sont pas adaptés à cela. Et c’est quelque chose qu’ils pourraient faire, soit dit en passant. C’est ce que font les filtres antivirus. C’est ce que font les filtres anti-malware. [The] la technologie doit être constamment mise à jour pour s’adapter aux nouveaux vecteurs de menace. Et les entreprises technologiques ne le font tout simplement pas.

Pourquoi les entreprises n’ont-elles pas mis en œuvre de meilleures technologies ?

Parce qu’ils n’investissent pas dans une technologie suffisamment résiliente. C’est ce deuxième critère que j’ai décrit. Il est facile d’avoir un algorithme de hachage merdique qui fonctionne en quelque sorte. Mais si quelqu’un est assez intelligent, il pourra contourner le problème.

Lorsque vous allez sur YouTube et que vous cliquez sur une vidéo et qu’il dit, désolé, cela a été retiré en raison d’une violation du droit d’auteur, c’est une technologie de hachage. C’est ce qu’on appelle l’ID de contenu. Et YouTube a toujours eu cette technologie parce qu’aux États-Unis, nous avons adopté le DMCA, le Digital Millennium Copyright Act, qui dit que vous ne pouvez pas héberger de contenu protégé par le droit d’auteur. Et donc l’entreprise est devenue très douée pour le démonter. Pour que vous voyiez encore du matériel protégé par le droit d’auteur, il doit être vraiment radicalement modifié.

Donc, le fait qu’un petit nombre de modifications soient passées est simplement dû au fait que la technologie n’est pas assez bonne. Et voici le truc : ce sont maintenant des entreprises d’un billion de dollars dont nous parlons collectivement. Comment se fait-il que leur technologie de hachage soit si mauvaise ?

Soit dit en passant, ce sont les mêmes entreprises qui savent à peu près tout sur tout le monde. Ils essaient de gagner sur les deux tableaux. Ils se tournent vers les annonceurs et leur disent à quel point leurs analyses de données sont sophistiquées afin qu’ils les paient pour diffuser des publicités. Mais alors, quand il s’agit de leur demander, pourquoi ce truc est-il toujours sur votre plate-forme ? Ils sont comme, eh bien, c’est un problème vraiment difficile.

Les fichiers Facebook nous a montré que des entreprises comme Facebook profitent d’amener les gens à descendre trous de lapin. Mais une vidéo violente diffusée sur votre plateforme n’est pas bonne pour les affaires. Pourquoi n’est-ce pas une motivation financière suffisante pour que ces entreprises fassent mieux ?

Je dirais qu’il s’agit d’un simple calcul financier selon lequel le développement d’une technologie aussi efficace nécessite de l’argent et des efforts. Et la motivation ne viendra pas d’une position de principe. C’est la seule chose que nous devrions comprendre à propos de la Silicon Valley. Ils sont comme toutes les autres industries. Ils font un calcul. Quel est le coût de sa réparation ? Quel est le coût de ne pas le réparer? Et il s’avère que le coût de ne pas réparer est moindre. Et donc ils ne le réparent pas.

Pourquoi pensez-vous que la pression exercée sur les entreprises pour qu’elles réagissent et résolvent ce problème ne dure pas ?

Nous passons à autre chose. Ils ont mauvaise presse pendant quelques jours, ils se font gifler dans la presse et les gens sont en colère, puis nous passons à autre chose. S’il y avait un procès de cent milliards de dollars, je pense que cela attirerait leur attention. Mais les entreprises bénéficient d’une protection phénoménale contre l’utilisation abusive et les dommages de leurs plateformes. Ils ont cette protection ici. Dans d’autres parties du monde, les autorités y remédient lentement. L’UE a annoncé la loi sur les services numériques qui imposera une obligation de diligence [standard on tech companies]. Cela commencera à dire, si vous ne commencez pas à freiner les abus les plus horribles sur votre plate-forme, nous allons vous infliger des amendes de milliards et de milliards de dollars.

[The DSA] imposerait des sanctions assez sévères aux entreprises, jusqu’à 6% des bénéfices mondiaux, pour non-respect de la législation et il y a une longue liste de choses qu’elles doivent respecter, des problèmes de sécurité des enfants au matériel illégal. Le Royaume-Uni travaille sur son propre projet de loi sur la sécurité numérique qui mettrait en place une norme de devoir de diligence selon laquelle les entreprises technologiques ne peuvent pas se cacher derrière le fait qu’il s’agit d’un grand Internet, c’est vraiment compliqué et elles ne peuvent rien y faire.

Et regardez, nous savons que cela fonctionnera. Avant le DMCA, c’était un jeu gratuit avec du matériel protégé par le droit d’auteur. Et les entreprises étaient comme, écoutez, ce n’est pas notre problème. Et lorsqu’ils ont passé le DMCA, tout le monde a développé une technologie pour trouver et supprimer du matériel protégé par le droit d’auteur.

Cela ressemble aussi à l’industrie automobile. Nous n’avions pas de ceintures de sécurité jusqu’à ce que nous ayons créé un règlement qui exigeait des ceintures de sécurité.

C’est exact. Je vous rappelle aussi que dans les années 1970, il y avait une voiture qui s’appelait une Ford Pinto où ils mettaient le réservoir d’essence au mauvais endroit. Si quelqu’un te bousculait, ta voiture exploserait et tout le monde mourrait. Et qu’a fait Ford ? Ils ont dit, OK, écoutez, on peut rappeler toutes les voitures, réparer le réservoir d’essence. Ça va coûter ce montant de dollars. Ou on laisse tomber, on laisse un tas de gens mourir, on règle les procès. Cela coûtera moins cher. C’est le calcul, c’est moins cher. La raison pour laquelle le calcul a fonctionné est que la réforme de la responsabilité délictuelle n’avait pas encore abouti. Il y avait des limites à ces poursuites qui disaient que même lorsque vous permettez sciemment à des personnes de mourir à cause d’un produit dangereux, nous ne pouvons vous poursuivre que pour autant. Et nous avons changé cela et cela a fonctionné : les produits sont beaucoup, beaucoup plus sûrs. Alors pourquoi traitons-nous le monde hors ligne comme nous ne traitons pas le monde en ligne ?

Pendant les 20 premières années d’Internet, les gens pensaient qu’Internet était comme Las Vegas. Ce qui se passe sur Internet reste sur Internet. Cela n’a pas d’importance. Mais c’est le cas. Il n’y a pas de monde en ligne et hors ligne. Ce qui se passe dans le monde en ligne a très, très fortement un impact sur notre sécurité en tant qu’individus, en tant que sociétés et en tant que démocraties.

Il y a une conversation sur le devoir de diligence dans le contexte de section 230 ici aux États-Unis – est-ce ce que vous envisagez comme l’une des solutions à cela ?

J’aime la façon dont l’UE et le Royaume-Uni envisagent cette question. Nous avons un énorme problème à Capitol Hill, c’est-à-dire que, bien que tout le monde déteste le secteur de la technologie, c’est pour des raisons très différentes. Lorsque nous parlons de réforme technologique, des voix conservatrices disent que nous devrions avoir moins de modération parce que la modération est mauvaise pour les conservateurs. La gauche dit que le secteur technologique est une menace existentielle pour la société et la démocratie, ce qui est plus proche de la vérité.

Donc, cela signifie que le règlement semble vraiment différent lorsque vous pensez que le problème est autre chose que ce qu’il est. Et c’est pourquoi je ne pense pas que nous allons obtenir beaucoup de mouvement au niveau fédéral. L’espoir est qu’entre [regulatory moves in] L’Australie, l’UE, le Royaume-Uni et le Canada, peut-être qu’il pourrait y avoir un mouvement qui ferait pression sur les entreprises technologiques pour qu’elles adoptent des politiques plus larges qui satisfont à l’obligation ici.

Twitch n’a pas immédiatement répondu à une demande de commentaire. La porte-parole de Facebook, Erica Sackin, a déclaré que la société travaillait avec le Forum Internet mondial de lutte contre le terrorisme (GIFCT) pour partager des hachages de la vidéo avec d’autres sociétés dans le but d’empêcher sa propagation, et que la plate-forme a ajouté plusieurs versions de la vidéo à son propre base de données afin que le système détecte et supprime automatiquement ces nouvelles versions. Jack Malon, porte-parole de la société mère de YouTube, Google, a déclaré que YouTube travaillait également avec le GIFCT et avait supprimé des centaines de vidéos “en relation avec l’attaque haineuse”. “Conformément aux directives de notre communauté, nous supprimons le contenu qui loue ou glorifie l’auteur de l’horrible événement à Buffalo. Cela inclut la suppression des téléchargements du manifeste du suspect », a déclaré Malon.