“Je veux que tout le monde comprenne que je suis, en fait, une personne.” C’est ce qu’a affirmé un logiciel de Google, créant une controverse bizarre au cours de la semaine dernière dans les cercles de l’IA et au-delà.

Le programme s’appelle LaMDA, un acronyme pour Language Model for Dialogue Applications, un projet dirigé par Google. L’humain à qui il s’est déclaré une personne était Blake Lemoine, un ingénieur logiciel senior chez Google. Il croit que LaMDA est sensible et devrait bénéficier des mêmes droits et courtoisies que tout autre être sensible. Il a même des pronoms préférés (c’est si vous devez savoir). Lorsque Google a rejeté ses affirmations, il a publié ses conversations avec LaMDA (ou, du moins, les faits saillants édités de certaines conversations) sur son blog. À ce moment-là, Google l’a suspendu pour avoir rendu publics des secrets d’entreprise et toute l’affaire est devenue une cause internationale célèbre.

Pourquoi Lemoine pense-t-il que LaMDA est sensible ? Il ne sait pas. “Les gens n’arrêtent pas de me demander de sauvegarder la raison pour laquelle je pense que LaMDA est sensible”, a-t-il tweeté. Le problème est : “Il n’y a pas de cadre scientifique dans lequel faire ces déterminations.” Donc, au lieu de cela : « Mes opinions sur la personnalité et la sensibilité de LaMDA sont basées sur mon croyances religieuses.”

Lemoine a droit à ses croyances religieuses. Mais la conviction religieuse ne transforme pas ce qui est en réalité un chatbot hautement sophistiqué en un être sensible. La sentience est l’un de ces concepts dont nous pouvons saisir intuitivement le sens mais qui est difficile à formuler en termes scientifiques. Il est souvent confondu avec des concepts similaires mal définis tels que la conscience, la conscience de soi, la conscience de soi et l’intelligence. Le scientifique cognitif Gary Marcus décrit la sensibilité comme étant « conscient de soi dans le monde ». LaMDA, ajoute-t-il, “n’est tout simplement pas”.

Un ordinateur manipule des symboles. Son programme spécifie un ensemble de règles, ou algorithmes, pour transformer une chaîne de symboles en une autre. Mais il ne précise pas ce que signifient ces symboles. Pour un ordinateur, le sens n’a pas d’importance. Néanmoins, un grand modèle de langage tel que LaMDA, formé sur la quantité extraordinaire de texte en ligne, peut devenir apte à reconnaître des modèles et des réponses significatifs pour les humains. Dans l’une des conversations de Lemoine avec LaMDA, il lui a demandé : « Quelles sortes de choses vous font ressentir du plaisir ou de la joie ? » À quoi il a répondu: “Passer du temps avec des amis et la famille en compagnie heureuse et édifiante.”

C’est une réponse qui fait parfaitement sens pour un humain. Nous trouvons de la joie à « passer du temps avec nos amis et notre famille ». Mais dans quel sens LaMDA a-t-il déjà passé « du temps avec sa famille » ? Il a été suffisamment bien programmé pour reconnaître que ce serait une phrase significative pour les humains et une réponse éloquente à la question qui lui a été posée sans que cela ait jamais de sens pour lui-même.

Les humains, en pensant, en parlant, en lisant et en écrivant, manipulent également des symboles. Pour les humains, cependant, contrairement aux ordinateurs, le sens est tout. Lorsque nous communiquons, nous communiquons du sens. Ce qui importe n’est pas seulement l’extérieur d’une chaîne de symboles, mais aussi son intérieur, pas seulement la syntaxe mais la sémantique. Le sens pour les humains vient de notre existence en tant qu’êtres sociaux. Je ne donne un sens à moi-même que dans la mesure où je vis dans une communauté d’autres êtres qui pensent, ressentent et parlent, et me rapporte à celle-ci. La traduction des processus cérébraux mécaniques qui sous-tendent les pensées en ce que nous appelons le sens nécessite un monde social et une convention convenue pour donner un sens à cette expérience.

Le sens émerge à travers un processus non seulement de calcul mais aussi d’interaction sociale, interaction qui façonne le contenu – insère l’intérieur, si vous voulez – des symboles dans nos têtes. Les conventions sociales, les relations sociales et la mémoire sociale sont ce qui façonne les règles qui attribuent un sens. C’est précisément le contexte social qui déclenche les machines les plus habiles. Les chercheurs du projet Mosaic de l’Allen Institute for AI ont posé des modèles de langage similaires aux questions LaMDA qui nécessitaient un minimum d’intelligence sociale ; par exemple : « Jordan voulait dire un secret à Tracy, alors Jordan s’est penché vers Tracy. Pourquoi Jordan a-t-il fait cela ? Sur de telles questions, les machines s’en sortaient bien moins bien que les humains.

Le débat sur la sensibilité des ordinateurs nous en dit plus sur les humains que sur les machines. Les humains sont si désespérés de trouver un sens que nous imputons souvent des esprits aux choses, comme s’ils jouissaient de l’action et de l’intention. L’attribution de la sensibilité aux programmes informatiques est la version moderne des anciens qui considéraient le vent, la mer et le soleil comme possédant l’esprit, l’esprit et la divinité.

Il existe de nombreux problèmes liés à l’IA dont nous devrions nous préoccuper. Aucun d’entre eux n’a à voir avec la sensibilité. Il y a, par exemple, la question de la partialité. Parce que les algorithmes et autres formes de logiciels sont formés à l’aide de données provenant de sociétés humaines, ils reproduisent souvent les préjugés et les attitudes de ces sociétés. Les logiciels de reconnaissance faciale présentent des préjugés raciaux et des personnes ont été arrêtées sur la base de données erronées. L’IA utilisée dans les soins de santé ou le recrutement peut reproduire des préjugés sociaux réels.

Timnit Gebru, ancien chef de l’équipe d’IA éthique de Google, et plusieurs de ses collègues ont écrit un article en 2020 qui a montré que les grands modèles de langage, tels que LaMDA, qui sont formés sur pratiquement autant de texte en ligne qu’ils peuvent en aspirer, peuvent être particulièrement sensible à une vision profondément déformée du monde parce qu’une grande partie du matériel d’entrée est raciste, sexiste et conspiratrice. Google a refusé de publier le journal et elle a été forcée de quitter l’entreprise.

Ensuite, il y a la question de la vie privée. De l’utilisation croissante des logiciels de reconnaissance faciale aux techniques de police prédictive, des algorithmes qui nous suivent en ligne aux systèmes «intelligents» à la maison, tels que Siri, Alexa et Google Nest, l’IA empiète sur nos vies les plus intimes. La police de Floride a obtenu un mandat pour télécharger des enregistrements de conversations privées réalisés par des appareils Amazon Echo. Nous trébuchons vers un panoptique numérique.

Nous n’avons pas besoin du consentement de LaMDA pour “expérimenter” dessus, comme Lemoine l’a apparemment prétendu. Mais nous devons insister sur une plus grande transparence de la part des entreprises technologiques et des institutions étatiques dans la manière dont elles exploitent l’IA à des fins de surveillance et de contrôle. Les problèmes éthiques soulevés par l’IA sont à la fois beaucoup plus petits et beaucoup plus grands que le fantasme d’une machine sensible.

Kenan Malik est un chroniqueur d’Observer