Les États-Unis et la Chine ont besoin de règles de base pour les dangers de l'IA

Les menaces sont plus importantes, les enjeux sont plus importants et le niveau de confiance entre les États-Unis et la Chine est plus faible aujourd’hui qu’il ne l’était en 2014, lorsque les experts des deux pays ont commencé à discuter des risques posés par l’intelligence artificielle (IA). À une époque où environ 9 adultes américains sur 10 considèrent la Chine comme un « concurrent » ou un « ennemi », les appels à Washington et Pékin pour coopérer sur des défis communs tombent régulièrement dans l’oreille d’un sourd. Mais, alors que les laboratoires des deux pays continuent de dévoiler des capacités spectaculaires pour les systèmes d’IA, il est plus important que jamais que les États-Unis et la Chine prennent des mesures pour atténuer les menaces existentielles posées par les accidents d’IA.

En tant que technologie, l’IA est profondément fragile. Même avec des informations parfaites et des conditions de fonctionnement idéales, les systèmes d’apprentissage automatique se cassent facilement et fonctionnent de manière contraire à leur fonction prévue. Depuis 2017, le Partenariat mondial sur l’IA a enregistré “plus de 1 200 rapports de systèmes intelligents causant des problèmes de sécurité, d’équité ou d’autres problèmes du monde réel”, des accidents de voiture autonomes aux décisions d’embauche racistes. Lorsque les enjeux sont faibles, le risque d’accident lié à l’IA peut être tolérable, comme se voir présenter une recommandation Netflix inintéressante ou un itinéraire de conduite sous-optimal. Mais dans un environnement militaire à haute pression et à faible information, la probabilité et les conséquences des accidents d’IA sont vouées à augmenter.

Les systèmes d’armes mis en alerte élevée, par exemple, pourraient confondre un incident de routine avec une attaque et même réagir automatiquement. Certains des dysfonctionnements des avertissements nucléaires les plus dangereux de la guerre froide ont été évités de justesse parce que le jugement humain a prévalu. Pour l’instant, les systèmes de commandement et de contrôle nucléaires aux États-Unis et en Chine exigent toujours cet élément de prise de décision humaine, mais, par exemple, les systèmes de défense à bord des navires qui pourraient être impliqués dans des affrontements navals ne le font pas.

Les menaces sont plus importantes, les enjeux sont plus importants et le niveau de confiance entre les États-Unis et la Chine est plus faible aujourd’hui qu’il ne l’était en 2014, lorsque les experts des deux pays ont commencé à discuter des risques posés par l’intelligence artificielle (IA). À une époque où environ 9 adultes américains sur 10 considèrent la Chine comme un « concurrent » ou un « ennemi », les appels à Washington et Pékin pour coopérer sur des défis communs tombent régulièrement dans l’oreille d’un sourd. Mais, alors que les laboratoires des deux pays continuent de dévoiler des capacités spectaculaires pour les systèmes d’IA, il est plus important que jamais que les États-Unis et la Chine prennent des mesures pour atténuer les menaces existentielles posées par les accidents d’IA.

En tant que technologie, l’IA est profondément fragile. Même avec des informations parfaites et des conditions de fonctionnement idéales, les systèmes d’apprentissage automatique se cassent facilement et fonctionnent de manière contraire à leur fonction prévue. Depuis 2017, le Partenariat mondial sur l’IA a enregistré “plus de 1 200 rapports de systèmes intelligents causant des problèmes de sécurité, d’équité ou d’autres problèmes du monde réel”, des accidents de voiture autonomes aux décisions d’embauche racistes. Lorsque les enjeux sont faibles, le risque d’accident lié à l’IA peut être tolérable, comme se voir présenter une recommandation Netflix inintéressante ou un itinéraire de conduite sous-optimal. Mais dans un environnement militaire à haute pression et à faible information, la probabilité et les conséquences des accidents d’IA sont vouées à augmenter.

Les systèmes d’armes mis en alerte élevée, par exemple, pourraient confondre un incident de routine avec une attaque et même réagir automatiquement. Certains des dysfonctionnements des avertissements nucléaires les plus dangereux de la guerre froide ont été évités de justesse parce que le jugement humain a prévalu. Pour l’instant, les systèmes de commandement et de contrôle nucléaires aux États-Unis et en Chine exigent toujours cet élément de prise de décision humaine, mais, par exemple, les systèmes de défense à bord des navires qui pourraient être impliqués dans des affrontements navals ne le font pas.

Aucune des deux parties ne fait confiance à l’autre sur cette question. Au cours des six derniers mois, j’ai parlé à quelques reprises avec des chefs militaires chinois à la retraite des risques liés aux systèmes d’IA. Ils considèrent les principes éthiques de l’IA du département américain de la Défense et l’approche plus large de «l’IA responsable» comme des efforts de mauvaise foi pour contourner les négociations multilatérales visant à restreindre le développement d’armes autonomes. Pendant ce temps, les observateurs américains ne croient pas que la Chine est sérieuse au sujet de ces négociations, compte tenu de sa définition extraordinairement étroite des systèmes d’armes autonomes meurtrières. (La Chine a appelé à une interdiction uniquement des armes autonomes qui ne peuvent pas être rappelées une fois lancées et qui tuent avec un effet aveugle.) Les deux armées développent des systèmes automatisés de reconnaissance de cible et de contrôle de tir basés sur l’IA, et la dernière discussion substantielle au sein du Groupe des Nations Unies d’experts gouvernementaux axés sur ces questions devrait s’achever à la mi-2022.

À Washington, une source majeure d’appréhension est l’incertitude entourant les tests et l’évaluation des systèmes d’IA militaires chinois. Par rapport à la plupart des pays, les États-Unis sont extrêmement rigoureux en termes de processus de test et de développement de logiciels. La directive DoD 3000.09, par exemple, exige que les systèmes d’IA soient équipés de dispositifs de sécurité et de mécanismes anti-effraction. Lorsqu’ils sont pressés sur la question, les chefs militaires chinois insistent verbalement sur le fait que leurs systèmes d’IA doivent également passer une inspection rigoureuse, mais aucun document public ne documente à quoi ce processus pourrait ressembler dans la pratique.

Pour éviter les risques les plus importants associés à l’échec technique ou opérationnel de l’IA, les États-Unis et la Chine devraient s’entendre sur au moins trois mesures : appliquer des processus de test rigoureux pour leurs systèmes d’IA militaires respectifs, formaliser un canal écrit pour la communication de crise et refuser de intégrer l’IA aux systèmes de commandement et de contrôle nucléaires. Ces mesures sont le strict minimum nécessaire pour éviter une catastrophe potentielle, mais elles sont probablement encore insuffisantes pour gérer les tensions à long terme sur les relations bilatérales.

Premièrement, les dirigeants chinois doivent comprendre que les efforts américains pour adopter des protocoles de test et d’évaluation rigoureux visent à prévenir les défaillances techniques. Ils ne sont pas destinés à remplacer les négociations aux Nations Unies ou dans toute autre instance. Pour leur part, les dirigeants des États-Unis devraient clarifier ce fait et s’engager publiquement à parvenir à une sorte de code de conduite international pour les systèmes d’armes capables d’apprendre en ligne – des mises à jour en temps réel basées sur les informations nouvellement collectées. Compte tenu de ses objectifs ambitieux de développement de l’IA, le régime opaque de test de l’IA de la Chine est une source de grave préoccupation. Les dirigeants de l’Armée populaire de libération devraient clarifier les processus que les systèmes d’IA doivent suivre pour s’assurer qu’ils sont sûrs, dignes de confiance et fiables, conformément aux propres principes de gouvernance de l’IA de nouvelle génération en Chine.

Deuxièmement, les États-Unis et la Chine doivent formaliser un mécanisme de communication de crise. Les appels réguliers programmés entre les chefs d’état-major conjoints américain et chinois sont une source de stabilité dans les relations américano-chinoises, mais n’incluent pas les responsables américains dans la chaîne de commandement opérationnelle. Une hotline américano-chinoise devrait inclure des canaux directs entre la Maison Blanche et le complexe des dirigeants chinois à Zhongnanhai, ainsi que le Pentagone et la Commission militaire centrale chinoise. Dans les deux cas, Washington et Pékin devraient développer des procédures opérationnelles standard pour échanger des communications écrites sécurisées : Forcer une conversation entre deux interlocuteurs uniques pourrait empêcher les commandants en Chine de décrocher le téléphone. Par exemple, lorsqu’un avion espion américain EP-3 est entré en collision avec un avion de chasse chinois au large de l’île de Hainan en 2001, le sous-secrétaire d’État de l’époque, Richard Armitage, s’est plaint que les appels téléphoniques américains étaient restés sans réponse.

Enfin, le secrétaire américain à la Défense Lloyd Austin et son homologue chinois Xu Qiliang devraient s’engager indépendamment à ne pas déléguer l’autorité de lancement nucléaire à un système d’IA capable d’apprendre en ligne. Les États-Unis et la Chine reconnaissent que l’autre est susceptible d’adopter des systèmes de surveillance et d’alerte précoce basés sur l’IA. Mais en aucun cas la décision de lancer une arme nucléaire ne doit être prise par un système qui « apprend » les règles d’engagement en temps réel. En septembre 2019, mon collègue et alors directeur du US Joint AI Center, Jack Shanahan, a exprimé son malaise à l’idée d’automatiser les systèmes de commandement et de contrôle nucléaires. Aucun dirigeant politique ou militaire chinois n’a jusqu’à présent publié une déclaration similaire.

Ces mesures – tests et évaluations robustes, communications de crise et engagement contre le “lancement sur l’apprentissage” – représentent les trois mesures les plus élémentaires que les États-Unis et la Chine peuvent prendre pour atténuer les accidents catastrophiques liés à l’IA. Bien sûr, les deux pays devraient adopter une série beaucoup plus étendue de mesures de confiance, idéalement fondées sur des dialogues de gouvernement à gouvernement et sur la confiance mutuelle. Mais avant même d’envisager de faire de tels petits pas, les deux pays doivent apprendre à ramper.