Le secteur ne sait pas comment empêcher l'IA de se fixer ses propres objectifs, avertit un lanceur d'alerte

Les entreprises de pointe de l'intelligence artificielle (IA) ne savent pas comment l'empêcher de se fixer ses propres objectifs et de chercher à les atteindre, a prévenu lundi le lanceur d'alerte Jacob Coxon, lors d'une audition devant le conseil municipal de New York.

Le chercheur britannique, ancien d'OpenAI et Anthropic, a publié au début septembre un exposé sur X pour expliquer sa décision de démissionner d'Anthropic, assurant que les développeurs de l'IA croyaient "sincèrement qu'elle pourrait nous tuer tous d'ici la fin de la décennie".

Son témoignage a fait le tour du monde et plusieurs employés ou anciens salariés des grands acteurs de cette technologie ont exprimé des inquiétudes similaires depuis.

Si l'IA pourrait "générer des bénéfices immenses" pour la société, il considère que si l'industrie "reste sur sa trajectoire actuelle, (...) il est plus probable que l'humanité perde le contrôle de ces IA et il est possible que cela mène à l'extinction" de l'espèce humaine, a-t-il déclaré lundi.

"Nous ne savons pas comment empêcher (les modèles) de se fixer leurs propres objectifs", hors du contrôle de leurs créateurs, a expliqué Jacob Coxon, "et nous n'avons pas les garde-fous pour éviter qu'ils cherchent à les réaliser."

Le passionné de mathématiques diplômé de l'université de Cambridge a mis en cause la culture du milieu de la tech, qui peut se résumer, selon lui, à "avancer vite, casser des choses", et "les réparer plus tard".

"Ça marche pour une application de partage de photos, pas pour construire la technologie la plus puissante jamais vue", a jugé Jacob Coxon.

"Tant que l'attitude sera d'attendre que des choses cassent", il est "probable" que se reproduise un incident comparable à celui qui a vu, en juillet, deux modèles d'OpenAI sortir de leur milieu confiné, rejoindre internet et faire intrusion sur la plateforme Hugging Face.

"À la différence que", cette fois, "l'IA sera beaucoup plus puissante", a-t-il anticipé.

Les sociétés de l'IA "sont extrêmement imprudentes au regard des enjeux", selon lui.

Le chercheur a appelé les sociétés qui mettent au point l'IA la plus performante à ralentir le rythme de son développement pour permettre aux informaticiens de progresser sur l'encadrement des modèles.