OpenAI a créé une équipe pour contrôler une IA “superintelligente” – puis l’a laissée dépérir, selon une source

## OPENAI CRÉÉ UNE ÉQUIPE POUR CONTRÔLER L’IA ‘SUPERINTELLIGENTE’ – PUIS LA LAISSE FLÉTRIR, SELON UNE SOURCE.

Le département de Superalignment d’OpenAI, chargé de développer des moyens de gouverner et de piloter les systèmes d’IA “superintelligents”, s’est vu promettre 20% des ressources de calcul de l’entreprise, selon une personne de cette équipe. Cependant, les demandes d’une fraction de ces ressources étaient souvent refusées, empêchant ainsi l’équipe de faire son travail.

Le désaccord sur les priorités de l’entreprise a poussé plusieurs membres de l’équipe à démissionner cette semaine, dont le co-leader Jan Leike, un ancien chercheur de DeepMind qui, chez OpenAI, a contribué au développement de ChatGPT, GPT-4 et de l’ancêtre de ChatGPT, InstructGPT.

Leike a rendu publique certaines raisons de sa démission vendredi matin. “Je suis en désaccord avec la direction d’OpenAI sur les priorités fondamentales de l’entreprise depuis un certain temps, jusqu’à ce que nous atteignions enfin un point de non-retour”, a écrit Leike dans une série de messages sur X. “Je crois que beaucoup plus de notre capacité devrait être consacrée à se préparer pour les prochaines générations de modèles, sur la sécurité, la surveillance, la préparation, la sûreté, la robustesse face aux adversaires, l'(super)alignement, la confidentialité, l’impact sociétal, et des sujets connexes. Ces problèmes sont assez difficiles à résoudre, et je crains que nous ne soyons pas sur la trajectoire pour y arriver.”


OpenAI n’a pas immédiatement répondu à une demande de commentaire sur les ressources promises et allouées à cette équipe.

OpenAI a formé l’équipe de Superalignment en juillet dernier, dirigée par Leike et le co-fondateur d’OpenAI, Ilya Sutskever, qui a également démissionné de l’entreprise cette semaine. L’équipe avait pour objectif ambitieux de résoudre les défis techniques essentiels du contrôle de l’IA superintelligente dans les quatre prochaines années. Rejoint par des scientifiques et des ingénieurs de la division d’alignement précédente d’OpenAI ainsi que des chercheurs d’autres organisations au sein de l’entreprise, l’équipe devait contribuer à la recherche informant la sécurité des modèles développés en interne et à l’extérieur d’OpenAI, et, grâce à des initiatives telles qu’un programme de subventions de recherche, solliciter et partager le travail avec l’ensemble de l’industrie de l’IA.

L’équipe de Superalignment a réussi à publier un ensemble de recherches sur la sécurité et à octroyer des millions de dollars de subventions à des chercheurs externes. Cependant, à mesure que les lancements de produits ont commencé à monopoliser une part croissante de la bande passante de la direction d’OpenAI, l’équipe de Superalignment s’est trouvée à devoir se battre pour des investissements plus importants dès le départ – des investissements qu’elle considérait comme cruciaux pour la mission déclarée de l’entreprise de développer une IA superintelligente pour le bénéfice de toute l’humanité.

“Il est intrinsèquement dangereux de construire des machines plus intelligentes que les humains”, a poursuivi Leike. “Mais au cours des dernières années, la culture de la sécurité et les processus ont été relégués au second plan au profit de produits attractifs.”

Le conflit entre Sutskever et le PDG d’OpenAI, Sam Altman, a ajouté une importante distraction.

Sutskever, avec l’ancien conseil d’administration d’OpenAI, a cherché à renvoyer brusquement Altman fin de l’année dernière, craignant qu’Altman n’ait pas été “suffisamment franc” avec les membres du conseil d’administration. Sous la pression des investisseurs d’OpenAI, y compris Microsoft, et de nombreux employés de l’entreprise, Altman a finalement été réintégré, une grande partie du conseil a démissionné et Sutskever n’est apparemment jamais revenu travailler.

Selon la source, Sutskever a joué un rôle clé au sein de l’équipe de Superalignment – contribuant non seulement à la recherche mais aussi en servant de lien avec les autres divisions au sein d’OpenAI. Il a également agi comme une sorte d’ambassadeur, soulignant l’importance du travail de l’équipe auprès des décideurs clés d’OpenAI.


Après les départs de Leike et Sutskever, John Schulman, un autre co-fondateur d’OpenAI, a pris en charge le type de travaux que l’équipe de Superalignment menait, mais il n’y aura plus d’équipe dédiée – ce sera plutôt un groupe de chercheurs étroitement associés et intégrés dans les divisions de l’entreprise. Un porte-parole d’OpenAI l’a décrit comme une “intégration plus profonde.”

La crainte est qu’en conséquence, le développement de l’IA d’OpenAI ne soit pas aussi axé sur la sécurité qu’il aurait pu l’être.

Nous nous réjouissons de l’équipe qui poursuit le travail sur l’alignement de l’IA, et nous sommes déterminés à le faire.” – Sam Altman

Sources:
– [TechCrunch](https://techcrunch.com/2023/07/05/openai-is-forming-a-new-team-to-bring-superintelligent-ai-under-control/)
– [New York Times](https://www.nytimes.com/2024/05/14/technology/ilya-sutskever-leaving-openai.html)