OpenAI crée une "équipe d’alerte" pour prévenir les risques liés à l’intelligence artificielle

Une équipe dédiée

OpenAI a récemment créé une équipe dédiée à l’identification et à la prévention des risques liés à l’intelligence artificielle (IA). Dirigée par le chercheur en informatique Aleksander Madry, cette équipe, baptisée l’équipe d’alerte (preparedness team), sera chargée d’évaluer les modèles d’IA en cours de développement et de déterminer leur niveau de risque. Cette initiative vise particulièrement les modèles dits "d’avant-garde", en cours d’élaboration et surpassant les logiciels existants en termes de capacités en IA, rapporte Le Figaro.

Mission de l’équipe

L’équipe d’alerte évaluera chaque modèle selon quatre catégories principales de risques : cybersécurité, propension à contribuer à la création de substances nocives, capacité de persuasion et autonomie potentielle. En cas d’identification de risques, les informations seront soumises au Conseil de sécurité (Safety Advisory Group ou SAG), qui formulera des recommandations au PDG d’OpenAI, Sam Altman, ou à une personne désignée par lui. Sam Altman prendra ensuite des décisions sur d’éventuelles modifications à apporter aux modèles pour réduire les risques associés. "Nous pensons que l’étude scientifique des risques de catastrophe découlant de l’IA n’est pas du tout à la hauteur", expliquent les responsables d’OpenAI.

Assurer une évaluation approfondie des risques

Cette initiative intervient dans un contexte où OpenAI cherche à renforcer la gestion des risques liés à ses développements en intelligence artificielle, et elle fait suite à des préoccupations soulevées lors du licenciement temporaire du PDG, Sam Altman, en décembre 2023. L’équipe d’alerte vise à assurer une évaluation approfondie des risques associés aux modèles d’IA avancés, offrant un processus de prise de décision transparent et impliquant une nouvelle entité, le Conseil de sécurité, pour renforcer la responsabilité et la légitimité.

Voir notre rubrique magazine