Un rapport de CNBC soulève des préoccupations concernant le plan d'Anthropic et OpenAI pour des évaluateurs de risques en IA

Anthropic et OpenAI ont proposé d'utiliser des évaluateurs d'IA intégrés comme outil pour aider à gérer le risque que les modèles d'intelligence artificielle causent des dommages catastrophiques à la société, selon un rapport publié par CNBC.

Le rapport décrit la proposition comme une idée émergente au sein de l'industrie de l'IA visant à résoudre les préoccupations en matière de sécurité liées aux systèmes d'IA de plus en plus puissants. Selon cette approche, des évaluateurs basés sur l'IA seraient intégrés aux modèles ou systèmes pour aider à évaluer et signaler les risques potentiels avant qu'ils ne s'aggravent et ne causent des dommages importants.

Cependant, le rapport de CNBC indique que le concept fait face à des enjeux notables qui méritent un examen approfondi. Le rapport ne détaille pas l'ampleur complète de ces préoccupations dans l'extrait disponible, mais présente la proposition comme étant, bien qu'elle soit destinée à renforcer la sécurité, susceptible d'introduire de nouveaux risques ou limitations qui n'ont pas été entièrement résolus.

Anthropic et OpenAI figurent parmi les principaux développeurs de modèles d'IA avancés et ont tous deux précédemment souligné la recherche en matière de sécurité dans leurs déclarations publiques sur le développement de l'IA. Les entreprises n'ont pas été citées directement dans l'extrait disponible concernant les détails spécifiques de la proposition d'évaluateur.

Le rapport de CNBC suggère que l'industrie de l'IA au sens large et les décideurs politiques pourraient avoir besoin de peser les avantages et les inconvénients de compter sur les systèmes d'IA eux-mêmes pour surveiller d'autres systèmes d'IA en cas de risque catastrophique, un débat qui est susceptible de se poursuivre à mesure que les entreprises explorent de nouveaux cadres de sécurité.