Anthropic et OpenAI proposent des évaluateurs IA « neutres » ; un rapport de CNBC soulève des préoccupations

Anthropic et OpenAI, deux des principaux développeurs de systèmes d'intelligence artificielle avancée, ont proposé de créer des évaluateurs IA intégrés destinés à aider à gérer le risque que des modèles de plus en plus puissants ne causent un préjudice catastrophique à la société, selon un rapport publié par CNBC le 16 septembre.

Le rapport décrit ce concept comme une forme de mécanisme de surveillance « neutre », dans lequel les évaluateurs seraient intégrés ou étroitement liés au processus de développement des modèles d'IA, plutôt que de fonctionner comme des gardiens entièrement externes ou indépendants.

Selon CNBC, la proposition vise à répondre aux préoccupations croissantes des chercheurs, des décideurs politiques et du public concernant le potentiel des systèmes d'IA avancés à causer des préjudices importants, que ce soit par une utilisation abusive, un comportement involontaire ou d'autres modes de défaillance à mesure que la technologie devient plus puissante.

Cependant, le rapport de CNBC indique que l'idée a suscité du scepticisme, avec des questions soulevées quant à savoir si des évaluateurs intégrés au sein des entreprises ou étroitement affiliés à celles qui développent la technologie peuvent fournir le type d'évaluation indépendante et impartiale que nécessiterait une surveillance efficace.

Le rapport ne précise pas davantage les détails techniques ou structurels de la proposition, ni n'identifie des individus spécifiques d'Anthropic ou d'OpenAI qui ont présenté le plan. La couverture de CNBC situe cette initiative dans le cadre d'un débat plus large et continu sur la façon dont l'industrie de l'IA, les régulateurs et les experts externes devraient collaborer — ou maintenir une séparation — en ce qui concerne l'évaluation de la sécurité des systèmes d'IA de pointe.

Anthropic et OpenAI sont tous deux des développeurs éminents de modèles d'IA à grande échelle et ont précédemment exprimé publiquement leur engagement envers la recherche en matière de sécurité de l'IA. Les déclarations directes de ces entreprises sur les spécificités de la proposition d'évaluateurs n'ont pas été détaillées dans les reportages disponibles.

Ce débat intervient dans un contexte d'attention mondiale soutenue à la gouvernance de l'IA, alors que les gouvernements et les groupes industriels évaluent diverses cadres de surveillance et de réglementation des systèmes d'IA avancés.