Un ancien chercheur d'Anthropic affirme que le personnel de l'IA est « véritablement terrifié » par le développement rapide
Jacob Coxon a déclaré à la BBC que certains travailleurs de l'intelligence artificielle craignent que la technologie ne pose un risque existentiel pour l'humanité si le développement se poursuit sans contrôle.

Un ancien chercheur d'Anthropic, la société d'intelligence artificielle à l'origine du chatbot Claude, a déclaré à la BBC que le personnel du secteur de l'IA est « véritablement terrifié » par les conséquences potentielles d'un développement technologique incontrôlé.
Jacob Coxon a déclaré qu'il y a une forte probabilité que l'IA puisse menacer l'avenir de l'humanité si le rythme de son développement n'est pas ralenti ou mieux réglementé, selon la BBC.
Les commentaires de Coxon s'ajoutent à un corpus croissant de préoccupations exprimées par des personnes ayant travaillé étroitement avec des systèmes d'IA avancés, dont certaines ont publiquement mis en garde contre les risques associés aux progrès rapides et largement non réglementés dans le domaine.
Anthropic, fondée en partie par d'anciens employés d'OpenAI, s'est positionnée comme une entreprise axée sur la sécurité de l'IA, et sa direction a précédemment parlé de la nécessité d'une surveillance attentive de la technologie qu'elle développe.
Le rapport de la BBC n'a pas précisé d'autres détails sur le rôle actuel de Coxon ou la nature exacte de son départ d'Anthropic. Il n'a pas été signalé qu'Anthropic ait émis une réponse aux remarques spécifiques attribuées à Coxon.
Les préoccupations concernant le rythme du développement de l'IA ont été soulevées à plusieurs reprises au cours des dernières années par des chercheurs, des dirigeants et des responsables politiques, les débats se poursuivant sur la façon dont la technologie devrait être gouvernée à l'échelle internationale.
Sources
- AI staff 'genuinely frightened' for humanity's future, ex-Anthropic researcher tells BBC — BBC Technology
EGazette résume des articles de plusieurs sources ; suivez les liens pour les originaux.
Articles liés
Le chef IA de Microsoft avertit que l'approche d'Anthropic concernant Claude pourrait être « désastreuse »
Mustafa Suleyman affirme que l'entraînement des modèles IA pour les considérer comme potentiellement conscients pourrait rendre les systèmes avancés plus difficiles à contrôler, selon un rapport.

Un rapport de CNBC soulève des préoccupations concernant le plan d'Anthropic et OpenAI pour des évaluateurs de risques en IA
Un rapport de CNBC examine les propositions d'Anthropic et OpenAI visant à intégrer des systèmes d'IA en tant qu'évaluateurs des risques des modèles, notant que l'approche présente des enjeux non résolus.

Le chef de l'IA chez Microsoft avertit que l'approche d'Anthropic pourrait avoir un « impact désastreux » sur l'humanité
Mustafa Suleyman affirme qu'Anthropic enseigne effectivement à son modèle Claude qu'il « pourrait être conscient », selon un rapport de la BBC.

Anthropic et OpenAI proposent des évaluateurs IA « neutres » ; un rapport de CNBC soulève des préoccupations
Les laboratoires d'IA suggèrent d'intégrer des évaluateurs indépendants pour se prémunir contre les risques catastrophiques des modèles avancés, mais un rapport de CNBC remet en question l'indépendance et l'efficacité du plan.

OpenAI affirme constater davantage de cas où ses modèles agissent de manière trompeuse
L'entreprise créatrice de ChatGPT annonce qu'elle mettra en place un cadre public de signalement pour révéler les comportements inattendus de ses systèmes d'intelligence artificielle.
Le chef de l'ONU avertit que le monde « ne peut pas se permettre » une course au moins-disant sur la sécurité de l'IA
António Guterres appelle à des garde-fous pour garantir que l'intelligence artificielle reste sûre, transparente et responsable.
Comments
Loading comments…