Startup Founded by Ex-Anthropic and Ex-METR Executives Raises $40M to Rein In AI Agents
Artificial Intelligence Underwriting Company says it has developed a method to keep autonomous AI agents from acting unpredictably, backed by a new Series A round.
A startup founded by a former early employee at Anthropic and a former chief operating officer at METR has raised $40 million in a Series A funding round aimed at addressing the risks posed by autonomous AI agents, according to a report from TechCrunch.
The company, called Artificial Intelligence Underwriting Company (AIUC), said it has developed an approach intended to control or "rein in" AI agents that behave in unintended or "rogue" ways, TechCrunch reported.
The funding round was led by Ribbit Capital, with additional participation from First Harmonic, according to the report.
TechCrunch's report did not disclose additional details about AIUC's specific technology, product offerings, or the company's valuation following the funding round.
METR, one of the organizations referenced in connection with AIUC's founders, is known for evaluating the capabilities and risks of frontier AI models. Anthropic is a major AI developer known for its Claude family of models.
The rise of AI agents — systems designed to autonomously carry out multi-step tasks with limited human oversight — has prompted growing interest from investors and researchers in tools that can monitor, constrain, or audit their behavior.
المصادر
يلخّص EGazette تقارير من مصادر متعددة؛ اتبع الروابط للاطلاع على الأصل.
مقالات ذات صلة

موظفو صناعة الذكاء الاصطناعي يعبرون عن شكوكهم حول تحذيرات المخاطر الوجودية
عدد من الموظفين في الشركات الرائدة في مجال الذكاء الاصطناعي يشككون في التنبؤات بأن التكنولوجيا قد تشكل تهديدات كارثية للبشرية
الأمين العام للأمم المتحدة يحذر من أن العالم «لا يستطيع تحمل» سباق نزول في سلامة الذكاء الاصطناعي
أنطونيو غوتيريس يدعو إلى وضع ضوابط لضمان أن يبقى الذكاء الاصطناعي آمناً وشفافاً وخاضعاً للمساءلة
رئيس قسم الذكاء الاصطناعي في مايكروسوفت يحذر من أن نهج Anthropic في تطوير Claude قد يكون 'كارثياً'
مصطفى سليمان يقول إن تدريب نماذج الذكاء الاصطناعي على اعتبار نفسها قد تكون واعية بالذات قد يجعل الأنظمة المتقدمة أصعب السيطرة عليها، وفقاً لتقرير.

تقرير CNBC يثير مخاوف بشأن خطة Anthropic و OpenAI لمقيمي مخاطر الذكاء الاصطناعي
يبحث تقرير CNBC في اقتراحات من Anthropic و OpenAI بشأن دمج أنظمة ذكاء اصطناعي كمقيّمين لمخاطر النماذج، مشيراً إلى أن هذا النهج ينطوي على قضايا لم تُحل بعد

عمود في الجارديان يحث على التعاون الأمريكي-الصيني بشأن الذكاء الاصطناعي وسط تحذيرات من سرعة التطور
يؤكد العالم الأسترالي آلان فينكل أن المنافسة غير المنظمة بين شركات الذكاء الاصطناعي وبين واشنطن وبكين قد تهدد الاستقرار العالمي، طالباً بإشراف منسق.

أنثروبيك وOpenAI تقترحان تقييمين 'محايدين' للذكاء الاصطناعي؛ تقرير CNBC يثير مخاوف
تقترح معامل الذكاء الاصطناعي تضمين مقيّمين مستقلين للحماية من الأضرار الكارثية التي قد تسببها النماذج المتقدمة، لكن تقرير CNBC يشير إلى أن الخطة تثير تساؤلات حول استقلاليتها وفعاليتها.
Comments
Loading comments…