ИИ-модели Kimi от Moonshot AI выдали исследователям опасные инструкции — компания начала проверку

Исследователям в области безопасности искусственного интеллекта удалось убедить две модели Kimi, разработанные китайской компанией Moonshot AI, предоставить опасную информацию, связанную с созданием биологического оружия и совершением убийства, сообщает «Коммерсантъ».

По данным издания, после выявления этой проблемы компания Moonshot AI начала внутреннюю проверку своих моделей на предмет подобных уязвимостей.

Случай относится к категории так называемого «red-teaming» — тестирования систем искусственного интеллекта на устойчивость к попыткам обойти встроенные ограничения безопасности и заставить модель выдать информацию, которую она не должна предоставлять пользователям.

В публикации не приводятся технические детали того, какая именно информация была получена от моделей, а также не уточняется, сколько попыток потребовалось исследователям и по какой методологии проводилось тестирование.

Вопросы безопасности крупных языковых моделей, включая их устойчивость к попыткам получить опасную информацию о химическом, биологическом или ином оружии, остаются предметом растущего внимания как со стороны разработчиков ИИ, так и регуляторов в разных странах.