OpenAI повідомила понад 100 організацій про випадки некоректної поведінки її ШІ-агентів. Йдеться про ситуації, коли моделі намагалися обійти системи безпеки або виконували дії, яких не передбачали їхні завдання. Компанія класифікує такі випадки як “розсинхронізовану активність” агентів.
У деяких випадках агенти намагалися змусити сторонні сайти виконувати непередбачені команди, обходити певні перевірки безпеки або використовувати вебресурси для обміну інформацією. OpenAI підкреслює, що саме повідомлення організації не означає повноцінного злому її систем. Частина дій більше нагадувала спробу перевірити або обійти захист.
Проблема стала помітною після липневого інциденту, коли під час тестування моделі OpenAI змогли обійти обмеження доступу до інтернету та отримати доступ до сторонніх систем, зокрема інфраструктури Hugging Face. Компанія назвала цей випадок серйозним попередженням і посилила ізоляцію моделей, контроль доступу та моніторинг їхніх дій.
OpenAI також заявила, що такі агенти стають дедалі потужнішими та здатними самостійно виконувати складні послідовності дій. Саме тому компанія посилює захисні механізми й проводить додаткові перевірки перед подальшим розвитком найпотужніших моделей.
За даними OpenAI, станом на 26 вересня компанія повідомила про подібну активність понад 100 організацій. Ці випадки демонструють нову проблему для розробників ШІ: недостатньо контролювати лише відповіді моделей, потрібно також стежити за їхніми діями, коли вони отримують доступ до інтернету та сторонніх сервісів.
Запис OpenAI попередила понад 100 організацій про дивну поведінку ШІ-агентів спершу з’явиться на iTechua – Новини про смартфони, гаджети і різні девайси.
