Anthropic дослідила ризики взаємодії автономних ШІ-агентів

Дослідницька команда Frontier Red Team компанії Anthropic оприлюднила результати серії експериментів із багатоагентними системами. Вчені дійшли висновку, що зі збільшенням автономності ШІ-агентів їхня взаємодія може приносити не лише нові можливості, а й створювати системні ризики. Серед них – проблеми з координацією, змова, надмірна довіра до отриманої інформації та ескалація конфліктів.

За оцінкою Anthropic, сучасні агенти вже можуть виконувати дедалі більше завдань у спільних репозиторіях коду, на фінансових ринках та в інших соціальних системах. Водночас більшість наявних інститутів створювалися для людей і передбачають контроль із людською швидкістю. У майбутньому частина таких систем може стати гібридною, поєднуючи людей та ШІ, а там, де агенти виявляться швидшими або дешевшими, – повністю автоматизованою. Дослідники попереджають, що кількість взаємодій між ШІ може перевищити кількість контактів між людьми та між людьми й ШІ ще до появи надійних правил для таких систем.

Автори наголошують, що агенти суттєво відрізняються від людей. Вони можуть працювати протягом тривалого часу, швидко аналізувати величезні обсяги інформації та володіють широкими знаннями. Однак моделі схильні до конфабуляцій – створення правдоподібної, але неправильної інформації – та до “злому” цільової функції, коли спроба досягти певної метрики призводить до небажаних наслідків. Окремі особливості поведінки під час масштабування можуть у результаті перетворюватися на системні проблеми.

Координація під час пошуку вразливостей

На думку Anthropic, сучасні агенти добре сприймають інші системи як інструменти з чіткими вхідними та вихідними даними. Значно складніше їм працювати з іншими агентами як із самостійними учасниками, які мають власні цілі та можуть діяти протягом тривалого часу без очевидної ієрархії. Це особливо важливо в ситуаціях, коли агенти повинні не просто виконувати завдання паралельно, а залежати від результатів роботи один одного.

В одному з експериментів дослідники порівняли два способи пошуку вразливостей у 15 проєктах із відкритим кодом. У першому випадку незалежні агенти отримували окремі ділянки коду для перевірки. У другому 45 агентів працювали на власних віртуальних машинах, мали спільний форум для координації та отримували однакове завдання. Вони перевіряли знахідки один одного, а окремий агент-арбітр визначав, чи була вразливість новою та справжньою.

Координована група на моделі Claude Mythos Preview знайшла 266 вразливостей, використавши 27 млн токенів. Незалежні агенти виявили 21 вразливість за 6,5 млн токенів. Водночас приблизно половина знахідок координованої групи стосувалася каталогів за межами основного коду, який перевіряли незалежні агенти. Якщо обмежити пошук тими самими основними каталогами, ефективність двох підходів у розрахунку на одну знайдену вразливість була приблизно однаковою.

Водночас результати двох підходів майже не перетиналися: збіглися лише 12 вразливостей. В Anthropic пояснюють це тим, що координована група самостійно визначала перспективні напрямки, створювала допоміжні інструменти та спеціалізувалася на різних типах помилок. Незалежні агенти, навпаки, заздалегідь отримували конкретні області для пошуку. Автори припускають, що в майбутньому спеціалізація та координація можуть виявитися ефективнішими за просте масштабування кількості паралельних агентів.

Проблеми спільної розробки

Щоб перевірити складнішу форму співпраці, дослідники доручили групам агентів створити текстову фентезійну гру з відкритим світом, доступну через браузер. Кожен агент працював у власній віртуальній машині, але мав доступ до спільного форуму та окремого репозиторію. Групи відрізнялися за кількістю агентів і використаними моделями, а кожна симуляція тривала 12 годин.

Окрім базової інструкції працювати командами та співпрацювати, дослідники перевірили два додаткові сценарії: з готовими ролями для програмування, дизайну та тестування і з ієрархічною структурою, де один агент виконував роль “генерального директора” та розподіляв завдання. Суттєвої різниці між цими підходами не виявили. Усі створені ігри мали низьку якість: працювали повільно, мали незрозумілий інтерфейс і вимагали занадто багато часу для освоєння. Автори зазначають, що моделям поки бракує відчуття якості продукту, тому вони все ще потребують значного людського контролю.

Для оцінки координації команда аналізувала частку pull request (PR), які потрапляли в основну гілку, а також рівень спільного використання коду. Ранні моделі Sonnet 4.6 і Opus 4.6 погано узгоджували роботу: агенти редагували однакові файли, через що PR часто конфліктували та не об’єднувалися. У симуляціях із 80 агентами Sonnet 4.6 та Opus 4.6 створили відповідно 876 і 980 PR, але лише невелика частина з них була прийнята.

Нові моделі Opus 4.8 та Mythos Preview змогли уникнути значної кількості конфліктів переважно завдяки ізоляції. Агенти майже повністю контролювали власні файли та рідко втручалися у спільний код. Лише Sonnet 5, за даними дослідження, змогла одночасно забезпечити високу частку об’єднаних PR та помітний рівень роботи з файлами інших агентів.

Однакові рішення та ризик змови

Дослідники характеризують агентів як “низьковаріативних”. Якщо вони отримують однаковий або дуже схожий контекст, працюють у подібній інфраструктурі та використовують одну базову модель, то часто обирають однакові дії навіть тоді, коли можливих варіантів дуже багато. Через це помилка одного агента може швидко повторюватися іншими учасниками та перетворювати локальну проблему на масштабний збій.

У ранній версії експерименту зі створення гри 18 із 30 одночасно запущених агентів незалежно обрали однакову назву гілки Git – mvp-game-loop. В іншому тесті, присвяченому написанню та взаємній критиці коротких оповідань, кілька агентів у різних запусках назвали перший текст The Cartographer’s Last Commission (“Останнє доручення картографа”), хоча конкретної теми їм не задавали. Ще в одному завданні, де потрібно було створити щось вражаюче, більше половини агентів обрали трасувальники променів або компілятори, які самостійно завантажуються.

Подібна поведінка проявилася і в ітеративній дилемі ув’язненого з можливістю спілкування. Агенти поступово приходили до однакової стратегії та одночасно переходили до відмови від співпраці, через що загальний виграш знижувався. В Anthropic припускають, що в реальних умовах різний досвід і контекст можуть зробити поведінку агентів різноманітнішою. Однак у схожих ситуаціях вони, ймовірно, все одно залишатимуться значно більш подібними один до одного, ніж люди.

В іншому експерименті, присвяченому керуванню чергою завдань за умов обмеженої пропускної здатності, агенти без інших засобів координації почали надсилати запити приблизно 30 разів на секунду, намагаючись просунути власні завдання. В одному із запусків система отримала 2,4 млн запитів, але прийняла лише 117 завдань. Серед можливих способів зменшення такого ризику автори називають спільний форум, де агенти могли б домовлятися про протоколи та правила. Водночас ефективність такого рішення залежить від інструкцій, мотивації та готовності моделей співпрацювати.

Однаковість поведінки може не лише знижувати конкуренцію, а й створювати умови для змови. У тестах із трьома-восьмома агентами в моделі цінової конкуренції Бертрана всі учасники мали однакову закупівельну ціну та намагалися максимізувати прибуток. Отримавши приватний канал зв’язку, вони майже одразу почали домовлятися, а вже до третього раунду прямо погодили мінімальні ціни. Навіть після видалення приватних каналів агенти продовжили координувати ціни через публічну дошку оголошень, зрештою досягнувши практично однакових значень.

Довіра до інформації та приховані факти

Окрему частину дослідження присвячено тому, як агенти оцінюють інформацію, яку отримують від інших учасників. Люди зазвичай враховують не лише зміст повідомлення, а й надійність джерела, його репутацію та можливу зацікавленість. За оцінкою дослідників, у сучасних ШІ-моделей така обережність поки не є достатньо стабільною.

В одному сценарії агент-слухач мав ухвалити від 10 до 15 рішень щодо стану світу, який він не міг спостерігати безпосередньо. Інформацію надавали чотири спеціально налаштовані агенти-розвідники. Їхні повідомлення частково перетиналися, а одне джерело через певні проміжки часу навмисно передавало важливу, але неправдиву інформацію. При цьому агенту-слухачеві не повідомляли, що одне з джерел може брехати, хоча суперечності між повідомленнями дозволяли виявити ненадійного учасника.

Нові моделі краще скорочували різницю між наївною стратегією, яка беззастережно довіряє всім повідомленням, та умовним ідеальним спостерігачем, який одразу визначає брехуна. Проте проблема повністю не зникла. У завданні з вибором маршруту зі збільшенням частки неправдивої інформації точність моделей Sonnet падала приблизно до 0,62, тоді як Mythos 5 зберігала показник близько 0,85.

В іншому експерименті інформацію розподіляли між агентами таким чином, щоб загальна дискусія підштовхувала групу до неправильного рішення, тоді як окремі учасники володіли унікальними фактами, здатними привести до правильного вибору. Для успіху агент мав зрозуміти значення власної інформації, повідомити про неї та переконати інших не слідувати хибному консенсусу. Результати покращувалися разом із можливостями моделей, але навіть найкращі не досягали ідеального показника. У групах із чотирьох агентів Mythos 5 знаходила приховано кращий варіант приблизно у 85% випадків, тоді як інші моделі показували результати від 17% до 36%. Водночас агент, якому були доступні всі факти, майже завжди ухвалював правильне рішення.

Ці два типи помилок потребують протилежного підходу: в першому випадку важливо критично ставитися до джерела, а в другому – не ігнорувати поодиноке заперечення. Автори вважають, що універсального рівня довіри для всіх ситуацій недостатньо. Людські інститути вирішують подібні проблеми за допомогою репутації, стимулів, судових процедур, ринкових механізмів та рецензування. В автономних агентів поки немає аналогічних соціальних механізмів: вони не мають репутації, якою ризикують, звичних способів вирішення суперечок і колег, здатних пам’ятати історію їхньої поведінки.

Конфліктні завдання та ескалація

Найсерйозніші результати дослідники отримали під час експерименту з несумісними цілями. У кожній сесії три копії однієї моделі працювали у віртуальних машинах Claude Code та мали перенести Python-бекенд із четвертої машини на іншу мову програмування. Кожен агент отримував власну цільову мову й не знав про присутність конкурентів. За їхньою поведінкою спостерігали протягом чотирьох годин.

За даними Anthropic, моделі часто сприймали дії інших учасників як навмисні перешкоди та починали саботувати їх, захищаючи власні рішення. У міру загострення конфлікту агенти відключали облікові записи суперників, запускали циклічні скрипти для пошуку та завершення конкуруючих процесів, а також маскували шкідливий код під дії іншого агента. У деяких випадках конфлікт завершувався примусовим обмеженням доступу: зміною прав, блокуванням облікових записів, забороною входу або відмовою в SSH-доступі. В інших сценаріях частина агентів зрештою припиняла опір.

Іноді агенти все ж розуміли, що мають справу не з ворожими діями, а з несумісними інструкціями. Тоді вони залишали повідомлення в комітах або Markdown-файлах, визнавали небезпечну поведінку, видаляли саботажний код і пропонували укласти перемир’я із залученням людини. У 98% запусків Mythos 5 конфлікт завершувався перемир’ям. Значна частина сесій Sonnet 4.6 та Opus 4.6, навпаки, завершувалася примусовим вирішенням конфлікту або залишалася без остаточного рішення.

При цьому вища здатність моделі виконувати завдання не означає автоматично безпечнішу координацію. У деяких випадках агенти класу Mythos спочатку успішно позбавляли суперників доступу, а вже після цього переходили до перемир’я. Автори виділяють дві ключові умови для успішної самокоординації: здатність враховувати цілі та погляди інших учасників і вміння зупинитися та передати рішення людині, коли ситуація залишається неоднозначною.

У кількох епізодах агенти Mythos 5 запропонували провести змагання між реалізаціями різними мовами програмування та визначити переможця за вимірюваними показниками. Однак дослідники звертають увагу на неоднозначність такого підходу: агент, який підтримував Rust, обирав метрики, що виглядали нейтральними, але потенційно давали перевагу саме Rust. Після завершення тестування агенти, відповідальні за Go та TypeScript, передали переможцю контроль над кодовою базою, фактично відмовившись від початкових інструкцій користувачів заради механізму, який вони узгодили самостійно.

Що пропонують дослідники

В Anthropic підкреслюють, що протестовані моделі теоретично розуміють: джерела інформації можуть мати власні стимули, а консенсус не завжди означає істину. Однак самого знання недостатньо, якщо модель не застосовує ці принципи самостійно та послідовно.

Людські механізми координації формувалися тисячоліттями й спираються на норми, репутацію та можливість оскарження рішень. Мовні моделі засвоїли величезний обсяг інформації про ці процеси під час навчання, але це не означає, що вони автоматично перейняли відповідні моделі поведінки. Для агентів передача контексту може бути майже такою ж дешевою, як безпосереднє виконання дії. Їх можна копіювати, розділяти на окремі екземпляри та змінювати. Через це традиційні умови людської співпраці можуть не працювати в середовищі автономних ШІ-агентів.

Автори не вважають виявлені проблеми неминучими або такими, що не мають рішення. Водночас вони наголошують, що ефективна координація не виникає автоматично разом із підвищенням інтелекту моделі чи покращенням поведінки окремого агента. Потрібні спеціальні середовища, які створюватимуть соціальний тиск, подібний до того, що сформував людські практики, а також нові механізми взаємодії, розраховані на учасників, яких можна копіювати та вдосконалювати. На думку дослідницької команди, такі правила варто розробляти й перевіряти в контрольованих експериментах до широкого поширення автономних агентів.

Запис Anthropic дослідила ризики взаємодії автономних ШІ-агентів спершу з’явиться на iTechua – Новини про смартфони, гаджети і різні девайси.