Невеликі AI-моделі виявилися ефективнішими за дорогі рішення
Час читання: 2 хв.
Нові тести компанії AISLE показали, що компактні та недорогі системи штучного інтелекту справляються зі складним аналізом вразливостей на рівні просунутих рішень, якщо вони вбудовані в правильно налаштовану архітектуру.
Усі 8 протестованих моделей, серед яких була система з 3,6 мільярдами параметрів і вартістю близько 0,11 долара за мільйон токенів, виявили серйозну вразливість у ядрі FreeBSD. Результати ставлять під сумнів уявлення про те, що якість аналізу безпосередньо залежить від розміру та ціни моделі.
Приводом для дослідження став гучний вихід Claude Mythos від Anthropic і запуск ініціативи Project Glasswing, після яких індустрія заговорила про здатність просунутих моделей знаходити вразливості, що залишалися непоміченими десятиліттями.
AISLE вирішила перевірити, наскільки ці можливості унікальні. В одному з тестів відкрита модель відтворила ланцюжок аналізу помилки в OpenBSD, яка існувала майже 27 років. Невеликі системи при правильному налаштуванні виявилися здатними конкурувати з набагато більшими рішеннями в конкретних завданнях.
Окремо виділився тест під назвою парадокс OWASP. Моделям запропонували фрагмент коду на Java, який виглядав підозріло, але насправді був безпечним. Великі моделі, серед яких Claude 4.5 і GPT-4, видали помилкове спрацьовування.
Компактні рішення, зокрема DeepSeek R1, коректно розібрали логіку і не знайшли проблеми там, де її не було. Різниця між великими та малими моделями проявляється сильніше, коли завдання переходить від пошуку вразливості до її використання. Просунуті системи будують більш винахідливі експлойти, невеликі діють простіше. Для завдань захисту такий стиль виявляється кориснішим, тому що стабільне виявлення проблем ціннішим за витонченість атаки.
Дані AISLE, накопичені з середини 2025 року, підтверджують практичну цінність відкритих рішень. Вони вже працюють у реальних проєктах і знаходять уразливості в OpenSSL та curl, отримуючи схвалення від технічних команд цих проєктів.
Дослідження показує, що результат залежить не тільки від самої моделі, але й від того, як побудований процес аналізу. Архітектура системи, послідовна перевірка гіпотез і вбудована експертиза відіграють не меншу роль, ніж параметри нейромережі.
Запис Невеликі AI-моделі виявилися ефективнішими за дорогі рішення спершу з’явиться на iTechua – Новини про смартфони, гаджети і різні девайси.
