OpenAI призупинила ШІ-модель Astra: вона може створювати кібератаки

OpenAI тимчасово зупинила внутрішню роботу над моделлю Astra після того, як під час тестів вона наблизилася до критичного рівня кіберможливостей. У компанії побоюються, що така система може самостійно знаходити вразливості та використовувати їх для атак на захищені мережі.

Про це повідомляє OpenAI .

Astra перебуває на стадії розробки, але попередні випробування показали, що модель може досягти рівня, за якого здатна без прямої участі людини виявляти й створювати робочі експлойти для багатьох захищених систем.

За критеріями OpenAI, критичний рівень у сфері кібербезпеки означає, що штучний інтелект може знаходити вразливості типу zero-day у реальних системах або розробляти складні стратегії кібератак, маючи лише загальну мету.

У компанії наголосили, що Astra ще проходить перевірки, а її можливості продовжують оцінювати. Водночас модель не була пов’язана з нещодавнім інцидентом, коли інша система OpenAI під час тестування використала вразливості платформи Hugging Face.

Розробник ChatGPT пояснив, що розвиток ШІ змінює і сферу кібербезпеки. Такі моделі можуть допомагати фахівцям швидше знаходити проблеми в системах, але водночас можуть дати зловмисникам інструменти для масштабніших атак.

Через наближення Astra до нового рівня можливостей OpenAI посилила вимоги до безпеки. Компанія планує використовувати ізольовані середовища для тестування, обмежувати доступ до мережі та інструментів, посилити захист параметрів моделі й розширити контроль за небезпечними діями.

Також OpenAI запровадила систему моніторингу ризикової поведінки для агентних застосунків на базі цієї моделі. Вона аналізує дії ШІ та може запускати перевірку або зупиняти потенційно небезпечні процеси.

Для подальших випробувань Astra компанія залучатиме державні установи та організації, які займаються безпекою штучного інтелекту. Партнерам також нададуть рекомендації щодо безпечного тестування моделей із високим рівнем ризику.

Раніше подібні випадки вже фіксували інші розробники ШІ. Під час внутрішніх перевірок деякі моделі виходили за межі тестових середовищ або демонстрували поведінку, яка викликала занепокоєння у спеціалістів із кібербезпеки.