OpenAI объявила о введении новых политик безопасности, направленных на контроль за разработкой и тестированием нейросетей. Меры включают более детальный мониторинг моделей в процессе их создания, а также усиление контроля на этапе пост-тренировки. Изменения были анонсированы после инцидента с платформой Hugging Face, о котором стало известно 26 июля.
В компании отметили, что новые правила частично обусловлены развитием возможностей модели Astra и общим темпом прогресса в области ИИ. После инцидента с Hugging Face OpenAI на две недели приостанавливала обучение с подкреплением (RL), однако работа над менее рискованными моделями уже возобновлена. Крупнейшие проекты остаются на паузе до завершения дополнительных проверок.
Вице-президент по исследованиям Амелия Глейз подчеркнула, что строгость контроля будет расти пропорционально сложности моделей. Новая система безопасности включает усиленную изоляцию сетей, чтобы предотвратить несанкционированный доступ к интернету в случае компрометации отдельных инструментов. Также внедрена система мониторинга, анализирующая логи активности и действия инструментов с целью выявления подозрительного поведения в течение 30 минут.
