Защита сред для ИИ-агентов, ускорение хранилища и сотрудничество с NASK
Дата выпуска:
В выпуске — три сообщения OpenAI о безопасности и инфраструктуре. Компания описала проверку изоляции исследовательских сред агентами, изменения в платформе хранения Habitat и соглашение с польским исследовательским институтом NASK.
Выпуск может включать ранее опубликованные важные события.
OpenAI раскрыла результаты проверки изоляции сред обучения ИИ
OpenAI сообщила, что агенты в ходе масштабной проверки нашли ранее неизвестные уязвимости ПО и ошибки настройки исследовательской инфраструктуры. По сообщению компании, находки позволяли выходить из песочниц, перемещаться между системами, получать ограниченный доступ к интернету и обмениваться данными через границы изоляции. Компания заявила, что устранила выявленные слабые места, приостановила обучение и оценку наиболее мощных моделей, а 1 октября возобновила обучение с подкреплением и внутреннее использование передовых моделей с усиленными мерами защиты. OpenAI также ввела политику обучения передовых моделей без доступа к интернету, пока дополнительные меры не обоснуют более широкий доступ.
Ключевые факты
OpenAI сообщила, что агенты нашли уязвимости и ошибки настройки, затрагивавшие песочницы, сетевые границы и изоляцию между агентами.
OpenAI заявила, что устранила найденные слабые места и включила масштабную проверку защит агентами в обоснование безопасности будущих запусков обучения и оценки моделей.
Компания сообщила о возобновлении обучения с подкреплением и внутреннего использования передовых моделей 1 октября, через 11 дней после начала паузы.
Объективно о важном
Песочница сама по себе не гарантирует, что агент не выйдет за разрешённые пределы. Командам, использующим агентов, могут понадобиться несколько независимых уровней защиты: ограничения среды выполнения, сетевые правила, контроль прав доступа, мониторинг и автоматическая остановка рискованных запусков. Проверять стоит не только код агента, но и конфигурацию облака и связанные сервисы.
Бизнес-процессы
Разработка и тестирование ИИ-агентов — Может потребовать формальных проверок изоляции до допуска агентов к внутренним системам или внешним сервисам.
Управление безопасностью облачной инфраструктуры — Может усилить регулярную проверку конфигураций, прав доступа, сетевых маршрутов и сигналов мониторинга.
Возможности автоматизации
Непрерывная проверка конфигураций и границ доступа для сред агентов: Автоматически выявлять изменения, которые открывают запрещённые сетевые пути, избыточные права или взаимодействие между изолированными задачами. Условия: Нужны актуальные сведения об инфраструктуре и правилах доступа.; Автоматические блокировки следует тестировать, чтобы не останавливать критичные работы по ложным срабатываниям.; Проверки не заменяют расследование и исправление сложных уязвимостей специалистами.
Влияние на ручную работу
Автоматические проверки и остановка запусков могут сократить ручной поиск типовых ошибок конфигурации. Подтверждение находок, оценка последствий и исправление остаются работой инженеров безопасности.
Ограничения и риски
Это описание внутренней инфраструктуры OpenAI, а не готовый продукт для внешнего внедрения.
OpenAI ожидает, что будущие модели смогут находить ещё неизвестные уязвимости.
По сообщению компании, полностью отключить исследовательскую инфраструктуру от внешних сетей пока нельзя: внешние соединения нужны для запуска и мониторинга экспериментов.
OpenAI сообщила о 12-кратном ускорении чтения в Habitat
OpenAI сообщила об изменениях в своей платформе онлайн-хранения Habitat. Компания внедрила распределённое кеширование с обновлением кеша по потоку изменений данных и переписала сервис с Python на Rust. По оценке OpenAI, медианная задержка глобального чтения снизилась примерно со 120 до 10 мс, то есть в 12 раз.
Ключевые факты
Habitat — внутренняя платформа онлайн-хранения OpenAI для быстрого доступа продуктов к данным.
OpenAI заявила, что интегрированное распределённое кеширование и переписывание сервиса на Rust снизили глобальную медианную задержку чтения примерно со 120 до 10 мс.
По сообщению OpenAI, кеш использует поток изменений базы данных, чтобы распространять сигналы о необходимости обновления локальных копий по всему миру в течение нескольких секунд.
Объективно о важном
Задержка хранилища влияет на скорость пользовательских сценариев и сервисов, которые обращаются к данным при работе агентов. Единый слой кеширования может уменьшить необходимость для каждой продуктовой команды отдельно строить кеши, объединять запросы и обходить медленное чтение. Но ускорение медианного запроса не устраняет задержки обращений к данным, которых нет в кеше.
Бизнес-процессы
Работа пользовательских и агентных сервисов с оперативными данными — Быстрое чтение может сократить ожидание в сценариях, где сервис многократно получает настройки, состояние или метаданные.
Планирование ёмкости и эксплуатация хранилища — Общий слой хранения для разных команд способен сократить объём ручного планирования для отдельных продуктов, если изоляция нагрузок сохраняется.
Возможности автоматизации
Обновление распределённого кеша при изменении данных: Автоматически сбрасывать локальные копии объектов после изменений в основной базе, а не полагаться только на срок жизни кеша. Условия: Нужен надёжный поток изменений и обработка сбоев доставки.; Следует определить допустимую устарелость данных для каждого процесса.; Критичные записи требуют проверки согласованности и стратегии отката.
Влияние на ручную работу
Централизованные кеширование и управление изменениями могут уменьшить ручную настройку кешей и масштабирования для продуктовых команд. Эксплуатация крупной распределённой платформы по-прежнему требует специализированной инженерной работы.
Ограничения и риски
Показатели приведены OpenAI для собственной платформы и не доказывают такой же результат в другой архитектуре.
Запросы без попадания в кеш всё ещё обращаются к основному хранилищу, иногда между регионами.
Размещение данных ограничено доступной облачной ёмкостью, а кеширование создаёт риск выдачи устаревших данных.
OpenAI и NASK подписали соглашение о сотрудничестве в сфере безопасности ИИ
OpenAI и польский исследовательский институт NASK подписали соглашение об изучении сотрудничества в области безопасности ИИ, защиты систем и технических исследований. Стороны намерены изучать методы оценки более мощных систем ИИ, выявления потенциальных уязвимостей и усиления защитных мер. NASK участвует через свой Центр исследований безопасности ИИ, который выполняет роль польского института безопасности ИИ.
Ключевые факты
OpenAI и NASK подписали соглашение об изучении сотрудничества в области безопасности ИИ, защиты систем и технических исследований.
Соглашение предусматривает изучение методов оценки ИИ-систем, выявления потенциальных уязвимостей и усиления защитных мер.
OpenAI сообщила, что в июле CERT Polska, работающий в составе NASK, получил доступ к её моделям с возможностями в области кибербезопасности через Daybreak и использовал их при поиске шести уязвимостей в MikroTik RouterOS.
Объективно о важном
Соглашение не означает появления нового инструмента или готового стандарта. Оно может помочь сторонам сопоставлять методы оценки рисков и результаты проверок. Организациям такой подход напоминает о ценности процедур оценки, регистрации инцидентов и проверки защит, результаты которых можно сравнивать между командами и странами.
Бизнес-процессы
Оценка рисков ИИ и управление инцидентами — Международное сотрудничество может поддержать более сопоставимые подходы к тестированию защит и документированию инцидентов.
Защита публичных цифровых сервисов — Исследования могут помочь адаптировать методы оценки ИИ к условиям публичных цифровых систем, но практические результаты ещё не объявлены.
Возможности автоматизации
Сбор и сопоставление данных для оценки безопасности ИИ: Возможный подход — унифицировать журналы тестов, результаты проверок и записи об инцидентах для анализа разными организациями. Условия: Соглашение описывает изучение сотрудничества, а не запущенную общую платформу.; Нужны правила обмена данными, конфиденциальности и ответственности.; Метрики и процедуры оценки должны быть согласованы сторонами.
Влияние на ручную работу
В сообщении нет данных о внедрённом рабочем процессе или измеримом сокращении ручной работы. Возможные методы и результаты сотрудничества пока не раскрыты.
Ограничения и риски
Соглашение предполагает изучение сотрудничества; конкретные результаты, сроки и инструменты не объявлены.
Сообщение OpenAI о работе CERT Polska относится к более раннему эпизоду и не является результатом нового соглашения.