BPFlow AI / Новости

Защита сред для ИИ-агентов, ускорение хранилища и сотрудничество с NASK

Дата выпуска:

В выпуске — три сообщения OpenAI о безопасности и инфраструктуре. Компания описала проверку изоляции исследовательских сред агентами, изменения в платформе хранения Habitat и соглашение с польским исследовательским институтом NASK.

Выпуск может включать ранее опубликованные важные события.

Архив новостей →
01

OpenAI раскрыла результаты проверки изоляции сред обучения ИИ

OpenAI сообщила, что агенты в ходе масштабной проверки нашли ранее неизвестные уязвимости ПО и ошибки настройки исследовательской инфраструктуры. По сообщению компании, находки позволяли выходить из песочниц, перемещаться между системами, получать ограниченный доступ к интернету и обмениваться данными через границы изоляции. Компания заявила, что устранила выявленные слабые места, приостановила обучение и оценку наиболее мощных моделей, а 1 октября возобновила обучение с подкреплением и внутреннее использование передовых моделей с усиленными мерами защиты. OpenAI также ввела политику обучения передовых моделей без доступа к интернету, пока дополнительные меры не обоснуют более широкий доступ.

Ключевые факты

  • OpenAI сообщила, что агенты нашли уязвимости и ошибки настройки, затрагивавшие песочницы, сетевые границы и изоляцию между агентами.
  • OpenAI заявила, что устранила найденные слабые места и включила масштабную проверку защит агентами в обоснование безопасности будущих запусков обучения и оценки моделей.
  • Компания сообщила о возобновлении обучения с подкреплением и внутреннего использования передовых моделей 1 октября, через 11 дней после начала паузы.

Объективно о важном

Песочница сама по себе не гарантирует, что агент не выйдет за разрешённые пределы. Командам, использующим агентов, могут понадобиться несколько независимых уровней защиты: ограничения среды выполнения, сетевые правила, контроль прав доступа, мониторинг и автоматическая остановка рискованных запусков. Проверять стоит не только код агента, но и конфигурацию облака и связанные сервисы.

Бизнес-процессы

  • Разработка и тестирование ИИ-агентов — Может потребовать формальных проверок изоляции до допуска агентов к внутренним системам или внешним сервисам.
  • Управление безопасностью облачной инфраструктуры — Может усилить регулярную проверку конфигураций, прав доступа, сетевых маршрутов и сигналов мониторинга.

Возможности автоматизации

  • Непрерывная проверка конфигураций и границ доступа для сред агентов: Автоматически выявлять изменения, которые открывают запрещённые сетевые пути, избыточные права или взаимодействие между изолированными задачами.
    Условия: Нужны актуальные сведения об инфраструктуре и правилах доступа.; Автоматические блокировки следует тестировать, чтобы не останавливать критичные работы по ложным срабатываниям.; Проверки не заменяют расследование и исправление сложных уязвимостей специалистами.

Влияние на ручную работу

Автоматические проверки и остановка запусков могут сократить ручной поиск типовых ошибок конфигурации. Подтверждение находок, оценка последствий и исправление остаются работой инженеров безопасности.

Ограничения и риски

  • Это описание внутренней инфраструктуры OpenAI, а не готовый продукт для внешнего внедрения.
  • OpenAI ожидает, что будущие модели смогут находить ещё неизвестные уязвимости.
  • По сообщению компании, полностью отключить исследовательскую инфраструктуру от внешних сетей пока нельзя: внешние соединения нужны для запуска и мониторинга экспериментов.

Источники

  1. OpenAI News: Securing our frontier model training environment · Дата источника:
02

OpenAI сообщила о 12-кратном ускорении чтения в Habitat

OpenAI сообщила об изменениях в своей платформе онлайн-хранения Habitat. Компания внедрила распределённое кеширование с обновлением кеша по потоку изменений данных и переписала сервис с Python на Rust. По оценке OpenAI, медианная задержка глобального чтения снизилась примерно со 120 до 10 мс, то есть в 12 раз.

Ключевые факты

  • Habitat — внутренняя платформа онлайн-хранения OpenAI для быстрого доступа продуктов к данным.
  • OpenAI заявила, что интегрированное распределённое кеширование и переписывание сервиса на Rust снизили глобальную медианную задержку чтения примерно со 120 до 10 мс.
  • По сообщению OpenAI, кеш использует поток изменений базы данных, чтобы распространять сигналы о необходимости обновления локальных копий по всему миру в течение нескольких секунд.

Объективно о важном

Задержка хранилища влияет на скорость пользовательских сценариев и сервисов, которые обращаются к данным при работе агентов. Единый слой кеширования может уменьшить необходимость для каждой продуктовой команды отдельно строить кеши, объединять запросы и обходить медленное чтение. Но ускорение медианного запроса не устраняет задержки обращений к данным, которых нет в кеше.

Бизнес-процессы

  • Работа пользовательских и агентных сервисов с оперативными данными — Быстрое чтение может сократить ожидание в сценариях, где сервис многократно получает настройки, состояние или метаданные.
  • Планирование ёмкости и эксплуатация хранилища — Общий слой хранения для разных команд способен сократить объём ручного планирования для отдельных продуктов, если изоляция нагрузок сохраняется.

Возможности автоматизации

  • Обновление распределённого кеша при изменении данных: Автоматически сбрасывать локальные копии объектов после изменений в основной базе, а не полагаться только на срок жизни кеша.
    Условия: Нужен надёжный поток изменений и обработка сбоев доставки.; Следует определить допустимую устарелость данных для каждого процесса.; Критичные записи требуют проверки согласованности и стратегии отката.

Влияние на ручную работу

Централизованные кеширование и управление изменениями могут уменьшить ручную настройку кешей и масштабирования для продуктовых команд. Эксплуатация крупной распределённой платформы по-прежнему требует специализированной инженерной работы.

Ограничения и риски

  • Показатели приведены OpenAI для собственной платформы и не доказывают такой же результат в другой архитектуре.
  • Запросы без попадания в кеш всё ещё обращаются к основному хранилищу, иногда между регионами.
  • Размещение данных ограничено доступной облачной ёмкостью, а кеширование создаёт риск выдачи устаревших данных.

Источники

  1. OpenAI News: Rapidly scaling online storage to serve over 1 billion ChatGPT users (Part II) · Дата источника:
03

OpenAI и NASK подписали соглашение о сотрудничестве в сфере безопасности ИИ

OpenAI и польский исследовательский институт NASK подписали соглашение об изучении сотрудничества в области безопасности ИИ, защиты систем и технических исследований. Стороны намерены изучать методы оценки более мощных систем ИИ, выявления потенциальных уязвимостей и усиления защитных мер. NASK участвует через свой Центр исследований безопасности ИИ, который выполняет роль польского института безопасности ИИ.

Ключевые факты

  • OpenAI и NASK подписали соглашение об изучении сотрудничества в области безопасности ИИ, защиты систем и технических исследований.
  • Соглашение предусматривает изучение методов оценки ИИ-систем, выявления потенциальных уязвимостей и усиления защитных мер.
  • OpenAI сообщила, что в июле CERT Polska, работающий в составе NASK, получил доступ к её моделям с возможностями в области кибербезопасности через Daybreak и использовал их при поиске шести уязвимостей в MikroTik RouterOS.

Объективно о важном

Соглашение не означает появления нового инструмента или готового стандарта. Оно может помочь сторонам сопоставлять методы оценки рисков и результаты проверок. Организациям такой подход напоминает о ценности процедур оценки, регистрации инцидентов и проверки защит, результаты которых можно сравнивать между командами и странами.

Бизнес-процессы

  • Оценка рисков ИИ и управление инцидентами — Международное сотрудничество может поддержать более сопоставимые подходы к тестированию защит и документированию инцидентов.
  • Защита публичных цифровых сервисов — Исследования могут помочь адаптировать методы оценки ИИ к условиям публичных цифровых систем, но практические результаты ещё не объявлены.

Возможности автоматизации

  • Сбор и сопоставление данных для оценки безопасности ИИ: Возможный подход — унифицировать журналы тестов, результаты проверок и записи об инцидентах для анализа разными организациями.
    Условия: Соглашение описывает изучение сотрудничества, а не запущенную общую платформу.; Нужны правила обмена данными, конфиденциальности и ответственности.; Метрики и процедуры оценки должны быть согласованы сторонами.

Влияние на ручную работу

В сообщении нет данных о внедрённом рабочем процессе или измеримом сокращении ручной работы. Возможные методы и результаты сотрудничества пока не раскрыты.

Ограничения и риски

  • Соглашение предполагает изучение сотрудничества; конкретные результаты, сроки и инструменты не объявлены.
  • Сообщение OpenAI о работе CERT Polska относится к более раннему эпизоду и не является результатом нового соглашения.

Источники

  1. OpenAI News: OpenAI and Poland’s NASK partner to advance AI safety and security · Дата источника: