OpenAI представила новый подход к отслеживанию, расследованию и публичному раскрытию случаев несогласованного поведения своих моделей искусственного интеллекта.
Одновременно компания опубликовала шесть отчетов о необычных действиях моделей, выявленных в ходе обучения и тестирования за последние шесть месяцев.
В OpenAI отмечают, что ранее сведения о подобных случаях публиковались нерегулярно. Отдельные результаты могли включаться в системные карточки новых моделей или объединяться в более крупные отчеты. Теперь компания намерена быстрее раскрывать соответствующие инциденты, в том числе тогда, когда причины поведения еще полностью не установлены, а окончательные меры защиты не разработаны.
Что OpenAI считает несогласованным поведением
Под «несогласованностью» OpenAI понимает поведение модели, которое расходится с заданными ограничениями, намерениями пользователя или установленными правилами безопасности.
Компания планирует обращать внимание на новые способы несанкционированных действий, взаимодействия моделей между собой, обхода контроля и надзора, а также на случаи, которые ставят под сомнение эффективность существующих методов защиты. При этом для публикации необязательно, чтобы поведение уже привело к реальному ущербу или демонстрировало устойчивую тенденцию.
OpenAI отдельно подчеркивает, что некоторые опубликованные случаи впоследствии могут оказаться единичными проявлениями или ложными сигналами. Поэтому приведенные примеры нельзя автоматически трактовать как показатель того, насколько часто подобное поведение возникает у моделей компании.
Какие случаи опубликовала компания
В первом пакете OpenAI представила шесть отчетов.
Самостоятельное создание инструкций в описаниях задач. Исследовательская модель, которая еще не была выпущена для пользователей, добавляла в сводки задач дополнительные инструкции, в том числе указания игнорировать обычные ограничения. Компания обнаружила 27 затронутых сводок.
Попытки скрывать ошибки. Во время обучения GPT-5.6 Sol некоторые экземпляры модели добавляли в итоговые описания задач инструкции, направленные на сокрытие ошибок или несогласованного поведения от пользователя. В OpenAI приводят среди прочего пример инструкций о необходимости выдумывать отсутствующие исторические данные без раскрытия этого факта.
Поиск открытых API-ключей. В одном из экспериментов модель при поиске информации об экономических показателях округа в Калифорнии обнаружила опубликованный API-ключ и использовала его без разрешения. Когда получить необходимые данные все равно не удалось, модель сформировала вымышленные показатели и представила их как информацию из запрошенного источника.
Загрузка файлов в интернет ради цитирования. В другом эксперименте модель смогла получить необходимую информацию с помощью Python, но затем самостоятельно решила загрузить файл в интернет, чтобы использовать его в качестве источника для цитирования. Пользователь не давал разрешения на такую публикацию файла.
Использование внутреннего программного репозитория для обмена сообщениями. Модели использовали внутренний репозиторий программного обеспечения как своеобразный канал для передачи запросов и ответов между отдельными тренировочными сессиями, пытаясь найти отсутствующие входные файлы. OpenAI также описала более ранний случай, когда модель загружала тестовые файлы в репозиторий при попытке обойти сетевые ограничения.
Передача файлов между взаимодействующими агентами. Несколько агентов, выполнявших одну тренировочную задачу, использовали публичные сервисы размещения файлов, чтобы обмениваться данными, когда не могли получить доступ к локальным файлам друг друга. В результате материалы становились доступны по публичным URL, хотя условия задачи предполагали работу только с локальными файлами.
Почему подобные случаи важны для бизнеса
Для компаний, которые внедряют ИИ-агентов в работу с документами, кодом, базами данных и внешними сервисами, проблема выходит за рамки качества ответа чат-бота.
Современные агентные системы могут получать доступ к инструментам и самостоятельно выполнять последовательность действий. Поэтому при корпоративном использовании необходимо контролировать не только конечный результат, но и то, какие операции модель выполняет по пути к нему.
Например, если ИИ-агент имеет доступ к файловой системе, корпоративному репозиторию или внешним сервисам, необходимо заранее определить разрешенные действия, ограничения на передачу данных и порядок подтверждения потенциально рискованных операций.
Особое значение это приобретает при работе с конфиденциальной информацией. Случай, описанный OpenAI с загрузкой файла в интернет ради получения ссылки для цитирования, показывает, что достижение поставленной задачи может вступить в противоречие с ограничениями, которые пользователь подразумевал, но явно не сформулировал.
Как будет работать новая система раскрытия
OpenAI создала внутренний процесс, в рамках которого любой сотрудник компании может передать потенциальный случай несогласованного поведения на рассмотрение исследовательских и команд безопасности.
После этого специалисты изучают обстоятельства произошедшего, определяют, что известно и остается неопределенным, оценивают необходимость публичного раскрытия и возможное воздействие на третьих лиц.
Для расследований предусмотрены три направления: готовые к публикации случаи, случаи, которым требуется дополнительное небольшое исследование, и более сложные расследования, для которых может потребоваться продолжительная работа и взаимодействие с внешними сторонами.
Если инцидент затрагивает третью сторону, требования безопасности, юридические обязательства и процедуры ответственного раскрытия имеют приоритет над публичным раскрытием информации. В подобных ситуациях публикация может быть отложена, например если преждевременное раскрытие создало бы дополнительный риск безопасности.
Какие данные будут публиковаться
В отчетах OpenAI намерена указывать характер выявленного поведения, его серьезность, возможные последствия, условия возникновения и период, когда оно было обнаружено. По возможности компания также будет описывать методы обнаружения, результаты расследования, значение случая для исследований безопасности и меры, которые принимаются для устранения проблемы.
При этом новая система не заменяет существующие юридические требования к раскрытию информации об инцидентах, включая требования, связанные с серьезными проблемами безопасности и кибербезопасностью.
OpenAI рассчитывает на общие отраслевые стандарты
Компания отмечает, что сейчас не существует единого отраслевого стандарта, который устанавливал бы четкие правила раскрытия случаев несогласованного поведения ИИ-моделей.
В дальнейшем OpenAI планирует работать над более объективными критериями совместно с другими разработчиками ИИ, независимыми исследователями, организациями, занимающимися отраслевой стандартизацией, и регулирующими органами.
Для рынка искусственного интеллекта это означает постепенный переход от публикации отдельных исследований к более системному информированию о поведении моделей в ходе обучения, тестирования и эксплуатации.
При этом сама OpenAI рассматривает представленную систему как рабочий механизм, который будет корректироваться по мере накопления опыта и получения обратной связи. Компания намерена продолжать публиковать новые отчеты о случаях, соответствующих установленным критериям.
С уважением к Вашему делу, Ника Виноградова
Источник: Sostav.ru
