Top.Mail.Ru
Гонка за ИИ усиливает споры о безопасности

Гонка за ИИ усиливает споры о безопасности

Развитие искусственного интеллекта все заметнее выходит за пределы технологической дискуссии. Внутри ИИ индустрии усиливаются опасения относительно того, насколько контролируемым останется дальнейшее развитие технологий.

Одним из наиболее заметных сигналов стало решение 27-летнего исследователя Джейкоба Коксона покинуть Anthropic и вообще уйти из ИИ-индустрии. До этого он работал в OpenAI, а затем перешел в Anthropic, рассчитывая продолжить исследования в компании, уделяющей значительное внимание безопасности искусственного интеллекта. Однако спустя несколько месяцев Коксон пришел к выводу, что усилий отдельных разработчиков недостаточно для управления системными рисками. Об этом сообщил The Wall Street Journal.

Почему уход Коксона привлек внимание

Сам по себе уход специалиста из крупной технологической компании не был бы исключительным событием. Значимость ситуации заключается в причине решения.

Коксон занимался предварительным обучением ИИ-моделей и в течение последних трех лет работал сначала в OpenAI, а затем в Anthropic. После ухода он заявил, что обе компании, по его оценке, слишком быстро двигаются в направлении самоулучшающихся систем искусственного интеллекта. Исследователь считает, что конкуренция между лабораториями создает ситуацию, когда даже компании, признающие потенциальные угрозы, не готовы самостоятельно замедлить разработку, опасаясь отстать от конкурентов.

При этом речь идет не о заявлении, что катастрофический сценарий гарантированно произойдет. Коксон говорит о риске и о том, что последствия появления систем, способных самостоятельно совершенствовать собственные возможности, могут оказаться недостаточно предсказуемыми.

Именно это различие важно учитывать при оценке подобных прогнозов: сценарий глобальной катастрофы остается гипотезой, а не установленным фактом.

Почему специалист считает недостаточным саморегулирование компаний

Главная претензия Коксона связана не столько с конкретной технологией, сколько с экономикой гонки.

Если несколько компаний одновременно стремятся создать более мощные модели, каждая из них оказывается перед одинаковой дилеммой. Замедление разработки может повысить безопасность, но одновременно дать конкуренту возможность выйти на следующий технологический уровень раньше.

В результате возникает так называемая проблема коллективного действия: отдельной компании рационально соблюдать осторожность только в том случае, если конкуренты готовы поступить аналогично.

Именно поэтому Коксон пришел к выводу, что решить проблему исключительно силами частного бизнеса невозможно. По его мнению, необходимы внешнее регулирование и согласованные ограничения темпов развития наиболее мощных систем.

Такой подход переносит дискуссию об ИИ из корпоративной плоскости в государственную. Вопрос уже звучит не только как «насколько безопасна конкретная нейросеть», а как «кто и по каким правилам должен определять допустимую скорость развития технологий».

В дискуссиях вокруг заявлений Коксона часто используется понятие технологической сингулярности. Под ним обычно понимают гипотетический этап, при котором технологический прогресс становится настолько быстрым и самоподдерживающимся, что дальнейшие изменения трудно предсказать существующими методами.

В контексте искусственного интеллекта речь идет о возможном появлении систем, способных существенно превосходить человека в широком спектре интеллектуальных задач и участвовать в совершенствовании собственных возможностей.

Однако конкретные даты такого события — включая прогнозы на 2027 год или конец десятилетия — нельзя рассматривать как достоверный прогноз будущего. Это оценки отдельных исследователей и участников отрасли, основанные на предположениях о темпах развития моделей. Поэтому сравнение современных ИИ-систем со «Скайнетом» из «Терминатора» скорее отражает общественную тревогу вокруг автономных технологий, чем описывает реальное состояние современной индустрии.

Уход специалистов становится отдельным индикатором

История Коксона примечательна еще и тем, что он не первый специалист по безопасности ИИ, публично выразивший обеспокоенность направлением развития отрасли.

Подобные дискуссии ранее возникали и внутри других ведущих лабораторий. В частности, вопросы о приоритетах компаний, скорости разработки и достаточности механизмов безопасности становились причиной публичных разногласий и ухода отдельных исследователей.

При этом нельзя автоматически делать вывод, что подобные увольнения доказывают существование непосредственной угрозы человечеству. Они скорее демонстрируют наличие реального конфликта между двумя подходами к развитию ИИ.

Первый предполагает максимально быстрое наращивание возможностей моделей с одновременным совершенствованием механизмов безопасности. Второй исходит из того, что определенные уровни автономности могут потребовать предварительного международного регулирования и ограничений.

Пока отрасль не выработала окончательного ответа на этот вопрос.

Парадокс Anthropic: компания, ориентированная на безопасность, тоже сталкивается с критикой

Особое значение имеет то, что Коксон работал именно в Anthropic — компании, которая позиционирует безопасность ИИ как один из ключевых элементов своей стратегии. Это показывает сложность проблемы. Даже если организация инвестирует значительные ресурсы в исследования безопасности, она остается участником конкурентного рынка.

Получается противоречие: компания одновременно должна разрабатывать более мощные модели, отвечать на запросы клиентов и инвесторов и обеспечивать контроль над потенциально опасными возможностями.

Именно этот конфликт между коммерческой конкуренцией и долгосрочной безопасностью становится одной из центральных тем современной дискуссии об ИИ.

Пока одни спорят о будущем ИИ, бизнес уже использует его сегодня

На противоположной стороне этой дискуссии находится вполне практическое применение искусственного интеллекта.

8 сентября 2026 года «Яндекс» объявил о запуске Алисы AI для бизнеса — корпоративного ИИ-ассистента, которому можно поручать не только отдельные операции, но и сложные последовательности действий. По данным компании, сервис уже доступен клиентам «Яндекс 360», которыми пользуются более 185 тыс. организаций.

Ассистент способен работать с сервисами экосистемы «Яндекса», включая Почту, Диск, Календарь, Трекер и Вики. Компания также заявила о возможности взаимодействия со сторонними корпоративными системами и дальнейшем расширении таких интеграций.

Для бизнеса принципиально важно другое: ИИ постепенно перестает быть исключительно инструментом генерации текста.

Традиционная нейросеть отвечает на запрос пользователя. Следующий этап развития предполагает, что система сможет самостоятельно выполнять последовательность связанных операций. Например, вместо запроса «проанализируй обращения клиентов» сотрудник может поставить задачу выявить повторяющиеся проблемы, сгруппировать их и подготовить итоговый материал.

Подобная модель приближает ИИ к роли цифрового сотрудника, который работает не только с информацией, но и с корпоративными инструментами.

Именно здесь одновременно появляются новые возможности и новые риски. Чем больше действий система может выполнять самостоятельно, тем выше потенциальная производительность, но одновременно возрастает цена ошибки. Если ИИ имеет доступ к документам, CRM, финансовой информации или внутренним базам, вопросы разграничения полномочий, журналирования действий и контроля результатов становятся не менее важными, чем качество самой модели.

Почему российскому бизнесу придется учитывать оба сценария

Для компаний искусственный интеллект уже становится практическим инструментом повышения производительности. При этом развитие ИИ-агентов требует пересмотра подходов к информационной безопасности, доступам и внутренним регламентам.

Компании, которые внедряют такие технологии, должны понимать:

  • какие данные доступны модели;
  • какие действия она может выполнять самостоятельно;
  • какие операции требуют подтверждения сотрудника;
  • как фиксируются действия ИИ;
  • можно ли ограничить доступ к отдельным системам;
  • кто несет ответственность за результат автоматизированной операции.

Это особенно важно при подключении ИИ к корпоративным системам. Сам по себе факт интеграции еще не означает безопасной автоматизации: необходимо заранее определить границы полномочий цифрового помощника.

Что происходит с рынком ИИ на самом деле

На сегодняшний день одновременно развиваются два процесса.

С одной стороны, исследователи предупреждают о потенциально экстремальных последствиях создания высокоавтономных систем. История Коксона показывает, что подобные опасения существуют непосредственно внутри ведущих ИИ-лабораторий.

С другой стороны, компании активно переводят искусственный интеллект из экспериментальной области в прикладную. Российский рынок демонстрирует это на примере корпоративных ассистентов, интегрированных с офисными системами и бизнес-приложениями.

Эти процессы не противоречат друг другу. Чем быстрее ИИ распространяется в экономике, тем более значимыми становятся вопросы его надежности, управляемости и ответственности.

Главный вопрос — не «будет ли восстание машин»

Самая важная часть нынешней дискуссии находится далеко от сценариев из научной фантастики.

Для бизнеса гораздо более актуальны уже существующие риски: ошибочные решения алгоритмов, утечки данных, неконтролируемые действия ИИ-агентов, неправильная интерпретация документов и чрезмерная зависимость сотрудников от автоматизированных рекомендаций. Поэтому вопрос безопасности ИИ постепенно превращается из абстрактной темы о будущем человечества в практическую задачу корпоративного управления.

История Джейкоба Коксона показывает, насколько острым становится этот конфликт внутри самой технологической отрасли. Одни специалисты считают необходимым замедлить гонку и усилить внешнее регулирование, другие продолжают развивать прикладные системы, способные уже сегодня выполнять значительную часть интеллектуальной работы.

Вероятно, дальнейшее развитие ИИ будет определяться не выбором между «технологическим прогрессом» и «полным запретом», а поиском механизмов, которые позволят использовать преимущества новых моделей без передачи им неконтролируемого объема полномочий.

Именно баланс между скоростью развития, экономической эффективностью и управляемостью технологий становится главным вызовом для ИИ-индустрии в 2026 году.

С уважением к Вашему делу, Ника Виноградова

Источник: Lenta.ru

Политика конфиденциальности

Наш сайт использует файлы cookies, чтобы улучшить работу и повысить эффективность сайта. Продолжая работу с сайтом, вы соглашаетесь с использованием нами cookies и политикой конфиденциальности.

Принять