Сбер научил нейросети физике: Kandinsky WM 1.0 создает видео для роботов и беспилотников.
Сбер выпустил семейство генеративных моделей Kandinsky WM 1.0, которые генерируют видео с учетом законов физики. Они помогут обучать беспилотные автомобили, промышленных роботов и другие системы Physical AI. Код и веса нейросетей опубликованы под открытой лицензией MIT и доступны всем разработчикам мира бесплатно.
Почему физика важна для ИИ
Physical AI — это класс систем искусственного интеллекта, которые воспринимают физический мир, понимают его динамику и могут управлять реальными устройствами: роботами, беспилотными автомобилями, промышленным оборудованием.
Главная проблема таких систем — дефицит обучающих данных. Один автомобиль с камерами и датчиками накапливает порядка 5000 часов записей в год, тогда как современным моделям требуются миллионы часов видеоданных. А многие редкие и опасные сценарии — ДТП, экстремальная погода, отказы оборудования — вообще невозможно воспроизвести в реальных условиях.
Как работает Kandinsky WM 1.0
В основе новой разработки лежит нейросеть Kandinsky 5.0 Video Lite. Ее дообучили на нескольких миллионах реальных видеосцен: записях с камер роботов, беспилотных автомобилей и промышленных процессов. Это позволило моделям лучше понимать физику — как движутся объекты, как они сохраняют форму и взаимодействуют с окружением.
Базовые модели генерации видео часто нарушают простые физические законы: объекты деформируются, перспектива искажается, движения выглядят неестественно. Чтобы повысить физическую достоверность, команда Сбера применила дополнительное обучение и методы обучения с подкреплением. Специальные модели оценивали ролики на предмет сохранения формы объектов, геометрии и естественности движения — на основе этой обратной связи Kandinsky учился создавать более правдоподобные видео.
Создаваемые моделями видео длятся около пяти секунд и отражают отдельные действия: манипуляции с предметами (взял, положил, разрезал), дорожные ситуации (перестроение, проезд перекрестка), этапы производственных процессов. Эти базовые «кирпичики» лягут в основу обучения автономных систем.
CTO Kandinsky, управляющий директор по исследованию данных Сбера Денис Димитров объяснил сложность расчетов физических сценариев:
«Чтобы просчитать, как поведет себя коробка на мокром конвейере, нужно знать огромное количество параметров, которых у нас нет. Есть кейсы, которые вообще не описываются уравнениями, например, поведение пешехода перед беспилотным автомобилем».
Он подчеркнул, что человек решает подобные задачи за счет интуиции, опирающейся на накопленный опыт: «Наши модели учатся так же — на видео реального мира — и позволяют “прожить” виртуально даже те сценарии, которые опасно или невозможно воспроизвести. Это шаг к моделям мира — системам, которые понимают физическую реальность, предсказывают, что произойдет дальше, и могут действовать в ней самостоятельно».
Кому пригодятся модели
В Сбере считают, что Kandinsky WM окажутся особенно ценны там, где реальные съемки невозможны или сильно затруднены. Модели пригодятся:
разработчикам беспилотного транспорта (от легковых авто до грузовиков и роботакси);
производителям манипуляторов и промышленных роботов;
командам, внедряющим компьютерное зрение на производствах и складах;
исследователям, университетам и стартапам.
Модели уже применяются Центром робототехники Сбера для обучения собственных роботов, а также институтом AIRI в дорожном симуляторе . Kandinsky WM 1.0 — первая российская открытая модель для генерации физически достоверных данных. В мире таких систем единицы.
Источник: Газета.ру
