Представлена новая модель искусственного интеллекта для генерации видео высокого разрешения Pyramid Flow

Группа исследователей ИИ из Пекинского университета, Kuaishou Technology и Пекинского университета почты и телекоммуникаций разработала новую модель ИИ под названием Pyramid Flow, которую можно использовать для создания виртуальных видеоизображений высокого разрешения (768p). Группа написала статью, описывающую, как они построили свою модель, ее атрибуты и возможные области применения, и разместила ее на сервере препринтов arXiv.


За последние несколько лет несколько организаций, как частных, так и государственных, пытались создать модели генерации видео с использованием ИИ. Это связано с тем, что такие модели можно использовать для создания приложений, способных производить виртуальный видеоконтент для использования в телевидении и кинофильмах — по гораздо более низкой цене, чем съемка реальных сцен.

Это означает, что модели ИИ очень быстро растут в цене. В этом новом начинании команда в Китае решила сделать свою модель с открытым исходным кодом, что означает, что любой, кто решит разработать приложение для нее (оболочку вывода) и запустить ее локально — в том числе для коммерческого использования — может сделать это бесплатно.

Создатели Pyramid Flow добавили новую деталь в модели генерации видео с помощью ИИ — он генерирует видео на нескольких этапах с низким разрешением, прежде чем сгенерировать окончательный результат его обработки. Исследовательская группа утверждает, что оболочка вывода может сгенерировать пятисекундное видео за 56 секунд — результат будет иметь разрешение 384p.

Они отмечают, что их подход генерирует видео, используя гораздо меньшую вычислительную мощность, что делает его менее дорогим. Он также значительно сокращает количество токенов, необходимых для генерации видео, что делает его более эффективным.

Команда опубликовала (под лицензией MIT) код Pyramid Flow на GitHub вместе с примерами видео, демонстрирующими весьма реалистичные результаты, которые можно ожидать от модели. Они также перечислили наборы данных с открытым исходным кодом, которые они использовали для обучения своей модели, что в совокупности составило до 10 миллионов коротких видео.

Исследовательская группа не упомянула о влиянии продолжающихся претензий тех, кто видит виртуальные видео, созданные из баз данных с открытым исходным кодом, как нарушающие права владельцев авторских прав. Однако они предполагают, что Pyramid Flow может быть подходящим инструментом для использования в тонкой настройке материалов с открытым исходным кодом, без необходимости платить третьей стороне.