Нейросеть для генерации видео Sora

Создатели ChatGPT представили публике новинку — нейросеть для генерации видео Sora. Официально она ещё закрыта для простых пользователей, но уже успела наделать немало шума.

Пока изучать возможности Sora можно по видео, сгенерированными сотрудниками Open AI, то есть самими разработчиками Sora. Нейросеть умеет создавать реалистичные видео в хорошем качестве длиной до минуты. При этом пользователям обещают выход на качественно новый уровень — меньше артефактов и связанных с динамикой ошибок в кадре.

Как работает Sora

Заявлено, что Sora умеет генерировать видео по трем вариантам запросов:
Тексту.
Изображению.
Другому видео.

Пока публике в изобилии продемонстрировали видео, созданные по первому способу. Высокий уровень реалистичности видео достигается за счет применения алгоритма, аналогичного используемому в другой нейросети компании — Dall-E 3. Как и при генерации изображений в Dall-E 3, в Sora используется детальное описание для изображения. Это позволяет точнее следовать рекомендациям.

Простой текстовый запрос

Важная особенность Sora в том, что для генерации видео в ней не нужно отдельно учиться писать текстовые запросы. Не потребуется специальных команд или детального прописывания параметров в особом порядке. Предполагается, что справиться с запросом для создания видео в нейросети с первой попытки может любой пользователь независимо от уровня его навыков.

Принципы создания видео в Sora

Чтобы Sora умела генерировать видео заявленного качества, разработчики обучили её на множестве реальных роликов. Нейросеть является так называемой диффузионной моделью. Она берёт за основу видео с большим количеством шумов и на его основе создает четкий ролик, соответствующий запросу пользователя.

Помимо реалистичности, эксперты по нейросетям выделяют и другое важное преимущество созданных Sora видео — консистентность. Это означает, что объект по мере развития сюжета не изменяется, как это часто бывает в сгенерированных искусственным интеллектом роликах. Например, если по сюжету персонаж ненадолго исчезает из кадра, потом он может появиться в нём уже измененным. Sora защищена от подобного рода ошибок.

Впрочем, совсем без неточностей не обходится и эта нейросеть. Например, в одном из видео Sora сгенерировала пластиковый стул, как мягкий. В другом — в кадре играло много щенков и их количество постоянно менялось. И всё же Sora можно смело назвать новым шагом в генерации видео искусственным интеллектом.

Когда релиз

Пока неизвестно, когда же пользователи смогут оценить все преимущества новой нейросети при её реальном использовании. В настоящее время доступ к ней имеют сотрудники Open AI, регулярно радующие публику новыми видео, и тестировщики, которые ищут в Sora уязвимости. Точная дата релиза не объявлена — остаётся только ждать.