LTX

Генерация видео из текста в реальном времени

Используя модель DiT с 2 миллиардами параметров, преобразует текстовые описания в 5-секундные видео с разрешением 768x512 на 24 кадра в секунду в течение 2-4 секунд, обеспечивая быстрое прототипирование и производство контента.

Генерация видео из изображений в реальном времени

Анимирует статичные входные изображения в видеосерии на основе текстовых инструкций по движению, поддерживая высокую согласованность для создания бесшовных и управляемых видеоыходов из визуальных источников.

Генерация изображений ИИ из текста

Создает высококачественные изображения из текстовых запросов с несколькими вариантами соотношения сторон, используя модели, такие как Seedream 5.0, для поддержки разнообразных креативных и маркетинговых рабочих процессов проектирования.

• Кинематографисты: Предварительная визуализация сцен путем генерации видео-раскадровок на основе текстовых запросов за секунды.
• Создатели контента для соцсетей: Быстро создавайте короткие видеоролики, адаптированные под конкретные платформы, используя анимацию из изображений.
• Рекламные команды: Быстро прототипируйте визуальные материалы кампаний, используя последовательные AI-генерируемые видеоклипы.
• Преподаватели: Преобразуйте планы уроков в увлекательные образовательные видео с помощью генерации видео из текста.
• Электронная коммерция: Анимируйте изображения товаров, чтобы создать динамические видео-презентации для онлайн-листингов.

Что такое LTX и в чём его уникальность?

LTX — это первая в мире модель реального времени для генерации AI-видео на основе DiT (Diffusion Transformer), разработанная компанией Lightricks. Её архитектура с 2 миллиардами параметров способна генерировать 5-секундные видео с разрешением 768x512 и частотой 24 кадра в секунду всего за 2-4 секунды — быстрее, чем воспроизведение. Модель является полностью open-source и поддерживает генерацию видео из текста (text-to-video) и из изображения (image-to-video).

Насколько быстро генерируется видео в LTX?

LTX генерирует видео быстрее, чем его реальное время воспроизведения. На графическом процессоре NVIDIA H100 модель может создать 5-секундное видео примерно за 4 секунды. Эта рекордная скорость делает её практичной для использования в реальном времени в творческих рабочих процессах и для быстрого прототипирования.

Какие форматы и разрешения видео поддерживает LTX?

LTX генерирует видео с разрешением 768x512 на 24 кадра в секунду. Модель поддерживает количество кадров, равное 1, кратному 8 (например, 9, 17, 25 кадров). На выходе получается MP4-файл, подходящий для социальных сетей, рекламы и профессионального создания контента.

LTX является открытым исходным кодом?

Да! LTX полностью открыт, его исходный код размещён на GitHub компанией Lightricks. Модель интегрирована с ComfyUI для визуального проектирования рабочих процессов и поддерживает системы на базе GPU и TPU. Разработчики могут свободно использовать, изменять и распространять её в соответствии с лицензией Apache-2.0.

Что такое генерация видео из текста и из изображения?

Генерация видео из текста (text-to-video) позволяет создавать видео на основе текстовых описаний — просто опишите желаемую сцену. Генерация из изображения (image-to-video) позволяет «оживить» статичные картинки — загрузите фото и опишите, как оно должно двигаться. LTX преуспевает в обоих режимах, обеспечивая стабильные и высококачественные результаты.

В каких сценариях можно использовать LTX?

LTX идеально подходит для предварительной визуализации в кино, творчества в рекламе, создания контента для социальных сетей, образовательных материалов и быстрого прототипирования. Контент-мейкеры, маркетологи, преподаватели и компании используют её для эффективного производства профессионального видео.

Какие системные требования нужны для запуска LTX?

Для LTX требуется видеокарта с достаточным объёмом видеопамяти. Наилучшая производительность достигается на оборудовании на базе NVIDIA H100. Модель поддерживает потребительские видеокарты и системы на TPU. Для локального запуска модели с 2 миллиардами параметров обычно требуется не менее 16 ГБ видеопамяти, а скорость генерации зависит от возможностей аппаратного обеспечения.

Как начать работать с LTX?

Новые пользователи могут получить доступ к LTX через официальный сайт ltx.dev с использованием бесплатных кредитов, без необходимости ввода данных банковской карты. Для локального развертывания открытая модель доступна на GitHub с руководствами по интеграции в ComfyUI. Компания Lightricks предоставляет документацию и примеры рабочих процессов, чтобы помочь с первоначальной настройкой и исследованием возможностей.

Каковы условия лицензии для коммерческого использования?

LTX выпущена под лицензией Apache-2.0, которая разрешает коммерческое использование, модификацию и распространение при условии указания авторства. Лицензионные платежи отсутствуют, но пользователи должны соблюдать условия лицензии. Lightricks также предлагает собственные проприетарные модели, такие как FLUX.1 Kontext, под отдельной коммерческой лицензией.

Можно ли интегрировать LTX с другими творческими инструментами?

Да. LTX интегрируется с ComfyUI для визуального проектирования рабочих процессов на основе узлов, что позволяет комбинировать её с другими AI-моделями и эффектами. Выходные видео в формате MP4 можно импортировать в стандартные видеоредакторы. Entwickler können auch verfügbare APIs für benutzerdefinierte Integrationen in proprietäre Anwendungen nutzen.

Каковы текущие ограничения LTX?

LTX в настоящее время генерирует видео только с фиксированным разрешением 768x512, при этом количество кадров ограничено конкретными значениями (9, 17 или 25 кадров). Консистентность может варьироваться при работе с крайне сложными или абстрактными запросами. Скорость генерации в реальном времени зависит от аппаратного обеспечения: на потребительских видеокартах время генерации будет значительно больше, чем рекламируемые 2-4 секунды на высокопроизводительных GPU.

• LTX — это модель генерации видео в реальном времени на основе ИИ, которая создает короткие видео из текстовых или изображений с использованием архитектуры DiT с 2 млрд параметров для быстрых результатов профессионального качества.
• Перейдите на веб-интерфейс LTX по адресу https://ltx.dev/ и войдите в систему или создайте учетную запись, чтобы получить доступ к инструментам генерации и системе кредитов.
• Выберите соответствующий режим генерации: используйте "Текст в видео" для описательных запросов или "Изображение в видео", чтобы анимировать загруженное статичное изображение с помощью запроса на движение.
• Введите подробный текстовый запрос, описывающий желаемую сцену, объект и движение, обеспечивая ясность в пределах ограничения символов для оптимальной согласованности вывода.
• Для преобразования изображения в видео загрузите исходное изображение и свяжите его с запросом, указывающим, как изображение должно анимироваться или преобразовываться на протяжении видео.
• Выберите соотношение сторон (например, 16:9, 9:16), соответствующее требованиям вашей целевой платформы, прежде чем начинать процесс генерации.
• Нажмите кнопку "Сгенерировать видео"; система потратит указанные кредиты (например, 10-15) и обработает запрос, используя модель Seedream 5.0.
• Подождите примерно 2-4 секунды, пока будет отрендерено 5-секундное видео с разрешением 768x512 в формате MP4, поскольку LTX работает быстрее скорости реального времени.
• Предпросмотрите сгенерированное видео прямо в интерфейсе, оценивая визуальное качество, плавность движения и соответствие входному запросу или исходному изображению.
• Скачайте финальный MP4-файл для использования в программах для редактирования, социальных сетях, презентациях или других творческих и профессиональных видео-производственных рабочих процессах.
• Итерируйте, корректируя запросы, меняя соотношения сторон или модифицируя исходные изображения для уточнения результатов, используя скорость инструмента для быстрого прототипирования.
• Применяйте сгенерированные клипы к конкретных случаям использования, таким как контент для социальных сетей, рекламные раскадровки, образовательные ролики или предварительная визуализация фильмов.