I Ran LTX 2.3 Locally — Image to Video with Audio, No Cloud Required

Я запускав LTX 2.3 локально — зображення в відео з аудіо, без хмари
https://ift.tt/I4B3Dnk

I Ran LTX 2.3 Locally — Image to Video with Audio, No Cloud Required
Last Wednesday night, I got my 12th “content policy violation” of the month.
Минулої середи вночі я отримав свій 12-й «порушення політики вмісту» за місяць.

I wasn’t doing anything illegal. Just a portrait photo, a simple motion prompt. The kind of thing any filmmaker would shoot on set.
Я не робив нічого незаконного. Просто портретне фото, простий запит на рух. Таке те, що будь-який ідентичний кінематографіст зняв би на знімальному майданчику.

The platform didn’t care. The error message was the same cold boilerplate it always is.
Платформа байдуже. Повідомлення про помилку було таким же холодним шаблонним текстом, як завжди.

That was the moment I decided I was done with cloud video generation.
Це був момент, коли я вирішив, що закриваю питання з відеогенерацією в хмарі.

Two hours later, someone dropped a link in a Discord server I’m in.
За дві години хтось кинув посилання в моєму сервері Discord.

“LTX 2.3 GGUF is out. Runs on consumer GPUs. Image-to-video with native audio.”
«LTX 2.3 GGUF випущено. Працює на споживчих GPU. Зображення-в-відео з нативним аудіо.»

I stared at that message for a few seconds.
Я дивився на це повідомлення кілька секунд.

Native audio. Not dubbed afterward. Not a separate step. Generated alongside the video, synchronized, as one output.
Нативне аудіо. Не озвучене пізніше. Не окремий крок. Створено разом із відео, синхронізовано, як один результат.

I closed the browser tab with the content violation error and started downloading the model.
Я закрив вкладку браузера з помилкою порушення політики та почав завантажувати модель.

What is LTX 2.3?
Що таке LTX 2.3?

LTX-Video is an open-source video generation model from Lightricks, an Israeli company that’s been in the media processing space for a while. Version 2.3 is their most capable release yet, and what makes it genuinely interesting compared to everything else out there:
LTX-Video — це відкрита модель генерування відео від Lightricks, ізраїльської компанії, яка вже довгий час працює у сфері обробки медіавмісту. Версія 2.3 — їх найпотужніша релізна версія на сьогодні, і що робить її справді цікавою порівняно з усім іншим:

It generates video and audio simultaneously.
Вона одночасно генерує відео та аудіо.

Not video first, then audio layered on top. The model jointly produces both streams — synchronized dialogue, ambient sound, environmental audio — as a single generation pass. That’s architecturally different from most pipelines where audio is an afterthought.
Не спочатку відео, а потім аудіо на верх. Модель спільно створює обидва потоки — синхронізований діалог, фоновий звук, зовнішнє аудіо — за єдиним проходом генерації. Це архітектурно відрізняє від більшості конвеєрів, де аудіо — друга думка.

Other notable upgrades in 2.3:
Інші помітні оновлення у 2.3:

Redesigned VAE for sharper fine details (hair, fabric texture, edges)
Перероблений VAE для більш різких дрібних деталей (волосся, фактура тканини, краї)

Significantly improved image-to-video quality
Суттєво покращена якість зображення до відео

4K resolution support at up to 50 FPS
Підтримка 4K дозволу з частотою до 50 кадрів за секунду

Better prompt understanding and camera motion control
Краще розуміння запиту та контроль руху камери

Portrait (9:16) support alongside landscape
Портретна орієнтація (9:16) поряд із ландшафтною

The base model sits at 19 billion parameters. Running it at full precision would require 38GB+ VRAM — firmly in server territory.
Базова модель має 19 мільярдів параметрів. Запуск у повній точності потребував би понад 38 ГБ VRAM — дійсно для серверів.

Then GGUF happened.
Потім з’явився GGUF.

Why GGUF Changes Everything
Чому GGUF міняє все

The short version: GGUF is a quantization format that compresses model weights from 16-bit floats down to 4-bit (or lower). Same model, roughly one-fifth the size.
Коротко: GGUF — це формат квантизації, який стискає ваги моделі з 16-розрядних дійсних чисел до 4-бітних (або нижче). Та сама модель, приблизно в п’ять разів менша за розміром.

The version I’m using is Q4_K_S — about 10.7GB for the main model file. My GPU is an RTX 3080 with 10GB VRAM. The text encoder (Gemma 3 12B) offloads to CPU/RAM. Main model runs on GPU.
Версія, яку я використовую, — Q4_K_S — близько 10.7 ГБ для головного файлу моделі. Мій GPU — RTX 3080 з 10 ГБ VRAM. Текстовий енкодер (Gemma 3 12B) переноситься на CPU RAM. Головна модель — на GPU.

Result: a 5-second, 960×544 video with audio in about 2-3 minutes.
Результат: 5-секундне відео роздільною здатністю 960×544 з аудіо приблизно за 2-3 хвилини.

Is that fast? No. Is it running entirely on my own hardware, with no cloud, no API calls, no usage logs? Yes.
Хоч це і не швидко. Чи працює це повністю на моєму обладнанні, без хмари, без API-викликів, без журналів використання? Так.

That trade-off is completely worth it to me.
Ця взаємна плата повністю варта для мене.

What the Output Actually Looks Like
Як виглядає вивід на практиці

I ran an image-to-video test with a portrait photo. The prompt was minimal — I wanted to see what the model would do with almost no direction.
Я провів тест зі зображення в відео на портретному фото. Запит був мінімальним — хотілося побачити, чого модель досягне практично без напрямку.

Input image:
Вхідне зображення:

First output:
Your browser doesn’t support video playback.
Перший вихід:
Ваш браузер не підтримує відтворення відео.

Second test with a different input:
Другий тест із іншим входом:

Your browser doesn’t support video playback.
Ваш браузер не підтримує відтворення відео.

Honest assessment: it’s not perfect. At Q4 quantization you lose some sharpness compared to the full BF16 model. Motion can be slightly jerky on complex scenes.
Чесна оцінка: не ідеальне. За квантизацією Q4 ви втрачаєте деяку різкість порівняно з повною BF16 моделлю. Рух може бути трохи тремтячим на складних сценах.

But the audio synchronization is genuinely impressive. And more importantly — this ran on my desk, with no data leaving my machine.
Але синхронізація аудіо справді вражає. І важливо — усе працювало на моєму столі, жодні дані не виходили з мого комп’ютера.

The Privacy Argument (And Why It Actually Matters)
Аргумент на користь приватності (І чому це дійсно має значення)

Let me be direct about something most AI tool reviews dance around.
Дозвольте бути відвертим щодо речі, яку більшість оглядів AI-інструментів обходить стороною.

Every image you upload to a cloud video generation service is stored on someone else’s server. Every prompt you type is logged. Every generation becomes part of your usage profile. The terms of service you clicked through without reading probably give them broad rights to that data.
Кожне зображення, яке ви завантажуєте в хмарний сервіс генерації відео, зберігається на чиєюсь сервері. Кожен ваш запит реєструється. Кожна генерація стає частиною вашого профілю використання. Умови використання, які ви могли не читати — ймовірно надають їм широкі права на ці дані.

I’m not being paranoid. This is just how SaaS works.
Я не параноїк. Так працюють SaaS-сервіси.

Local inference changes the equation completely. The model lives on your hard drive. Inference runs on your GPU. The output files go to your output folder.
Локальний інференс змінює все знову. Модель зберігається на вашому жорсткому диску. Інференс виконується на вашому GPU. Вихідні файли потрапляють у вашу папку виводу.

The entire pipeline is air-gapped from the internet.
Увесь конвеєр ізольований від Інтернету.

No usage logs. No content moderation API calls. No third party with visibility into what you’re creating.
Жодних журналів використання. Жодних викликів API модерації контенту. Жодних третіх сторін, які бачать, що ви створюєте.

If you’re working on creative projects that might not survive a content policy review — not because they’re harmful, but because algorithms are bad at context — this matters.
Якщо ви працюєте над творчими проектами, які можуть не пройти модерацію політики контенту — не через шкоду, а через те, що алгоритми погано розуміють контекст — це має значення.

What you create is between you and your hardware.
Те, що ви створюєте, — це між вами та вашим обладнанням.

Hardware Requirements
Вимоги до обладнання

Here’s what you actually need:
Ось що насправді потрібно:

Component
Компонент

Minimum
Мінімум

Recommended
Рекомендовано

GPU
GPU

RTX 3080 10GB
RTX 3080 10ГБ

RTX 4080 16GB+
RTX 4080 16ГБ+

RAM
ОЗУ

32GB (text encoder on CPU)
32 ГБ (текстовий енкодер на CPU)

64GB
64 ГБ

Storage
ПЗУ

30GB free
10+ 30ГБ вільно

50GB+
50ГБ+

OS
ОС

Windows 10/11
Windows 10/11

Windows 11
Windows 11

Model files you need:
Необхідні файли моделі:

Main model: LTX-2.3-distilled-Q4_K_S.gguf (~10.7GB)
Головна модель: LTX-2.3-distilled-Q4_K_S.gguf (~10.7ГБ)

Text encoder: Gemma 3 12B fp4 + LTX text projection layer
Текстовий енкодер: Gemma 3 12B fp4 + шар текстової проекції LTX

Video VAE: LTX23_video_vae_bf16.safetensors
Video VAE: LTX23_video_vae_bf16.safetensors

Audio VAE: LTX23_audio_vae_bf16.safetensors
Audio VAE: LTX23_audio_vae_bf16.safetensors

LoRA: LTX-2-Image2Vid-Adapter.safetensors
LoRA: LTX-2-Image2Vid-Adapter.safetensors

If your VRAM is under 12GB, the text encoder (Gemma 3 12B) will run on CPU. You’ll need 32GB of system RAM for that to work without swapping to disk.
Якщо ваш VRAM менше 12 ГБ, текстовий енкодер (Gemma 3 12B) працюватиме на CPU. Потрібно 32 ГБ системної ОЗУ, щоб це працювало без вилучення на диск.

One-Click Setup
Одноклікна установка

I’ve packaged a complete pre-configured environment that includes:
Я упакував повне попередньо налаштоване середовище, яке включає:

Full ComfyUI installation with all required custom nodes pre-installed
Повну установку ComfyUI із всіма потрібними користувацькими вузлами попередньо встановленими

All model files (no separate downloads needed)
Усі файли моделі (потрібні окремі завантаження відсутні)

A Gradio web interface — just open a browser, upload an image, write a prompt, hit generate
Веб-інтерфейс Gradio — просто відкрийте браузер, завантажте зображення, введіть запит, натисніть “генерувати”

Pre-tuned workflow matching the settings that produced the videos above
Попередньо налаштований робочий процес, що відповідає налаштуванням, які дали вище згадані відео

Double-click 01-run.bat. Browser opens. Generate.
Двічі клацніть 01-run.bat. Браузер відкривається. Генеруйте.

No Python environment setup. No node installation. No YAML configuration. It just works.
Жодної установки Python. Жодної установки вузлів. Жодної YAML-конфігурації. Просто працює.

Download: https://ift.tt/W9zCrnv
Завантажити: https://ift.tt/W9zCrnv

A Note on What This Enables
Примітка щодо того, що це дає

I’ve been running local AI models for a few years now. What’s changed recently isn’t the existence of local models — it’s the capability gap closing.
Я використовую локальні моделі AI вже кілька років. Зміни, що сталися останнім часом, полягають не в існуванні локальних моделей — а в скороченні розриву у можливостях.

Twelve months ago, local video generation was a curiosity. The outputs were bad enough that cloud services, despite their restrictions, were clearly better.
Рік тому локальна генерація відео була курйозом. Виходи були настільки поганими, що хмарні сервіси, попри їхні обмеження, явно були кращими.

That’s no longer true.
Тепер це не так.

LTX 2.3 at Q4 quantization produces outputs that are competitive with mid-tier cloud services. And it does something cloud services can’t do by design: it generates audio and video together, in a single pass, with no content filtering, on hardware you own.
LTX 2.3 з квантизацією Q4 дає результати, що конкурують з середньорівневими хмарними сервісами. І робить те, чого хмарові сервіси не можуть за задумом: генерує аудіо та відео разом, за один прохід, без фільтрації контенту, на обладнанні, яке ви маєте.

That’s a meaningful shift.
Це вагомий зсув.

The technology for completely private, unrestricted, high-quality video generation now fits on a consumer GPU. What people do with that capability — the creative projects they pursue, the content they make — is genuinely up to them.
Технологія повністю приватної, нерегульованої, високоякісної генерації відео тепер поміщається на споживчий GPU. Те, що люди роблять з цією можливістю — творчі проєкти, які вони переслідують, контент, який вони створюють — дійсно залежить від них.

That’s new.
Це ново.

Download the one-click package: https://ift.tt/oD9zVGu
Завантажити пакет одним кліком: https://ift.tt/oD9zVGu

Running questions? Drop a comment. I respond to most of them.
Поставляєте запитання? Залишайте коментар. Я відповідаю більшості з них.

HI-FI News
HI-FI News

via DEV Community https://dev.to

March 8, 2026 at 12:44PM
8 березня 2026 р. о 12:44 пп

March 8, 2026 at 12:44PM