Tìm kiếm trang web

LTX-2 Mang Đến Tính Năng Tạo Âm Thanh-Hình Ảnh Mã Nguồn Mở Cuối Cùng Đuổi Kịp Sora và VEO

Trong suốt năm qua, việc tạo video đã trở thành một trong những ứng dụng hứa hẹn nhất của công nghệ AI. Với sự phổ biến của Sora của OpenAI, VEO của Google và các video AI của Kling trên mạng xã hội, việc tạo video bằng AI gần như không thể tránh khỏi trong bối cảnh trực tuyến hiện nay. Điều này mang lại nhiều hệ quả lâu dài, nhưng không nên đánh giá thấp hoặc bỏ qua tính hữu ích của công nghệ này.

Tuy nhiên, công nghệ mã nguồn mở đã tụt lại so với các mô hình độc quyền này trong một thời gian. Mặc dù chúng có thể tạo ra video chất lượng cao theo nhiều phong cách khác nhau với khả năng tuân thủ yêu cầu tốt, như với Wan2.2, nhưng chúng lại thiếu khả năng tạo âm thanh đi kèm. Mặc dù các mô hình Âm thanh-đến-Video của Wan đã tiến một bước đúng hướng, nhưng việc sử dụng các mô hình này lại quá khó khăn để thực sự áp dụng chúng vào những việc như sáng tạo nội dung. Hạn chế lớn này đã kìm hãm các công nghệ mã nguồn mở này khỏi việc tiếp cận khán giả rộng hơn không chuyên về kỹ thuật và cả thế giới doanh nghiệp.

Tất cả điều đó sẽ thay đổi với LTX-2. Là một bước tiến thực sự cho việc tạo video mã nguồn mở, LTX-2 chắc chắn là công nghệ tạo video mạnh mẽ nhất từng được công khai mã nguồn. Nói một cách đơn giản, “LTX-2 là một mô hình nền tảng âm thanh-video dựa trên DiT, được thiết kế để tạo video và âm thanh đồng bộ trong cùng một mô hình.” Sự kết hợp mạnh mẽ này, cộng với thiết kế mô hình hiệu quả cho phép chạy trên GPU tiêu dùng, biến LTX-2 trở thành một công cụ đáng gờm để tạo video.

Trong hướng dẫn này, chúng ta sẽ tìm hiểu cách LTX-2 hoạt động khi khám phá quy trình kiến trúc của nó, sau đó hướng dẫn cách chạy LTX-2 trên Linux-Console.net Gradient bằng ComfyUI.

Điểm chính

  • LTX-2 là một bước tiến thực sự trong việc tạo video, kết hợp mô hình âm thanh và video trong cùng một quy trình.
  • LTX-2 dễ chạy trên Gradient AI bằng GPU NVIDIA
  • LTX-2 hiện đang có sẵn để sử dụng miễn phí trên Hugging Face

LTX-2: Cách thức hoạt động

LTX-2 là một mô hình tạo video-audio thống nhất. Về cơ bản, nó bao gồm một bộ biến áp hai luồng không đối xứng với các luồng video và audio riêng biệt, được ghép nối với “các lớp chú ý chéo video-audio hai chiều với nhúng vị trí thời gian và AdaLN đa phương thức cho điều kiện chia sẻ bước thời gian.” Việc thống nhất này cho phép tạo ra cả hai luồng hiệu quả hơn, với việc phân bổ dung lượng lớn hơn cho việc tạo video so với tạo audio.

Chúng ta có thể thấy kiến trúc của mô hình ở trên. Trong thực tế, tín hiệu video và âm thanh thô được mã hóa thành các token tiềm ẩn theo từng phương thức thông qua các VAE nguyên nhân, trong khi văn bản được xử lý thông qua một quy trình nhúng tinh chỉnh. Một bộ khuếch tán biến đổi hai luồng sau đó cùng lúc khử nhiễu các tiềm ẩn âm thanh và video, tận dụng chú ý chéo âm thanh-hình ảnh hai chiều và điều kiện văn bản để tạo ra đầu ra đồng bộ âm thanh-hình ảnh.

Để làm điều này trở nên khả thi, nhóm Lightricks đã đạt được một số tiến bộ trong công nghệ Thị giác máy tính và Tạo âm thanh. Đặc biệt, bài báo về LTX-2 nêu ra bốn đóng góp chính được thực hiện cho phiên bản này:

-Kiến trúc Dual-Stream Bất đối xứng Hiệu quả: phần lõi dựa trên transformer với các luồng riêng theo từng loại dữ liệu được kết nối thông qua chú ý chéo hai chiều và AdaLN đa hình thức để điều kiện hóa bước thời gian chung.

  • Các khối xử lý văn bản với Token suy nghĩ: họ cũng phát triển một mô-đun điều kiện văn bản mới sử dụng dự đoán đa token để cải thiện khả năng hiểu prompt và tính ổn định ngữ nghĩa.
  • Biểu diễn âm thanh thần kinh gọn nhẹ: để xử lý âm thanh, họ đã tạo ra một AutoEncoder Biến phân (VAE) âm thanh nhân quả hiệu quả, tạo ra không gian tiềm ẩn 1D chất lượng cao, được tối ưu hóa cho huấn luyện và suy luận dựa trên khuếch tán.
  • Hướng dẫn không cần bộ phân loại nhận thức theo phương thức: Một sơ đồ cấu hình hai mô thức mới cho phép kiểm soát độc lập các thang đo hướng dẫn xuyên phương thức, cải thiện đáng kể sự đồng bộ âm thanh và hình ảnh

Tất cả cùng nhau, những yếu tố này tạo nên mô hình video mã nguồn mở hiệu quả nhất hiện có, kết hợp việc tạo video và âm thanh trong một quy trình duy nhất.

Trình diễn: LTX-2 với ComfyUI trên GPU Droplet

Bây giờ khi chúng ta đã xem cách mô hình hoạt động, chúng ta có thể bắt đầu với bản demo. Để bắt đầu, đăng nhập vào Linux-Console.net Gradient và tạo một GPU Droplet. Chúng tôi khuyên dùng GPU NVIDIA H100 hoặc H200 để chạy LTX-2, nhưng nó cũng nên chạy đủ tốt trên NVIDIA A6000. Khi Droplet của bạn đã được khởi tạo, truy cập nó thông qua SSH trên terminal của máy tính cục bộ của bạn.

Thiết lập Droplet GPU

Làm theo các hướng dẫn được nêu trong hướng dẫn này để thiết lập GPU Droplet của bạn nếu bạn chưa từng thực hiện trước đó. Sau đó, bạn sẽ sử dụng SSH để truy cập vào GPU Droplet trên máy tính cục bộ của bạn bằng VS Code hoặc Cursor. Giữ cửa sổ terminal và cửa sổ VS Code/Cursor đang kết nối mở để sử dụng sau.

Cài đặt ComfyUI & Tải các Mô hình

Sử dụng cửa sổ terminal kết nối với GPU Droplet, điều hướng đến thư mục mà bạn muốn. Khi đã ở đó, dán đoạn mã sau để cài đặt ComfyUI trên GPU Droplet, tải các mô hình cần thiết cho LTX-2, sau đó chạy ComfyUI và truy cập nó bằng VS Code/Trình duyệt đơn giản của Cursor:

git clone https://github.com/Comfy-Org/ComfyUI
cd ComfyUI
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt
cd models/text_encoders
wget https://huggingface.co/Comfy-Org/ltx-2/resolve/main/split_files/text_encoders/gemma_3_12B_it.safetensors
cd ../checkpoints
wget https://huggingface.co/Lightricks/LTX-2/resolve/main/ltx-2-19b-dev-fp8.safetensors
cd ../latent_upscale_models
wget https://huggingface.co/Lightricks/LTX-2/resolve/main/ltx-2-spatial-upscaler-x2-1.0.safetensors
cd ../loras
wget https://huggingface.co/Lightricks/LTX-2/resolve/main/ltx-2-19b-distilled-lora-384.safetensors
cd ../custom_nodes
git clone https://github.com/Lightricks/ComfyUI-LTXVideo
cd ComfyUI-LTXVideo/
pip install -r requirements.txt
cd ../..
python main.py

Khi quá trình này hoàn tất, lấy URL được xuất ra (mặc định là http://127.0.0.1:8188) và sử dụng tính năng Trình duyệt Đơn giản của VS Code/Cursor để truy cập nó trên trình duyệt của máy tính của bạn.

Chạy LTX-2

Để chạy quy trình làm việc LTX-2 ngay bây giờ, chúng ta có thể điều hướng sang bên trái của cửa sổ để truy cập biểu tượng mẫu trong thanh bên. Nhấn vào đó, sau đó tìm kiếm và chọn mẫu "LTX-2 Text to Video". Điều này sẽ hoàn tất thiết lập của chúng ta. Nếu bây giờ chúng ta nhấn chạy, chúng ta sẽ nhận được video mặc định về một con rối đang hát về mưa. Chúng tôi không thể chia sẻ video trên nền tảng này, nhưng đây là một ảnh GIF của video không có âm thanh.

Từ đây, chúng ta có thể nhấp vào cửa sổ lời nhắc để chỉnh sửa video đầu ra, cũng như thay đổi kích thước/độ dài video. Chúng tôi khuyên bạn nên thử nghiệm với tất cả các ý tưởng của mình. Mô hình này rất giỏi trong việc tạo video có âm thanh, vì vậy hãy chắc chắn bao gồm các lời nhắc có “trích dẫn ” lời nói, hiệu ứng âm thanh và âm nhạc.

Để tạo video từ hình ảnh, hãy quay lại menu chọn mẫu và tìm kiếm mẫu “LTX-2 Image to Video”. Bạn có thể nhập bất kỳ hình ảnh nào mà bạn đã tạo hoặc chụp trong thực tế, và biến chúng thành hoạt hình bằng một lệnh. Ví dụ, chúng ta có thể yêu cầu một hình ảnh tĩnh của cảnh bãi biển biến thành một video hoạt hình đầy đủ với sóng vỗ, chim mòng biển kêu và gió thổi trên bãi biển. Đây là một ví dụ về điều đó:

Qua các thí nghiệm của chúng tôi, rõ ràng rằng, ít nhất đối với phiên bản đầu tiên của LTX-2, khả năng chuyển đổi văn bản thành video vượt trội hơn nhiều so với khả năng chuyển đổi hình ảnh thành video. Điều này hơi đáng tiếc, nhưng chúng tôi hy vọng điều này sẽ được cải thiện trong các phiên bản tương lai của mô hình, mà đội ngũ LTX-2 của Lightricks đã hứa sẽ ra mắt.

Những suy nghĩ cuối cùng

LTX-2 có lẽ là mẫu ấn tượng nhất mà chúng tôi từng được trải nghiệm trong lĩnh vực video. Thậm chí còn hơn cả VEO-3 và Sora 2, chúng tôi bị ấn tượng bởi tốc độ và tính dễ tiếp cận của mô hình mã nguồn mở này. Chúng tôi khuyến khích mọi người thử mẫu này trên Gradient ngay hôm nay!

Cảm ơn bạn đã học cùng cộng đồng Linux-Console.net.