LTX-Video の inference.py でメモリ使用量を抑えるテクニック

• 概要
• 環境
• CPUオフロードをオンにする
• distilled なモデルを使う
• 生成する動画の長さを短くする
• 入力する画像のサイズを小さくする
• 最後に

概要

基本何もしないと30GBほどは消費します
VRAM の小さいマシンでも動作させるようにする方法を紹介します

環境

• macOS 15.7
• Python 3.10.12
• LTX-Video (main revision: 53d263f31727a0021bf65e3e413d1cb139abb86b)

CPUオフロードをオンにする

• source env/bin/activate
• pip install accelerate
• vim ltx_video/inference.py

     pipeline = LTXVideoPipeline(**submodel_dict)
     pipeline = pipeline.to(device)
+    pipeline.enable_attention_slicing()
+    pipeline.enable_model_cpu_offload()
     return pipeline

288 行目あたりに上記を追加します

distilled なモデルを使う

configs/ltxv-2b-0.9.8-distilled.yaml を使います

生成する動画の長さを短くする

• num_frames を下げる (デフォルトは121)
• frame_rate を下げる (デフォルトは30)

でデフォルトは4秒((121-1)/30)の動画になるのですがどちらかを下げて動画の長さを短くしてもメモリ消費量を抑えられます

入力する画像のサイズを小さくする

• 512x512ではな384x384などにする
• それでもダメなら256x256にする
• SD-WebUI に合わせるなら896x1152から256x384に比率を抑えながら解像度を下げて入力画像にする

最後に

Windows なら更に xformers の対応や Q8-Kernels もできます