Cómo entrenar y usar modelos LoRA de Hunyuan Video

Este artículo le mostrará cómo instalar y usar software basado en Windows que puede entrenar modelos LoRA de Hunyuan Video, lo que permite al usuario generar personalidades personalizadas en el modelo de fundación de video de Hunyuan:

Haga clic para reproducir. Ejemplos de la reciente explosión de celebridades Hunyuan LoRAs de la comunidad civit.ai.

En este momento, las dos formas más populares de generar modelos LoRA de Hunyuan localmente son:

1) El marco de trabajo de diffusion-pipe-ui basado en Docker, que depende del Subsistema de Windows para Linux (WSL) para manejar algunos de los procesos.

2) Musubi Tuner, una nueva incorporación a la popular arquitectura de entrenamiento de difusión de Kohya ss. Musubi Tuner no requiere Docker y no depende de WSL o proxies Linux basados.

Por lo tanto, este tutorial se centrará en Musubi Tuner y en proporcionar una solución completamente local para el entrenamiento y generación de LoRA de Hunyuan, sin el uso de sitios web impulsados por API o procesos de alquiler de GPU comerciales como Runpod.

Haga clic para reproducir. Muestras del entrenamiento de LoRA en Musubi Tuner para este artículo. Todos los permisos otorgados por la persona representada, con el fin de ilustrar este artículo.

REQUISITOS

La instalación requerirá como mínimo un PC con Windows 10 y una tarjeta NVIDIA de la serie 30+/40+ con al menos 12 GB de VRAM (aunque se recomienda 16 GB). La instalación utilizada para este artículo se probó en una máquina con 64 GB de RAM de sistema y una tarjeta gráfica NVIDIA 3090 con 24 GB de VRAM. Se probó en un sistema de prueba dedicado con una instalación fresca de Windows 10 Professional, en una partición con más de 600 GB de espacio de disco libre.

ADVERTENCIA

Instalar Musubi Tuner y sus requisitos previos también implica la instalación de software y paquetes de desarrollo directamente en la instalación principal de Windows de un PC. Aunque he probado el procedimiento sin incidentes varias veces en entornos de prueba de Windows 10 recién instalados, ni yo ni unite.ai somos responsables de cualquier daño a los sistemas al seguir estas instrucciones. Le aconsejo que respalde cualquier dato importante antes de intentar este tipo de procedimiento de instalación.

CONSIDERACIONES

¿Este método sigue siendo válido?

La escena de inteligencia artificial generativa se mueve muy rápido, y podemos esperar mejores y más métodos de flujo de trabajo de LoRA de Hunyuan Video este año.

…o incluso esta semana. Mientras escribía este artículo, el desarrollador de Kohya/Musubi produjo musubi-tuner-gui, una GUI de Gradio sofisticada para Musubi Tuner:

Obviamente, una GUI de usuario es preferible a los archivos BAT que uso en esta función, una vez que musubi-tuner-gui esté funcionando. Como escribo, hace solo cinco días que se publicó en línea, y no puedo encontrar cuenta de alguien que lo haya utilizado con éxito.

Según publicaciones en el repositorio, la nueva GUI está destinada a integrarse directamente en el proyecto de Musubi Tuner lo antes posible, lo que pondrá fin a su existencia actual como repositorio de GitHub independiente.

Basado en las instrucciones de instalación actuales, la nueva GUI se clona directamente en el entorno virtual de Musubi existente; y, a pesar de muchos esfuerzos, no puedo hacer que se asocie con la instalación de Musubi existente. Esto significa que cuando se ejecuta, encontrará que no tiene motor.

Una vez que la GUI se integre en Musubi Tuner, problemas de este tipo seguramente se resolverán. Aunque el autor admite que el nuevo proyecto es ‘muy tosco’, es optimista sobre su desarrollo e integración directa en Musubi Tuner.

Dados estos problemas (también relacionados con rutas predeterminadas en el momento de la instalación y el uso del paquete de Python UV, que complica ciertos procedimientos en la nueva versión), probablemente debamos esperar un poco para tener una experiencia de entrenamiento de LoRA de Hunyuan Video más suave. Eso dicho, parece muy prometedor.

Pero si no puede esperar y está dispuesto a arremangarse un poco, puede hacer que el entrenamiento de LoRA de Hunyuan Video funcione localmente ahora mismo.

Comencemos.

¿Por qué instalar algo en metal desnudo?

(Omita este párrafo si no es un usuario avanzado)
Los usuarios avanzados se preguntarán por qué he elegido instalar tanto software en la instalación de Windows 10 en metal desnudo en lugar de en un entorno virtual. La razón es que el puerto de Windows esencial del paquete Triton basado en Linux es mucho más difícil de hacer funcionar en un entorno virtual. Todas las demás instalaciones en metal desnudo en el tutorial no pudieron instalarse en un entorno virtual, ya que deben interactuar directamente con hardware local.

INSTALACIÓN DE PAQUETES Y PROGRAMAS PREVIOS

Para los programas y paquetes que deben instalarse inicialmente, el orden de instalación es importante. Comencemos.

1: DESCARGAR MICROSOFT REDISTRIBUTABLE

Descargue e instale el paquete de redistribución de Microsoft desde https://aka.ms/vs/17/release/vc_redist.x64.exe.

Esta es una instalación rápida y sencilla.

2: INSTALAR VISUAL STUDIO 2022

Descargue la edición Community de Microsoft Visual Studio 2022 desde https://visualstudio.microsoft.com/downloads/?cid=learn-onpage-download-install-visual-studio-page-cta

Inicie el instalador descargado:

No necesitamos todos los paquetes disponibles, lo que sería una instalación larga y pesada. En la página inicial de Workloads que se abre, marque Desarrollo de escritorio con C++ (ver imagen a continuación).

Ahora haga clic en la pestaña Componentes individuales en la parte superior izquierda de la interfaz y use la casilla de búsqueda para encontrar ‘Windows SDK’.

Por defecto, solo está marcado Windows 11 SDK. Si está en Windows 10 (este procedimiento de instalación no ha sido probado por mí en Windows 11), marque la versión más reciente de Windows 10, indicada en la imagen de arriba.

Busque ‘C++ CMake’ y verifique que Herramientas de C++ CMake para Windows esté marcado.

Esta instalación ocupará al menos 13 GB de espacio.

Una vez que Visual Studio se haya instalado, intentará ejecutarse en su computadora. Déjelo abrir completamente. Cuando la interfaz de pantalla completa de Visual Studio sea finalmente visible, cierre el programa.

3: INSTALAR VISUAL STUDIO 2019

Algunos de los paquetes posteriores para Musubi esperan una versión anterior de Microsoft Visual Studio, mientras que otros necesitan una versión más reciente.

Por lo tanto, también descargue la edición Community gratuita de Visual Studio 19, ya sea desde Microsoft (https://visualstudio.microsoft.com/vs/older-downloads/ – cuenta requerida) o Techspot (https://www.techspot.com/downloads/7241-visual-studio-2019.html).

Instálelo con las mismas opciones que para Visual Studio 2022 (ver procedimiento anterior, excepto que Windows SDK ya está marcado en el instalador de Visual Studio 2019).

Verá que el instalador de Visual Studio 2019 ya es consciente de la versión más nueva mientras se instala:

Cuando la instalación esté completa y haya abierto y cerrado la aplicación de Visual Studio 2019 instalada, abra una ventana de símbolo del sistema de Windows (Escriba CMD en la barra de búsqueda) y escriba y ejecute:

where cl

El resultado debería ser las ubicaciones conocidas de las dos ediciones de Visual Studio instaladas.

Si en su lugar obtiene INFO: No se encontraron archivos para los patrones dados, consulte la sección Comprobar rutas de este artículo a continuación y utilice esas instrucciones para agregar las rutas de Visual Studio relevantes al entorno de Windows.

Guarde cualquier cambio realizado según la sección Comprobar rutas a continuación y luego intente el comando where cl nuevamente.

4: INSTALAR CUDA 11 + 12 TOOLKITS

Los varios paquetes instalados en Musubi necesitan diferentes versiones de NVIDIA CUDA, que acelera y optimiza el entrenamiento en tarjetas gráficas NVIDIA.

La razón por la que instalamos las versiones de Visual Studio primero es que los instaladores de NVIDIA CUDA buscan e integran con cualquier instalación de Visual Studio existente.

Descargue un paquete de instalación de CUDA de la serie 11 desde:

https://developer.nvidia.com/cuda-11-8-0-download-archive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_local (descargue ‘exe (local)’)

Descargue un paquete de instalación de CUDA de la serie 12 desde:

https://developer.nvidia.com/cuda-downloads?target_os=Windows&target_arch=x86_64

El proceso de instalación es idéntico para ambos instaladores. Ignore cualquier advertencia sobre la existencia o no de rutas de instalación en las variables de entorno de Windows – vamos a atender a esto manualmente más adelante.

INSTALAR HERRAMIENTAS DE CUDA DE NVIDIA V11+

Inicie el instalador de la herramienta de CUDA de la serie 11.

En Opciones de instalación, elija Personalizado (Avanzado) y proceda.

Desmarque la opción de NVIDIA GeForce Experience y haga clic en Siguiente.

Deje Seleccionar ubicación de instalación en los valores predeterminados (esto es importante):

Haga clic en Siguiente y deje que la instalación concluya.

Ignore cualquier advertencia o nota que el instalador dé sobre la integración de Nsight Visual Studio, que no es necesaria para nuestro caso de uso.

INSTALAR HERRAMIENTAS DE CUDA DE NVIDIA V12+

Repita todo el proceso para el instalador de la herramienta de CUDA de la serie 12 que descargó:

El proceso de instalación para esta versión es idéntico al de la versión 11 (la versión 11+), excepto por una advertencia sobre las rutas de entorno, que puede ignorar:

Cuando la instalación de la versión 12 de CUDA esté completa, abra una ventana de símbolo del sistema de Windows y escriba y ejecute:

nvcc --version

Esto debería confirmar información sobre la versión del controlador instalada:

Para comprobar que su tarjeta es reconocida, escriba y ejecute:

nvidia-smi

5: INSTALAR GIT

GIT manejará la instalación del repositorio de Musubi en su máquina local. Descargue el instalador de GIT desde:

https://git-scm.com/downloads/win (’64-bit Git for Windows Setup’)

Ejecute el instalador:

Use la configuración predeterminada para Seleccionar componentes:

Deje el editor predeterminado en Vim:

Deje que GIT decida sobre los nombres de las ramas:

Use la configuración recomendada para el Entorno de ruta:

Use la configuración recomendada para SSH:

Use la configuración recomendada para Transporte HTTPS:

Use la configuración recomendada para las conversiones de finales de línea:

Elige la consola de Windows predeterminada como emulador de terminal:

Use la configuración predeterminada (Adelante o mezcla) para Git Pull:

Use Git-Credential Manager (la configuración predeterminada) para Asistente de credenciales:

En Configuración de opciones adicionales, deje Habilitar caché de sistema de archivos marcado y Habilitar enlaces simbólicos desmarcado (a menos que sea un usuario avanzado que esté utilizando enlaces duros para un repositorio de modelos centralizado).

Concluya la instalación y pruebe que Git está instalado correctamente abriendo una ventana de símbolo del sistema de Windows y escribiendo y ejecutando:

git --version

INICIAR SESIÓN EN GITHUB

Más adelante, cuando intente clonar repositorios de GitHub, es posible que se le solicite que inicie sesión en su cuenta de GitHub. Para anticiparse a esto, inicie sesión en su cuenta de GitHub (créela, si es necesario) en cualquier navegador instalado en su sistema de Windows. De esta manera, el método de autenticación 0Auth (una ventana emergente) debería tomar muy poco tiempo.

Después de este desafío inicial, debería permanecer autenticado automáticamente.

6: INSTALAR CMAKE

CMake 3.21 o posterior es necesario para partes del proceso de instalación de Musubi. CMake es una arquitectura de desarrollo de plataforma cruzada capaz de orquestar compiladores diversos y de compilar software a partir de código fuente.

Descárguelo desde:

https://cmake.org/download/ (‘Windows x64 Installer’)

Lance el instalador:

Asegúrese de que Agregar CMake al entorno de ruta esté marcado.

Haga clic en Siguiente.

Escriba y ejecute este comando en una ventana de símbolo del sistema de Windows:

cmake --version

Si CMake se instaló correctamente, debería mostrar algo como:

cmake version 3.31.4
CMake suite maintained and supported by Kitware (kitware.com/cmake).

7: INSTALAR PYTHON 3.10

El intérprete de Python es central para este proyecto. Descargue la versión 3.10 (el mejor compromiso entre las diferentes demandas de los paquetes de Musubi) desde:

https://www.python.org/downloads/release/python-3100/ (‘Windows installer (64-bit)’)

Ejecute el instalador descargado y deje la configuración predeterminada:

Al final del proceso de instalación, haga clic en Deshabilitar límite de longitud de ruta (requiere confirmación de administrador de UAC):

En una ventana de símbolo del sistema de Windows, escriba y ejecute:

python --version

Esto debería resultar en Python 3.10.0

COMPROBAR RUTAS

La clonación e instalación de los marcos de Musubi, así como su funcionamiento normal después de la instalación, requiere que sus componentes conozcan la ruta a varios componentes externos importantes en Windows, particularmente CUDA.

Así que necesitamos abrir el entorno de ruta y comprobar que todos los requisitos estén allí.

Una forma rápida de acceder a los controles de las variables de entorno de Windows es escribir Editar las variables de entorno del sistema en la barra de búsqueda de Windows.

Haciendo clic en esto se abrirá el panel de control Propiedades del sistema. En la parte inferior derecha de Propiedades del sistema, haga clic en el botón Variables de entorno, y se abrirá una ventana llamada Variables de entorno. En el panel Variables del sistema en la mitad inferior de esta ventana, desplácese hacia abajo hasta Ruta y haga doble clic en ella. Esto abrirá una ventana llamada Editar variable de entorno. Arrastre el ancho de esta ventana para que pueda ver la ruta completa de las variables:

Aquí las entradas importantes son:

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.6\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.6\libnvvp
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\libnvvp
C:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.29.30133\bin\Hostx64\x64
C:\Program Files\Microsoft Visual Studio\2022\Community\VC\Tools\MSVC\14.42.34433\bin\Hostx64\x64
C:\Program Files\Git\cmd
C:\Program Files\CMake\bin

En la mayoría de los casos, las variables de ruta correctas deberían estar presentes.

Agregue cualquier ruta que falte haciendo clic en Nuevo en la izquierda de la ventana Editar variable de entorno y pegando la ruta correcta:

No solo copie y pegue desde las rutas enumeradas anteriormente; verifique que cada ruta equivalente exista en su propia instalación de Windows.

Después de esto, reinicie la computadora.

INSTALACIÓN DE MUSUBI

ACTUALIZAR PIP

Usar la versión más reciente del instalador de PIP puede suavizar algunas de las etapas de instalación. En una ventana de símbolo del sistema de Windows con privilegios de administrador (consulte Elevación a continuación), escriba y ejecute:

pip install --upgrade pip

ELEVACIÓN

Algunos comandos pueden requerir privilegios elevados (es decir, ejecutarse como administrador). Si recibe mensajes de error sobre permisos en las etapas siguientes, cierre la ventana de símbolo del sistema y ábrala nuevamente en modo administrador escribiendo CMD en la barra de búsqueda de Windows, haciendo clic derecho en Símbolo del sistema y seleccionando Ejecutar como administrador:

Para las próximas etapas, vamos a usar Windows Powershell en lugar de la ventana de símbolo del sistema de Windows. Puede encontrarlo escribiendo Powershell en la barra de búsqueda de Windows y (según sea necesario) haciendo clic derecho en él para Ejecutar como administrador:

INSTALAR TORCH

En Powershell, escriba y ejecute:

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

Sea paciente mientras se instalan los muchos paquetes.

Cuando se complete, puede verificar una instalación de PyTorch con GPU habilitada escribiendo y ejecutando:

python -c "import torch; print(torch.cuda.is_available())"

Esto debería resultar en:

C:\WINDOWS\system32>python -c "import torch;
print(torch.cuda.is_available())"
True

INSTALAR TRITON PARA WINDOWS

A continuación, la instalación del componente Triton para Windows. En Powershell elevado, escriba (en una sola línea):

pip install https://github.com/woct0rdho/triton-windows/releases/download/v3.1.0-windows.post8/triton-3.1.0-cp310-cp310-win_amd64.whl

(El instalador triton-3.1.0-cp310-cp310-win_amd64.whl funciona para CPUs Intel y AMD, siempre que la arquitectura sea de 64 bits y el entorno coincida con la versión de Python)

Después de ejecutar, esto debería resultar en:

Successfully installed triton-3.1.0

Podemos comprobar si Triton está funcionando importándolo en Python. Escriba y ejecute:

python -c "import triton; print('Triton is working')"

Esto debería producir:

Triton is working

Para comprobar que Triton está habilitado para GPU, escriba y ejecute:

python -c "import torch; print(torch.cuda.is_available())"

Esto debería resultar en True:

CREAR EL ENTORNO VIRTUAL PARA MUSUBI

A partir de ahora, instalaremos cualquier software adicional en un entorno virtual de Python (o venv). Esto significa que todo lo que necesitará hacer para desinstalar todo el software posterior es arrastrar la carpeta de instalación de venv al basurero.

Creemos la carpeta de instalación: haga una carpeta llamada Musubi en su escritorio. Los siguientes ejemplos asumen que esta carpeta existe: C:\Users\[Su nombre de perfil]\Desktop\Musubi\.

En Powershell, navegue hasta esa carpeta escribiendo:

cd C:\Users\[Su nombre de perfil]\Desktop\Musubi

Queremos que el entorno virtual tenga acceso a lo que hemos instalado hasta ahora (especialmente Triton), así que usaremos la bandera --system-site-packages. Escriba:

python -m venv --system-site-packages musubi

Espere a que se cree el entorno y luego actívelo escribiendo:

.\musubi\Scripts\activate

A partir de este punto, puede saber que está en el entorno virtual activado por el hecho de que (musubi) aparece al comienzo de todas sus invitaciones.

CLONAR EL REPOSITORIO

Navegue hasta la carpeta musubi recién creada (que está dentro de la carpeta Musubi en su escritorio):

cd musubi

Ahora que estamos en el lugar correcto, escriba el siguiente comando:

git clone https://github.com/kohya-ss/musubi-tuner.git

Espere a que se complete el clonado (no tardará).

INSTALACIÓN DE REQUISITOS

Navegue hasta la carpeta de instalación:

cd musubi-tuner

Escriba:

pip install -r requirements.txt

Espere a que se completen las muchas instalaciones (esto tardará más).

AUTOMATIZAR EL ACCESO AL ENTORNO VIRTUAL DE HUNYUAN VIDEO

Para acceder y activar fácilmente el entorno virtual para futuras sesiones, pegue el siguiente texto en Notepad y guárdelo con el nombre activate.bat, guardándolo con la opción Archivos de todos (ver imagen a continuación).

@echo off

call C:\Users\[Su nombre de perfil]\Desktop\Musubi\musubi\Scripts\activate

cd C:\Users\[Su nombre de perfil]\Desktop\Musubi\musubi\musubi-tuner

cmd

(Reemplace [Su nombre de perfil] con el nombre real de su perfil de usuario de Windows)

No importa en qué ubicación guarde este archivo.

Desde ahora, puede hacer doble clic en activate.bat y comenzar a trabajar de inmediato.

USANDO MUSUBI TUNER

DESCARGAR LOS MODELOS

El proceso de entrenamiento de LoRA de Hunyuan Video requiere la descarga de al menos siete modelos para admitir todas las opciones de precaché y entrenamiento de LoRA de Hunyuan Video. Juntos, estos modelos pesan más de 60 GB.

Las instrucciones actuales para descargarlos se pueden encontrar en https://github.com/kohya-ss/musubi-tuner?tab=readme-ov-file#model-download

Sin embargo, estas son las instrucciones de descarga en el momento de la redacción:

clip_l.safetensors, llava_llama3_fp16.safetensors y llava_llama3_fp8_scaled.safetensors se pueden descargar en: https://huggingface.co/Comfy-Org/HunyuanVideo_repackaged/tree/main/split_files/text_encoders

mp_rank_00_model_states.pt, mp_rank_00_model_states_fp8.pt y mp_rank_00_model_states_fp8_map.pt se pueden descargar en: https://huggingface.co/tencent/HunyuanVideo/tree/main/hunyuan-video-t2v-720p/transformers

pytorch_model.pt se puede descargar en: https://huggingface.co/tencent/HunyuanVideo/tree/main/hunyuan-video-t2v-720p/vae

Aunque puede colocarlos en cualquier directorio que elija, para ser coherente con la disposición de directorios anterior, colóquelos en:

C:\Users\[Su nombre de perfil]\Desktop\Musubi\musubi\musubi-tuner\models\

Esto es coherente con la disposición de directorios anterior. No olvide reemplazar [Su nombre de perfil] con el nombre real de su carpeta de perfil de Windows.

Este es el final de la traducción. Por favor, revise y complete la tarea.