← Portada | Mercado

LiquidCodec: el tokenizador de audio en streaming de 74M de parámetros

2026-11-13 · Fuente:MarkTechPost

LiquidCodec: el tokenizador de audio en streaming de 74M de parámetros

Liquid AI presenta LiquidCodec, un tokenizador de voz en streaming de 74M de parámetros: codifica unas 13 veces más rápido que su predecesor Mimi y supera todos los benchmarks de calidad.

Liquid AI ha presentado LiquidCodec, un tokenizador de voz en streaming de unos 74M de parámetros (73,6M según la model card), que proporciona codificación y reconstrucción de voz para sus modelos LFM3-Audio-2B y LFM3-Omni-2B, reemplazando a Kyutai Mimi (96,2M de parámetros) usado por la generación anterior. En cuanto a especificaciones, opera a 24 kHz con una tasa de fotogramas de 12,5 Hz, emitiendo 12 tokens discretos (12 codebooks) por cada fotograma de 80 milisegundos; el cuantizador abandona RVQ en favor de la cuantización escalar finita agrupada (GFSQ), con grupos independientes entre sí, de modo que los 12 codebooks pueden predecirse en paralelo mediante un transformer estilo MaskGIT.

Arquitectura y entrenamiento: un codificador-decodificador simétrico construido con bloques de arquitectura LFM3, con un codificador completamente causal, ideal para escenarios en streaming; el decodificador predice directamente coeficientes espectrales, eliminando la necesidad de upscaling mediante convoluciones transpuestas aprendidas. El entrenamiento se divide en tres fases: primero, preentrenamiento sobre 264.000 horas de voz en 107 idiomas con pérdidas de forma de onda y espectro (sin pérdidas adversariales); después, ajuste fino con 55.000 horas de voz de banda completa (por encima de 24 kHz) más discriminadores adversariales para eliminar artefactos de timbre metálico; y, por último, un entrenamiento consciente de la cuantización aplicado solo al decodificador para facilitar el despliegue en el borde.

Los resultados de velocidad son sobresalientes (cifras oficiales, un solo hilo de CPU en Apple M4 Max, FP32): codificación unas 361 veces en tiempo real (RTF 0,0028), unas 13 veces más rápido que Mimi (0,0361); decodificación unas 87 veces en tiempo real (RTF 0,0115), aproximadamente 2,9 veces más que Mimi (0,0329); también supera ampliamente a NanoCodec y X-Codec 2 en todas las comparaciones.

Los benchmarks de calidad cubren 8 conjuntos de prueba (LibriSpeech test-clean, Seed-TTS en inglés y chino, y FLEURS en 5 idiomas): en calidad de reconstrucción, lidera en ViSQOL y distancia mel en todos los casos, con un ViSQOL de 4,319 en LibriSpeech frente a 4,219 de NanoCodec, 4,119 de X-Codec 2 y 4,031 de Mimi; en los experimentos comparativos de TTS (misma arquitectura de TTS y cómputo, cada uno entrenado con 101.000 horas de datos), su UTMOSv2 encabeza todas las pruebas (3,31 en LibriSpeech frente a 2,89 de Mimi), con una tasa de error de palabra en LibriSpeech del 3,15% frente al 6,27% de Mimi. Sus puntos débiles están en PESQ y similitud de hablante: NanoCodec gana en 7 de los 8 conjuntos de prueba.

Despliegue y licencia: puede cargarse a través de Hugging Face Transformers (requiere trust_remote_code=True), con interfaces encode y decode y caché de decodificación en streaming por bloques; en el lado de llama.cpp hay tres versiones GGUF (Q4_0, Q4_K_M y Q8_0), y el decodificador Q4_0 reduce su tamaño 3,5 veces con una caída mínima de ViSQOL, de 4,319 a 4,292. Los pesos están publicados en el repositorio LiquidAI/Liquid-Codec de Hugging Face, con la licencia marcada como other y enlazada a la LFM License (a modo de comparación, Mimi es CC-BY 4.0 y X-Codec 2, CC-BY-NC 4.0).


Lecturas relacionadas


萬安算交所 AIXX · AIXX · Exchange verificado · Ir al mercado