← Portada | Mercado

Google lanza como código abierto TPU Sync: la biblioteca de transferencia de caché KV entre capas que acelera la inferencia de modelos grandes

2026-11-13 · Fuente:MarkTechPost

Google lanza como código abierto TPU Sync: la biblioteca de transferencia de caché KV entre capas que acelera la inferencia de modelos grandes

Google Cloud abre el código de la biblioteca en C++ TPU Sync, que trata la memoria HBM de las TPU, la memoria del host y la red del centro de datos como una jerarquía unificada de memoria para mover la caché KV; según pruebas oficiales, reduce el costo de transferencia más de un 90%.

Google Cloud ha lanzado como código abierto la biblioteca en C++ TPU Sync (licencia Apache 2.0, con wheels de Python para PyTorch y JAX). Resuelve el cuello de botella de la inferencia de grandes modelos en el que mover el estado resulta más difícil que computarlo: trata la HBM de las TPU, la DRAM del host, el almacenamiento compartido y la red del centro de datos como una única jerarquía de memoria, encargándose de transferir la caché KV y los pesos del modelo; por encima incluye un almacén global de KV (búsqueda de prefijos), un controlador de transferencias y un gestor de caché KV, con soporte experimental para difundir pesos de entrenamiento al muestreador para servir al aprendizaje por refuerzo.

El diseño se apoya en cuatro decisiones clave: primera, DMA directo con preservación del diseño (layout), leyendo y escribiendo in situ buffers JAX PJRT y tensores de PyTorch y conservando el diseño nativo de tiles de las TPU, sin serialización ni buffers intermedios; segunda, solapamiento de transferencia y cómputo, mediante aliasing de buffers PJRT que permite copiar durante la ejecución, con limitación del DMA para evitar que copias grandes bloqueen el lanzamiento de kernels; tercera, la ruta de datos no pasa en absoluto por la compilación de XLA, pues las transferencias y el resharding se realizan en C++ nativo fuera del grafo de XLA; y cuarta, canales de alto ancho de banda: en un host Ironwood se midieron hasta 223 GB/s por PCIe (cerca del límite teórico de 256 GB/s de PCIe Gen5), y unos 192 Gbps por NIC en la red del centro de datos con una sola tarjeta y unos 350 Gbps con dos.

El caso de uso típico es la inferencia con prellenado y decodificación separados (P/D): los nodos de prellenado copian asíncronamente los bloques KV mediante DMA a la memoria principal anclada (pinned), el controlador los transmite por flujo host a host hacia los nodos de decodificación, y los bloques que llegan se escriben en la HBM de los nodos de decodificación mientras decodifican; también admite caché de prefijos con contexto de 64K, y cuando los pesos MoE saturan la HBM, la capacidad efectiva de caché puede multiplicarse por un orden de magnitud.

Datos autocomunicados oficialmente (pruebas internas de julio de 2026, topología TPU v7x 2x2x1, modelos MoE de 235B a 480B): la sobrecarga de transferencia KV se redujo más del 90%, y la latencia mediana de transferencia KV de Qwen3 235B bajó de varios segundos a unos 230 milisegundos; en escenarios de baja concurrencia, la latencia del primer token (TTFT) disminuyó en promedio un 60% (235B) y un 90% (480B); en horas pico de tráfico, el throughput de salida del modelo 235B creció entre un 30% y un 70%; la caché de prefijos permitió reducir el TTFT con contexto de 64K hasta un 90%, aumentar el throughput más de un 50% y recortar un 30% la latencia P99 entre tokens.

En cuanto a su nicho de ecosistema, TPU Sync ya funciona como conector KV de vLLM-TorchTPU y como backend de transferencia P/D e I/O de caché jerárquica de SGLang-TorchTPU; llm-d 1.0 en GKE lo emplea para el enrutamiento por afinidad de caché de prefijos, con volcado experimental a Managed Lustre; Inferact y RadixArk participaron en la construcción conjunta del lado de vLLM y SGLang, y Meta y Wayfair lo están evaluando. Requiere Cloud TPU v7x (Ironwood) o v6e, y el código fuente está en el repositorio google/tpu-sync de GitHub; ojo: no hay API gestionada, el README aún no recomienda su uso en escenarios generales y todas las cifras son autocomunicadas por la empresa.


Lecturas relacionadas


萬安算交所 AIXX · AIXX · Exchange verificado · Ir al mercado