2026-09-10 · Fuente：SiliconANGLE
El nuevo motor de software del pionero de NVMe over TCP traslada los datos de la caché clave-valor fuera de la memoria de alto ancho de banda de las GPU para mejorar la economía y el rendimiento de la inferencia de IA.
Lightbits Labs Ltd. ha anunciado la disponibilidad general de Inferra, un motor de software concebido para mejorar tanto el rendimiento como la economía de la inferencia de inteligencia artificial. El objetivo central de diseño del producto es trasladar los datos de la caché clave-valor más allá de la limitada memoria de alto ancho de banda acoplada a las unidades de procesamiento gráfico, liberando a los sistemas de IA de una restricción que durante mucho tiempo ha condicionado la ejecución de las cargas de trabajo de inferencia.
La caché clave-valor está en el corazón de la inferencia moderna. A medida que los modelos generan resultados, almacenan estados intermedios para no tener que repetir cálculos, y ese estado tiene que residir en algún lugar. La memoria de alto ancho de banda acoplada a las GPU es finita, e Inferra aborda directamente ese techo trasladando los datos de la caché más allá de ella. Lightbits presenta el resultado como una mejora directa del perfil de costes y velocidad de la prestación de servicios de modelos de IA, con el motor asumiendo la reubicación de los datos clave-valor durante la ejecución de la inferencia.
La compañía detrás del motor es conocida sobre todo como inventora del protocolo de almacenamiento NVMe over TCP, un pedigrí que perfila su enfoque: tratar la presión de memoria en torno a la inferencia como un problema de movimiento de datos. Con Inferra, Lightbits sitúa su experiencia en software de almacenamiento en el centro del debate sobre la infraestructura de IA, extendiendo un legado a nivel de protocolo hacia la mecánica del servicio de modelos y del rendimiento de las GPU.
El lanzamiento en disponibilidad general llega en un momento en que la atención del mercado de hardware de IA se volca hacia la eficiencia de la inferencia, donde la capacidad de memoria se traduce directamente en throughput y en costes. Al apuntar a la caché clave-valor, Inferra entra en una capa del stack situada entre el silicio de los aceleradores y el almacenamiento, un terreno que Lightbits conoce bien. La afirmación de la empresa enfrentará ahora su verdadera prueba en los despliegues en producción, donde se mide la economía de la inferencia.
Etiquetas: Lightbits Labs · Inferra · KV Cache · AI Inference · GPU Memory · NVMe over TCP
萬安算交所 AIXX · AIXX · Exchange verificado · Ir al mercado