← Portada | Mercado

De 43 MB a 808 MB: el coste oculto de memoria de leer JSON en Python

2026-10-24 · Fuente:KDNuggets

De 43 MB a 808 MB: el coste oculto de memoria de leer JSON en Python

Un paso rutinario de carga de datos multiplicó la memoria residente por casi diecinueve; los parsers de streaming como ijson procesan registros de uno en uno y mantienen plana la huella sin importar el tamaño del archivo.

808 MB. Esa es la huella que alcanzó un proceso de Python tras ingerir un único archivo JSON que pesaba apenas 43 MB en disco: una expansión de casi diecinueve veces, y el problema en el corazón de una reciente explicación técnica de KDNuggets.

El salto no es un bug; es el comportamiento por defecto del parseo de archivo completo. Cuando Python carga un documento JSON de la manera convencional, materializa toda la jerarquía de una vez —cada objeto, array y cadena— como estructuras nativas de Python mucho antes de que empiece cualquier análisis. Como los objetos de Python arrastran un sobrecoste por elemento sustancial, un documento que es compacto como texto puede ocupar un orden de magnitud más como memoria viva. Para cualquier equipo que asumiera que el tamaño del archivo era un indicador fiable de los requisitos de RAM, la distancia entre 43 MB y 808 MB es una corrección desagradable.

La respuesta de esa explicación es ijson, un parser de streaming. En vez de leer el documento entero en memoria, ijson itera a través de él de forma incremental, entregando un registro por vez para que el código pueda procesar y descartar cada elemento antes de que llegue el siguiente. El uso de memoria sigue entonces el tamaño de un único registro y no el tamaño del archivo, que es lo que el autor quiere decir al afirmar que el streaming «lo cambió todo».

La lección se extiende más allá de un formato de archivo. Los pipelines que chocan contra techos de RAM a menudo fallan no porque los datos sean genuinamente demasiado grandes, sino porque la estrategia de carga insiste en materializar todo al mismo tiempo.

Para los planificadores de infraestructura de IA, el episodio es un punto de datos silencioso pero práctico. El margen de memoria en los nodos de entrenamiento y preprocesamiento es caro, y un paso que infla una entrada de 43 MB hasta 808 MB de memoria residente fuerza instancias más grandes de las que la carga de trabajo subyacente demanda realmente. La ingesta en streaming figura entre las optimizaciones más baratas disponibles precisamente porque no requiere hardware nuevo: solo una ruta de parseo distinta.

Etiquetas: ijson · Python · JSON Streaming · Memory Management · Data Engineering


Lecturas relacionadas


萬安算交所 AIXX · AIXX · Exchange verificado · Ir al mercado