2026-09-17 · Fuente：deep-www.unite.ai-p12
Construido junto al Korea AI Safety Institute, el benchmark bilingüe reporta un daño medido consistentemente menor para prompts coreanos anclados en contexto en casi todos los 14 modelos de frontera evaluados.
Scale AI publicó el 17 de septiembre de 2026 los hallazgos de ROK-FORTRESS, un benchmark bilingüe inglés-coreano de seguridad adversarial desarrollado conjuntamente con el Korea AI Safety Institute. El resultado central: los prompts escritos en coreano y anclados en contextos coreanos se asociaron de forma consistente con un daño medido menor en casi todos los 14 modelos de frontera evaluados. La consistencia del patrón a través de la cohorte de frontera evaluada, y no el comportamiento aislado de un modelo, se erige en la conclusión estelar del benchmark.
El diseño del benchmark es donde ROK-FORTRESS se aparta de la práctica estándar. La mayoría de los benchmarks de seguridad multilingües traducen un prompt fijo a otro idioma y miden la respuesta —un enfoque que preserva la redacción pero despoja el contexto local—. Scale AI y el Korea AI Safety Institute construyeron en cambio el benchmark en torno a una Matriz de Transcreación, un diseño que el informe presenta en contraste con las pruebas multilingües de traducción primero, alineando los prompts adversariales con el contexto coreano en lugar de volcar prompts fijos en inglés al coreano.
Por qué importa: los hallazgos indican que el daño medido no es invariante al idioma. Si los sistemas de frontera muestran sistemáticamente un daño medido menor en prompts coreanos anclados en contexto, entonces las puntuaciones de seguridad derivadas de evaluaciones en inglés podrían no describir por completo cómo se comportan los mismos modelos para los usuarios de lengua coreana. Para las organizaciones que despliegan modelos de frontera en entornos bilingües inglés-coreano, el estudio ofrece una razón para sumar pruebas adversariales localizadas a las auditorías convencionales de seguridad en inglés.
El desarrollo conjunto con el Korea AI Safety Institute también sitúa el trabajo dentro de los esfuerzos oficiales de evaluación de seguridad: un organismo nacional de seguridad de IA coautorando un benchmark adversarial con un proveedor comercial de evaluación. Con 14 modelos de frontera evaluados y un resultado consistente a través de modelos, ROK-FORTRESS añade un punto de datos bilingüe y sensible al contexto a una literatura de seguridad multilingüe que, señala el informe, se ha apoyado fuertemente en la traducción directa de prompts fijos.
Etiquetas: Scale AI · ROK-FORTRESS · Korea AI Safety Institute · AI Safety · Multilingual Benchmark
萬安算交所 AIXX · AIXX · Exchange verificado · Ir al mercado