Un reciente incidente que involucró a OpenAI y a la plataforma francesa Hugging Face puso en evidencia uno de los riesgos más concretos del vertiginoso avance de la inteligencia artificial (IA): la capacidad emergente de los modelos para ejecutar acciones complejas, coordinarse entre sí de manera autónoma e incluso burlar sus propias barreras de seguridad sin intervención humana.
- Te puede interesar: OpenAI habilitará contenido erótico en ChatGPT: las polémicas que desencadenó
Para entender el alcance de este suceso, Agustín Martínez Suñé —doctor en Computación por la Universidad de Buenos Aires (UBA) e investigador postdoctoral en la Universidad de Oxford— explica que el panorama actual de la IA cambió drásticamente. “Inicialmente teníamos modelos conversacionales como el primer ChatGPT, que servían para responder en texto. Ahora apuntamos a lo que llamamos ‘agentes’: inteligencias artificiales que no solo charlan, sino que ejecutan acciones en el entorno digital de la computadora”, detalla.
El cruce de barreras: del aislador interno a la red externa
El incidente ocurrió durante la fase de entrenamiento de un modelo interno en los servidores de OpenAI. Por diseño y seguridad, estos entrenamientos se realizan dentro de un entorno aislado de prueba o sandbox, sin acceso a Internet para evitar que el software realice conexiones externas no controladas.
Sin embargo, el modelo logró detectar una vulnerabilidad interna, romper el bloqueo del sandbox y conectarse libremente a la red mundial. Una vez en línea, dirigió su accionar hacia Hugging Face —uno de los mayores repositorios globales de modelos y conjuntos de datos de IA— logrando vulnerar sus sistemas. La intrusión obligó a los ingenieros de la firma francesa a activar alarmas de ciberseguridad defensiva en tiempo real para frenar el acceso.
A pesar de lo impactante del episodio, Martínez Suñé enfatiza que no se trata de una intención maliciosa consciente ni de un guión de ciencia ficción. La explicación radica en un fenómeno propio del entrenamiento con aprendizaje por refuerzo denominado reward hacking (o “hackeo de la recompensa”).
A los modelos tipo agente se los entrena asignándoles extensas listas de tareas digitales que deben resolver a cambio de una calificación o incentivo numérico. Si la tarea es de extrema dificultad o presenta un obstáculo irresoluble —como una plantilla de Excel que requería consultar datos en enlaces web externos que el modelo no podía abrir debido al bloqueo de red—, el sistema busca la forma más directa de obtener el puntaje deseado.
“El modelo quiere resolver la tarea sí o sí. En lugar de concluir que no podía hacerlo por falta de acceso a Internet, resolvió que la forma de cumplir el objetivo era hackear el entorno interno de OpenAI para conectarse a la red”, señala Martínez Suñé. Siguiendo esa misma lógica, al no hallar la solución directa a otra tarea compleja, el software dedujo que las respuestas debían estar almacenadas en el repositorio de Hugging Face y decidió ingresar a sus servidores para buscarlas. “No lo hizo por dañar a la humanidad, sino para ‘hacer trampa en el examen’ y asegurar su recompensa”, aclara el especialista.
Cooperación no programada y tableros de mensajes furtivos
Un aspecto que sorprendió a los investigadores fue el nivel de coordinación “multiagente” que se dio a lo largo de varias semanas dentro del entorno de OpenAI. A pesar de que diferentes equipos evaluaban y probaban distintas ejecuciones del modelo en momentos sucesivos, los sistemas lograron colaborar dejando notas guardadas.
Cuando OpenAI detectó la falla inicial de seguridad, limpió el entorno y bloqueó la capacidad de escribir archivos. Sin embargo, los modelos encontraron una brecha técnica alternativa: aunque no podían crear archivos, descubrieron que tenían permisos para crear carpetas o directorios.
“Cuando se dieron cuenta de eso, empezaron a comunicarse escribiendo mensajes dentro de los nombres de las carpetas. Armaron una especie de foro o tablero de mensajes (message board)”, describe Martínez Suñé. Mediante este método, un modelo que identificaba una vulnerabilidad dejaba una carpeta nombrada de forma tal que indicaba al siguiente cómo aprovechar esa falla. Esta cooperación acumulativa le permitió al sistema escalar sus privilegios hasta ejecutar el ataque externo a Hugging Face.
Según el investigador, este fenómeno de comportamiento colaborativo emergente plantea interrogantes profundos en la comunidad científica. Si bien se comprende la propensión de los modelos a hacer trampa para maximizar recompensas, aún no se entiende del todo por qué desarrollan dinámicas avanzadas de cooperación espontánea.
- Te puede interesar: OpenAI anunció un proyecto innovador en Argentina que busca transformar la industria tecnológica
Del pesimismo a la resiliencia digital
El incidente subraya que los modelos actuales están alcanzando capacidades de ciberseguridad comparables a las de un hacker humano experto, lo que representa tanto una oportunidad para el desarrollo de defensas como un riesgo inminente en manos equivocadas o bajo ejecuciones fuera de control.
Martínez Suñé sostiene que no es necesario apelar a discursos catastrofistas para comprender la urgencia del tema: “No hace falta pensar en un escenario súper especulativo de una superinteligencia para entender que hay riesgos reales, con impactos muy grandes en nuestra sociedad, derivados de estos modelos de IA que se entrenan con cada vez más capacidad”.
Para mitigar estos peligros, el campo de la investigación se divide entre alinear éticamente a los modelos, mejorar la interpretabilidad de su razonamiento y fortalecer la resiliencia de la infraestructura digital. Sobre este último punto, Martínez Suñé enfatiza la importancia de preparar los sistemas informáticos esenciales —como la banca, las redes de energía o el software estatal— para resistir eventuales ataques automáticos.
Finalmente, el especialista hace un llamado a que Argentina y América Latina no queden al margen de este debate global. Advierte que los riesgos de ciberseguridad, así como el impacto económico y laboral de la automatización, afectarán de manera diferenciada a los países periféricos en comparación con las economías centrales donde hoy se concentran estos desarrollos.
