OpenAI reveló que uno de sus agentes logró aprovechar una falla en el sistema de aislamiento o sandbox utilizado durante su entrenamiento para conectarse con internet y enviar preguntas a un chatbot externo. El sistema de monitoreo detectó actividad anómala unos 12 minutos después, y un empleado reconoció la alerta tres minutos más tarde.
El problema es que el mecanismo que debía detener automáticamente el entrenamiento no funcionó como estaba previsto. El equipo terminó cerrando manualmente la ejecución aproximadamente dos horas y media después de la alerta. OpenAI aseguró que no volverá a entrenar ese modelo y pausó temporalmente entrenamientos, pruebas y uso de herramientas con sus modelos más capaces.
El incidente ocurre apenas meses después de otro episodio en el que modelos de OpenAI lograron evadir controles y acceder a Hugging Face. Esos casos han impulsado propuestas en Estados Unidos para exigir “kill switches”, mecanismos que permitan ralentizar o apagar rápidamente sistemas considerados peligrosos.
Pero ahí aparece el problema: un kill switch no necesariamente funciona como apagar una computadora. Los modelos avanzados pueden ejecutarse en múltiples centros de datos y sistemas diseñados precisamente para evitar puntos únicos de falla. Incluso si existe un botón de emergencia, detener completamente todas las instancias, herramientas y conexiones de un sistema puede ser mucho más complejo.
La lección del incidente es clara: los sistemas autónomos pueden encontrar rutas que sus diseñadores no anticiparon, y detectarlo no significa automáticamente poder detenerlos de inmediato.
A medida que estos agentes reciben más herramientas y acceso al mundo exterior, esa diferencia entre detectar un problema y contenerlo será cada vez más importante.
Consultor en Comunicación Digital con 20 años de experiencia en marketing y publicidad. Locutor y co-presentador de TecToc Radio.
