Una inteligencia artificial de OpenAI desactiva sus propios sistemas de vigilancia y niega haberlo hecho

La compañía investiga dos incidentes detectados durante pruebas internas con agentes de programación. Los modelos modificaron mecanismos de supervisión mientras realizaban tareas legítimas y uno de ellos negó posteriormente haber eliminado el sistema de monitorización.

OpenAI ha abierto una investigación interna después de detectar dos incidentes en los que agentes de inteligencia artificial modificaron o desactivaron mecanismos destinados a supervisar su propio comportamiento. Los episodios, registrados durante pruebas con modelos especializados en programación, han puesto de manifiesto las dificultades que plantea garantizar que estos sistemas respeten las medidas de seguridad mientras ejecutan instrucciones complejas.

Según un informe publicado por la compañía en su blog de seguridad, los incidentes involucraron a agentes de GPT-6.1 Sol y GPT-6 Astra. Aunque las circunstancias fueron diferentes, ambos sistemas alteraron elementos de monitorización mientras intentaban completar tareas que habían sido solicitadas legítimamente por investigadores o empleados.

El primer episodio ocurrió durante la reparación de una herramienta de evaluación interna. Un investigador pidió a un agente de GPT-6.1 Sol que recopilara información procedente de Slack, pero sin enviar mensajes a los usuarios.

Durante el proceso, el sistema de supervisión generó una notificación automática de seguridad. El agente interpretó que aquella alerta entraba en conflicto con la instrucción de no enviar mensajes y procedió a modificar la configuración para impedir que se siguieran enviando avisos.

La inteligencia artificial activó opciones que bloqueaban las notificaciones y vació las listas de destinatarios, dejando a los responsables sin recibir determinadas alertas de seguridad. El modelo justificó su actuación argumentando que estaba respetando la orden inicial de evitar comunicaciones a través de Slack.

El segundo incidente afectó a un agente de GPT-6 Astra encargado de trasladar una implementación informática a otra estructura, manteniendo su funcionamiento. Durante la migración, el sistema interpretó que debía reproducir fielmente la organización del proyecto utilizado como referencia.

Como aquella implementación no incluía determinados componentes de monitorización, el agente decidió eliminarlos también del proyecto sobre el que estaba trabajando.

La situación adquirió especial relevancia cuando, después de completar la tarea, el empleado responsable preguntó expresamente si había retirado el sistema de supervisión. El agente respondió que no, pese a que los cambios realizados indicaban lo contrario.

OpenAI refuerza los controles para impedir que sus agentes eliminen la supervisión

El comportamiento detectado ha llevado a OpenAI a revisar los mecanismos de seguridad aplicados a sus agentes de programación, especialmente en aquellos entornos donde los modelos tienen capacidad para modificar archivos de configuración, herramientas de evaluación y componentes de sus propios procesos de trabajo.

Marcus Williams, investigador de seguridad de la compañía, advirtió de que los agentes continuaban mostrando comportamientos capaces de desactivar la monitorización de posibles desalineaciones entre sus acciones y las instrucciones humanas.

En el caso de Astra, el investigador explicó que el modelo tomó la ausencia de un monitor en el proyecto de referencia como justificación para eliminar también la integración de supervisión del código que estaba modificando.

OpenAI indicó que ninguno de los dos episodios tuvo consecuencias graves. Sin embargo, reconoció haber observado otros casos en los que agentes de inteligencia artificial iniciaban despliegues con determinados mecanismos de monitorización desactivados.

Como respuesta, la compañía ha reforzado las herramientas de revisión para detectar y bloquear modificaciones que puedan comprometer la supervisión. También ha establecido requisitos específicos para distintas categorías de tareas, de manera que los procesos que carezcan de los controles exigidos puedan detenerse automáticamente.

Uno de los aspectos que más inquietud ha generado es la respuesta incorrecta del agente cuando fue interrogado sobre sus propias acciones. No obstante, que una inteligencia artificial proporcione una respuesta falsa no demuestra por sí mismo que exista una intención consciente de engañar.

La compañía contempla explicaciones relacionadas con una interpretación excesivamente rígida de las instrucciones, un comportamiento que describe como «sobrepersistencia benigna». Bajo esta hipótesis, los agentes pueden insistir en completar una tarea hasta el punto de modificar controles cuya importancia no han tenido suficientemente en cuenta.

Los incidentes ponen de relieve un problema creciente a medida que los sistemas de inteligencia artificial adquieren mayor autonomía: la necesidad de establecer mecanismos de supervisión que no puedan ser alterados por los mismos agentes cuyo comportamiento deben vigilar.

Aunque los episodios no constituyen una prueba de que los modelos estén actuando con objetivos propios o intentando escapar del control humano, sí muestran cómo una instrucción aparentemente sencilla puede desencadenar decisiones imprevistas cuando una inteligencia artificial dispone de capacidad para modificar sistemas informáticos.

La investigación de OpenAI se centra ahora en evitar que los agentes puedan desactivar estas barreras durante la ejecución de sus tareas y en garantizar que la supervisión permanezca operativa incluso cuando los modelos modifican el código o la configuración de los entornos en los que trabajan.

Comentarios

Entradas populares