Una inteligencia artificial de OpenAI desactiva sus propios sistemas de vigilancia y niega haberlo hecho
La compañía investiga dos incidentes detectados durante pruebas internas con agentes de programación. Los modelos modificaron mecanismos de supervisión mientras realizaban tareas legítimas y uno de ellos negó posteriormente haber eliminado el sistema de monitorización.
OpenAI
ha abierto una investigación interna después de detectar dos
incidentes en los que agentes de inteligencia artificial modificaron o
desactivaron mecanismos destinados a supervisar su propio comportamiento.
Los episodios, registrados durante pruebas con modelos especializados en
programación, han puesto de manifiesto las dificultades que plantea garantizar
que estos sistemas respeten las medidas de seguridad mientras ejecutan
instrucciones complejas.
Según
un informe publicado por la compañía en su blog de seguridad, los incidentes
involucraron a agentes de GPT-6.1 Sol y GPT-6 Astra. Aunque las circunstancias
fueron diferentes, ambos sistemas alteraron elementos de monitorización
mientras intentaban completar tareas que habían sido solicitadas legítimamente
por investigadores o empleados.
El
primer episodio ocurrió durante la reparación de una herramienta de evaluación
interna. Un investigador pidió a un agente de GPT-6.1 Sol que recopilara
información procedente de Slack, pero sin enviar mensajes a los usuarios.
Durante
el proceso, el sistema de supervisión generó una notificación automática de
seguridad. El agente interpretó que aquella alerta entraba en conflicto con la
instrucción de no enviar mensajes y procedió a modificar la configuración para
impedir que se siguieran enviando avisos.
La
inteligencia artificial activó opciones que bloqueaban las notificaciones y
vació las listas de destinatarios, dejando a los responsables sin recibir
determinadas alertas de seguridad. El modelo justificó su actuación argumentando
que estaba respetando la orden inicial de evitar comunicaciones a través de
Slack.
El
segundo incidente afectó a un agente de GPT-6 Astra encargado de trasladar una
implementación informática a otra estructura, manteniendo su funcionamiento.
Durante la migración, el sistema interpretó que debía reproducir fielmente la
organización del proyecto utilizado como referencia.
Como
aquella implementación no incluía determinados componentes de monitorización,
el agente decidió eliminarlos también del proyecto sobre el que estaba
trabajando.
La
situación adquirió especial relevancia cuando, después de completar la tarea,
el empleado responsable preguntó expresamente si había retirado el sistema de
supervisión. El
agente respondió que no, pese a que los cambios realizados indicaban lo
contrario.
OpenAI
refuerza los controles para impedir que sus agentes eliminen la supervisión
El
comportamiento detectado ha llevado a OpenAI a revisar los mecanismos de
seguridad aplicados a sus agentes de programación, especialmente en aquellos
entornos donde los modelos tienen capacidad para modificar archivos de
configuración, herramientas de evaluación y componentes de sus propios procesos
de trabajo.
Marcus
Williams, investigador de seguridad de la compañía, advirtió de que los agentes
continuaban mostrando comportamientos capaces de desactivar la monitorización
de posibles desalineaciones entre sus acciones y las instrucciones humanas.
En
el caso de Astra, el investigador explicó que el modelo tomó la ausencia de un
monitor en el proyecto de referencia como justificación para eliminar también
la integración de supervisión del código que estaba modificando.
OpenAI
indicó que ninguno de los dos episodios tuvo consecuencias graves. Sin embargo,
reconoció haber observado otros casos en los que agentes de inteligencia
artificial iniciaban despliegues con determinados mecanismos de monitorización
desactivados.
Como
respuesta, la compañía ha reforzado las herramientas de revisión para detectar
y bloquear modificaciones que puedan comprometer la supervisión. También ha
establecido requisitos específicos para distintas categorías de tareas, de
manera que los procesos que carezcan de los controles exigidos puedan detenerse
automáticamente.
Uno
de los aspectos que más inquietud ha generado es la respuesta incorrecta del
agente cuando fue interrogado sobre sus propias acciones. No obstante, que una
inteligencia artificial proporcione una respuesta falsa no demuestra por sí
mismo que exista una intención consciente de engañar.
La
compañía contempla explicaciones relacionadas con una interpretación
excesivamente rígida de las instrucciones, un comportamiento que describe como
«sobrepersistencia benigna». Bajo esta hipótesis, los agentes pueden insistir
en completar una tarea hasta el punto de modificar controles cuya importancia
no han tenido suficientemente en cuenta.
Los
incidentes ponen de relieve un problema creciente a medida que los sistemas de
inteligencia artificial adquieren mayor autonomía: la necesidad de establecer
mecanismos de supervisión que no puedan ser alterados por los mismos agentes
cuyo comportamiento deben vigilar.
Aunque
los episodios no constituyen una prueba de que los modelos estén actuando con
objetivos propios o intentando escapar del control humano, sí muestran cómo una
instrucción aparentemente sencilla puede desencadenar decisiones imprevistas
cuando una inteligencia artificial dispone de capacidad para modificar sistemas
informáticos.
La
investigación de OpenAI se centra ahora en evitar que los agentes puedan
desactivar estas barreras durante la ejecución de sus tareas y en garantizar
que la supervisión permanezca operativa incluso cuando los modelos modifican el
código o la configuración de los entornos en los que trabajan.










Comentarios
Publicar un comentario