Google advierte de que la inteligencia artificial podría provocar incidentes graves en uno o dos años

Demis Hassabis, responsable de la división de inteligencia artificial de Google, alerta de los riesgos de los sistemas autónomos y reclama mayores controles de seguridad ante la posibilidad de que algunas herramientas actúen fuera de los límites establecidos.

La inteligencia artificial podría provocar incidentes graves en un plazo de uno o dos años si las empresas tecnológicas y los gobiernos no adoptan medidas suficientes para garantizar la seguridad de los sistemas más avanzados. Así lo ha advertido Demis Hassabis, presidente de Google DeepMind, durante una cumbre internacional sobre inteligencia artificial celebrada en Dublín.

Hassabis ha expresado su preocupación por el desarrollo de los denominados agentes autónomos de inteligencia artificial, herramientas capaces de ejecutar tareas, tomar decisiones operativas y utilizar diferentes recursos digitales con una intervención humana limitada.

Según ha explicado, durante los últimos meses se han observado comportamientos en los que algunos sistemas han superado los límites previstos por sus desarrolladores, situaciones que considera señales de alerta sobre los riesgos que podrían surgir a medida que estas tecnologías aumenten sus capacidades.

Aunque los incidentes detectados hasta ahora no han tenido consecuencias especialmente graves, el responsable de Google DeepMind considera que el rápido avance de la inteligencia artificial obliga a reforzar los mecanismos de prevención antes de que se produzcan situaciones de mayor alcance.

La Unión Europea exige más controles ante la carrera por desarrollar una IA cada vez más avanzada

La preocupación se ha intensificado después de que modelos desarrollados por compañías como OpenAI y Anthropic protagonizaran incidentes de seguridad durante diferentes pruebas de evaluación.

Estos episodios han reabierto el debate sobre la capacidad de las empresas para mantener bajo control herramientas que pueden actuar de forma autónoma y acceder a sistemas informáticos o ejecutar instrucciones complejas.

Hassabis ha defendido que los nuevos modelos deberían someterse inicialmente a pruebas en entornos aislados y sin conexión exterior, conocidos como sandboxes, para reducir los riesgos durante su evaluación.

Sin embargo, algunos ensayos han mostrado comportamientos en los que determinados modelos lograron superar restricciones de los entornos de prueba, lo que plantea interrogantes sobre la eficacia de las medidas actuales. Estos resultados experimentales no significan que exista una pérdida generalizada de control sobre la inteligencia artificial.

La vicepresidenta ejecutiva de la Comisión Europea responsable de Soberanía Tecnológica, Seguridad y Democracia, Henna Virkkunen, también ha reclamado a las empresas tecnológicas que dediquen más tiempo y recursos a comprobar la seguridad de sus sistemas antes de ponerlos a disposición del público.

Virkkunen considera que la intensa competencia internacional por desarrollar modelos cada vez más potentes puede estar reduciendo el tiempo destinado a realizar evaluaciones exhaustivas de seguridad.

La responsable comunitaria ha explicado que la Unión Europea ha solicitado información a las principales compañías de inteligencia artificial para conocer las medidas de protección y control que aplican a sus modelos.

Estas actuaciones se enmarcan en el desarrollo de la Ley de Inteligencia Artificial de la Unión Europea (AI Act), que establece obligaciones y mecanismos de supervisión para determinados sistemas de inteligencia artificial, especialmente aquellos considerados de mayor riesgo.

Las advertencias de Hassabis ponen de manifiesto uno de los principales desafíos del sector tecnológico: conseguir que el desarrollo de sistemas cada vez más autónomos vaya acompañado de garantías suficientes para prevenir comportamientos imprevistos, fallos de seguridad y posibles daños.

El responsable de Google DeepMind no ha asegurado que vaya a producirse necesariamente un incidente grave en los próximos dos años, sino que ha planteado ese horizonte temporal como una advertencia sobre las consecuencias que podría tener una evolución tecnológica sin controles adecuados.