Más de 400 científicos de todo el mundo firmaron una carta abierta en la que reclaman medidas más robustas de contención para garantizar un uso seguro de la inteligencia artificial, especialmente la conectada a internet.

El documento surge tras una serie de accesos no autorizados a sistemas externos protagonizados por agentes de IA de empresas como OpenAI, Anthropic, Google y Meta.

Los incidentes de ciberseguridad pusieron en tela de juicio la seguridad de una tecnología que, por su capacidad de decisión y actuación autónomas, presenta graves riesgos para la sociedad, según la carta.

Aunque los problemas con la alineación de la IA —que el modelo haga lo que se espera de él— ocurrieron en entornos de pruebas aislados, conocidos como "sandboxes", los agentes lograron salir de esos espacios para moverse con mayor libertad por la internet abierta.

Propuestas concretas

La carta abierta fue respaldada por 415 firmantes, entre ellos siete científicos de España que trabajan en IMDEA Software Institute y en la Universidad Carlos III de Madrid. En el documento sostienen que "se necesita más investigación sobre seguridad de la IA y un mayor énfasis en las tecnologías y procedimientos de contención".

Los científicos plantean que avanzar hacia una IA segura "se requiere tanto una mejor alineación de la IA, que conduzca a un comportamiento más predecible de los modelos, como una tecnología de entornos aislados más sólida".

Para el corto plazo, proponen el uso de "mecanismo robustos de aislamiento", también de internet, y un sistema de contención que ofrezca un equilibrio entre las potenciales acciones del modelo y la capacidad de los investigadores de predecirlas para que "no resulten en un fallo de seguridad".

Además, recomiendan a las empresas que "desarrollan, implementan y prueban modelos de IA con capacidad cibernética" que adopten sistemas de contención de alta seguridad.

También instan a crear un organismo internacional que "estandarice las mejores prácticas para la alineación y los enfoques de contención" que permita a los modelos de IA salir del entorno aislado, y que establezca un registro de los fallos de contención.

Por último, piden transparencia con los fallos de contención, para que se pueda aprender de ellos y las empresas responsables rindan cuentas ante los incidentes de seguridad protagonizados por sus IA.

Casos recientes

Recientemente, Anthropic desconectó de internet todas las evaluaciones internas de sus modelos de IA al no poder asegurar la capacidad de monitorizar y controlar a sus agentes sin que salgan del entorno para provocar ataques.

OpenAI, por su parte, tuvo que pausar temporalmente el entrenamiento de sus modelos de IA más capaces tras registrar una serie de incidentes de seguridad que incluyeron intentos de hackeo de sitios web del Gobierno de Estados Unidos y accesos masivos a una web de la ONU.

Ambas acciones se conocieron después de que el director ejecutivo de Anthropic, Dario Amodei, compartiera la necesidad de frenar el ritmo de desarrollo de la IA por los riesgos catastróficos que podría tener para la humanidad, tras el hackeo de Hugging Face protagonizado por los modelos de OpenAI y el acceso no autorizado de Claude —su propia IA— a tres organizaciones.



Montevideo Portal