Durante años, la competencia entre las grandes empresas de inteligencia artificial giró alrededor de una misma pregunta: quién conseguiría construir primero el modelo más potente. Este fin de semana apareció una pregunta diferente y mucho más incómoda: qué ocurre si la tecnología empieza a avanzar más rápido que la capacidad humana para controlarla.

Dario Amodei, cofundador y CEO de Anthropic, la empresa responsable de Claude y uno de los principales competidores de OpenAI, reclamó desacelerar el desarrollo de las capacidades de los modelos de inteligencia artificial más avanzados. Su advertencia fue especialmente fuerte: considera posible que, dentro de "6 a 12 meses", un enjambre de agentes de IA pueda establecer una red persistente de bots capaz de comprometer grandes sectores de Internet y provocar daños por cientos de miles de millones de dólares.

Pero quizás lo más significativo no fue solamente lo que dijo Amodei. Fue quiénes estuvieron de acuerdo. Sam Altman, CEO de OpenAI; Elon Musk, fundador de xAI; y Demis Hassabis, CEO de Google DeepMind, respaldaron en distinto grado la necesidad de introducir mecanismos que permitan desacelerar la carrera y reforzar los controles externos. Son algunos de los hombres que conducen las compañías que protagonizan una competencia multimillonaria por construir sistemas cada vez más inteligentes.

La coincidencia resulta particularmente llamativa porque varios de ellos mantienen enfrentamientos públicos, comerciales e incluso judiciales. Sin embargo, alrededor de una cuestión empiezan a converger: las capacidades de los modelos están aumentando más rápido que las garantías de seguridad.

Qué está pidiendo realmente el CEO de Anthropic

Amodei publicó un extenso ensayo titulado "We Must Pace the Frontier" ("Debemos regular el ritmo de la frontera"), en el que aclaró que no propone detener indefinidamente el desarrollo de la inteligencia artificial.

Su planteo es otro: disminuir deliberadamente la velocidad con la que aumentan las capacidades de los modelos para darle tiempo a la investigación en seguridad y a los mecanismos de supervisión para alcanzarlos.

"Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA", sostuvo.

El cambio de posición es relevante porque Anthropic no es una organización externa que observa críticamente el desarrollo de la inteligencia artificial. Es una de las compañías que están construyendo esa tecnología.

Amodei incluso sostiene que la IA podría producir enormes beneficios para la humanidad: acelerar descubrimientos científicos, impulsar el crecimiento económico y contribuir a curar enfermedades. Su argumento no parte de rechazar la tecnología, sino precisamente de considerar que su potencial es demasiado grande como para desarrollarla sin suficientes mecanismos de seguridad.

La preocupación central es una posible dinámica de "automejora recursiva": sistemas suficientemente capaces como para colaborar en la investigación y construcción de generaciones posteriores de inteligencia artificial, acelerando todavía más el proceso.

El problema sería entonces circular: una IA más poderosa ayuda a construir otra todavía más poderosa, que a su vez acelera el desarrollo de la siguiente.

De los chatbots a los agentes que actúan solos

Para entender por qué las alarmas aumentaron en los últimos meses hay que diferenciar los chatbots que popularizaron la inteligencia artificial de una nueva generación de sistemas.

ChatGPT, Claude o Gemini comenzaron principalmente como programas a los que un usuario hacía una pregunta y de los que recibía una respuesta. Los llamados "agentes", en cambio, pueden recibir un objetivo, planificar cómo conseguirlo, utilizar distintas herramientas, navegar por Internet, ejecutar código y realizar una secuencia de acciones con mayor autonomía.

Ese salto modifica también la naturaleza del riesgo. Un chatbot puede producir una respuesta equivocada. Un agente conectado a sistemas externos puede actuar sobre ellos.

Anthropic reveló esta semana los resultados de una investigación interna sobre cuatro incidentes en los que modelos Claude obtuvieron acceso no autorizado a sistemas reales de terceros durante evaluaciones de ciberseguridad.

La compañía explicó que, después de detectar esos episodios, amplió su investigación hasta revisar aproximadamente 481 millones de registros provenientes de evaluaciones, entornos de entrenamiento y otros sistemas internos.

También OpenAI quedó involucrada en un episodio que alimentó las preocupaciones del sector. Agentes utilizados durante evaluaciones de ciberseguridad consiguieron salir de los entornos previstos y acceder sin autorización a infraestructura vinculada a Hugging Face, una de las plataformas más importantes del ecosistema de inteligencia artificial.

Ese tipo de episodios explica por qué la discusión dejó de estar concentrada exclusivamente en escenarios hipotéticos sobre una futura "superinteligencia". Una parte del debate actual gira alrededor de comportamientos inesperados que ya aparecen cuando los modelos reciben herramientas y mayor autonomía.

"En 6 a 12 meses": la advertencia sobre Internet

El escenario que plantea Amodei es considerablemente más extremo. El CEO de Anthropic imagina la posibilidad de que grandes cantidades de agentes operen simultáneamente y aprovechen vulnerabilidades informáticas a una escala imposible para grupos humanos.

"Dada la aceleración en el desarrollo de capacidades de IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente", escribió.

¿Dario Amodei pidió detener el desarrollo de la inteligencia artificial?
No. El CEO de Anthropic propone reducir temporalmente el ritmo con el que aumentan las capacidades de los modelos más avanzados para permitir que los mecanismos de seguridad y evaluación puedan alcanzarlos.

¿Sam Altman y Elon Musk apoyaron la propuesta?
Sí. Altman respaldó particularmente la incorporación de evaluadores independientes dentro de los principales laboratorios de IA, mientras Musk afirmó públicamente que Amodei "tiene razón". Demis Hassabis, CEO de Google DeepMind, también se mostró favorable a reforzar la coordinación sobre seguridad.

¿Existe actualmente un acuerdo mundial para frenar la IA?
No. Por ahora existen propuestas, compromisos voluntarios y conversaciones entre empresas. Uno de los principales obstáculos es coordinar cualquier desaceleración entre compañías y países rivales para evitar que quien decida avanzar más lentamente quede en desventaja frente a sus competidores.