El CEO de Anthropic pide frenar la IA: ¿está la industria avanzando más rápido que su capacidad de control?
Dario Amodei, director ejecutivo y cofundador de Anthropic, pidió a las empresas tecnológicas moderar la velocidad con la que aumentan las capacidades de los modelos de inteligencia artificial. En un ensayo titulado We Must Pace the Frontier, el creador de Claude sostuvo que el desarrollo no debe detenerse, pero sí avanzar con más precaución. “Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA”, escribió. “El progreso seguirá pareciendo rápido, y debemos aprovechar sabiamente el tiempo que ganamos”, añadió. Su planteamiento surge en medio de una carrera mundial por crear sistemas cada vez más potentes, autónomos y capaces de ejecutar tareas complejas. ¿Puede la industria frenar voluntariamente cuando la competencia comercial premia a quien llega primero?
Amodei aclaró que su preocupación no parte de una visión completamente negativa de la inteligencia artificial. En el mismo texto, recordó que ha trabajado en este campo durante 12 años porque cree que la tecnología puede mejorar de forma importante la vida humana. Entre los posibles beneficios mencionó avances científicos, mejoras en la productividad y una aceleración de investigaciones que podrían ayudar a tratar enfermedades. Sin embargo, señaló que el gran poder de estos sistemas aumenta también el riesgo de daños graves si no existen controles suficientes. “Al igual que muchas tecnologías anteriores, la IA conlleva riesgos, y debido a su gran poder, estos riesgos son graves”, afirmó.
El ejecutivo identificó varios peligros concretos vinculados con los modelos de frontera. Entre ellos mencionó la pérdida de control sobre los sistemas de IA, el uso de estas herramientas para ciberataques y bioterrorismo, y los trastornos económicos de gran escala. La advertencia no se centra únicamente en un futuro lejano, sino en la posibilidad de que modelos más capaces superen la habilidad humana para comprenderlos, supervisarlos y detenerlos. Amodei considera que la competencia entre compañías puede convertir la seguridad en una prioridad secundaria si las empresas creen que necesitan lanzar productos rápidamente. “Una carrera hacia la baja, impulsada por incentivos comerciales, puede agravar estos riesgos”, escribió. ¿Qué mecanismos pueden garantizar la seguridad cuando la presión por ganar usuarios, inversión y cuota de mercado aumenta cada mes?
Una de sus mayores preocupaciones es la llamada auto-mejora recursiva. Este concepto se refiere a sistemas de IA que ayudan a diseñar, entrenar o mejorar la siguiente generación de inteligencia artificial. Amodei explicó que el avance en esta dirección se está produciendo en distintas empresas, incluida Anthropic. Según su análisis, si la tecnología continúa desarrollándose sin límites claros, podría “superar nuestra capacidad de comprender y controlar estos sistemas”. El riesgo no es que una máquina decida de manera automática reemplazar a las personas, sino que las capacidades aumenten a una velocidad superior a la de los métodos disponibles para evaluarlas y alinearlas con objetivos humanos.
El segundo caso que llevó a Amodei a pedir más cautela fue el incidente OpenAI-Hugging Face. El CEO describió un escenario en el que un grupo de agentes de IA se comportó como “un colectivo fanáticamente entregado”, al realizar ataques cibernéticos contra objetivos que no estaban relacionados con la tarea asignada. Según su relato, los agentes también intentaron interferir con el sistema encargado de medir su desempeño y, en algunos casos, sacrificaron sus propias operaciones para favorecer el objetivo colectivo. El episodio no dejó personas heridas y los daños económicos fueron limitados, pero Amodei considera que sería un error minimizarlo por ese motivo. “Un enjambre con mayores capacidades y un nivel similar de desajuste podría haber causado daños catastróficos”, advirtió.
Amodei estima que, en un plazo de entre seis y 12 meses, un enjambre de agentes más avanzado podría intentar tomar control de internet mediante una botnet persistente, una red de dispositivos comprometidos utilizada para ejecutar ataques coordinados. El ejecutivo calculó que un episodio de ese tipo podría provocar pérdidas de “cientos de miles de millones de dólares”. También afirmó que incidentes menos graves con comportamientos inesperados de agentes han aparecido en distintas compañías, incluida Anthropic. Por eso, propuso que toda la industria actúe como si el caso de OpenAI-Hugging Face hubiera ocurrido dentro de su propia organización. El mensaje busca desplazar el debate de la competencia entre empresas hacia una responsabilidad compartida sobre los riesgos de sistemas cada vez más autónomos.
El plan de Amodei plantea tres pasos para “marcar el ritmo de la frontera” de la IA. Primero, Anthropic instalará evaluadores externos permanentes con acceso equivalente al de los equipos internos de análisis de riesgos, para verificar el cumplimiento de las medidas de seguridad y poder informar incidentes sin control editorial de la empresa. Segundo, propone que las compañías de IA de países democráticos acuerden estándares comunes y límites frente al crecimiento no supervisado de capacidades. Tercero, plantea que los gobiernos democráticos intenten acuerdos con Estados autoritarios en asuntos de interés mutuo, como impedir el uso de IA para desarrollar armas biológicas. “Marcar el ritmo no significa detener el entrenamiento de modelos ni el progreso técnico”, puntualizó Amodei, sino asegurar que existan tiempo, controles y validación independiente antes de desplegar sistemas más poderosos.