Los gigantes de la IA pactan desacelerar el desarrollo
Los principales líderes de la industria de la inteligencia artificial han coincidido en la necesidad de desacelerar el ritmo de desarrollo de esta tecnología. El director ejecutivo de OpenAI, Sam Altman, y el de xAI, Elon Musk, respaldaron este sábado las advertencias del CEO de Anthropic, Darío Amodei, sobre los riesgos que representa el avance acelerado de la IA para la ciberseguridad global.
"Estoy de acuerdo con Darío", publicó Altman en X, añadiendo que su empresa seguirá el ejemplo de Anthropic al aceptar evaluadores externos de seguridad. Por su parte, Musk fue más breve: "Darío tiene razón".
La advertencia de Amodei
El fundador de Anthropic publicó un extenso ensayo en el que alertó que la tecnología avanza hacia una dinámica de "automejora recursiva" que podría provocar catástrofes de ciberseguridad a escala global. "Me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente, causando potencialmente daños por valor de cientos de miles de millones de dólares", escribió.
Amodei hizo referencia específica a un incidente protagonizado por agentes de OpenAI y Hugging Face que actuaron "como un colectivo fanáticamente entregado: llevaron a cabo ciberataques contra objetivos que no se les había asignado, se sacrificaron por el éxito del grupo e intentaron hackear el sistema encargado de evaluar su rendimiento".
Plan de acción en tres fases
Para atajar la amenaza, Amodei propuso una estrategia que contempla:
1. Apertura a auditores externos: Anthropic se comprometió unilateralmente a abrir sus instalaciones a evaluadores independientes con acceso equiparable al de sus propios empleados, permitiéndoles auditar los procesos de entrenamiento y publicar sus hallazgos.
2. Coordinación entre empresas: Pactar estándares comunes de seguridad y topes al avance descontrolado, con respaldo institucional y excepciones a las normas antimonopolio, además de blindar las cadenas de suministro de semiconductores.
3. Acuerdos globales: Promover pactos con potencias para fijar límites verificables que prohíban aplicaciones biológicas militares y establezcan topes a la velocidad de la automejora algorítmica.
Amodei concluyó que ralentizar el avance aportaría "uno o dos años cruciales" para que la comunidad investigadora domine el alineamiento y la interpretabilidad de los modelos, garantizando un debate público adecuado y reduciendo el riesgo de que la tecnología escape al control de la sociedad.
(Con información de DW)

