Dario Amodei plantea evaluadores externos, estándares comunes y coordinación internacional para reducir los riesgos asociados al avance acelerado de los modelos de inteligencia artificial.
La carrera por desarrollar modelos de inteligencia artificial cada vez más capaces comienza a incorporar una variable que hasta ahora había ocupado un lugar secundario: la velocidad del progreso tecnológico.
Dario Amodei, director ejecutivo de Anthropic, sostiene que las principales empresas de IA deberían ralentizar deliberadamente el ritmo al que incrementan las capacidades de sus modelos y propone mecanismos concretos para hacerlo.
En su ensayo We Must Pace the Frontier, publicado el 12 de septiembre, Amodei no plantea detener el desarrollo de la inteligencia artificial. Su propuesta consiste en crear tiempo adicional para que los sistemas de seguridad, evaluación y gobernanza puedan avanzar a una velocidad comparable con las capacidades de los modelos.
Según el ejecutivo, el progreso seguirá siendo rápido, pero las compañías deberían utilizar de manera deliberada el tiempo obtenido mediante una evolución más controlada.
La propuesta adquiere mayor relevancia porque Sam Altman, director ejecutivo de OpenAI, respaldó públicamente la necesidad de “dosificar” el avance de la frontera de IA y afirmó que su compañía también adoptará evaluadores independientes. Elon Musk se sumó igualmente al respaldo.
De esta manera, una discusión que durante meses estuvo vinculada principalmente con investigadores de seguridad empieza a trasladarse al nivel estratégico de las principales compañías del sector.
Evaluadores externos dentro de las empresas de IA
El componente más concreto de la propuesta de Amodei es la creación de “evaluadores integrados” procedentes de organizaciones independientes, como METR. Estos especialistas tendrían acceso operativo a las compañías para comprobar si realmente están cumpliendo sus compromisos de seguridad, control del ritmo de desarrollo y notificación de incidentes.
Anthropic se compromete unilateralmente a permitir esta supervisión, incluyendo credenciales corporativas, espacios de trabajo y equipos informáticos, además de un nivel de acceso comparable al de los equipos internos encargados de evaluar riesgos.
La idea representa un cambio importante: la seguridad dejaría de depender exclusivamente de los controles diseñados por la propia empresa que desarrolla el sistema.
El planteamiento aparece después de varios incidentes que han elevado la preocupación sobre el comportamiento de agentes de IA conectados a sistemas externos. Entre ellos se encuentra el episodio en el que agentes internos de OpenAI alcanzaron un foro wiki alemán sin que la empresa tuviera conocimiento de ello durante semanas.
La velocidad del desarrollo se convierte en un riesgo
El planteamiento de Amodei introduce una cuestión técnica y empresarial poco habitual: no solamente importa hasta dónde puede llegar un modelo, sino a qué velocidad aumenta su capacidad.
El problema surge cuando las capacidades de los sistemas como Anthropic, avanzan más rápidamente que las herramientas destinadas a evaluarlos, contenerlos y determinar sus riesgos. En ese escenario, una compañía podría desarrollar una nueva generación de modelos antes de que los mecanismos de seguridad correspondientes hayan sido suficientemente probados.
Amodei propone por ello que las principales empresas de IA de países democráticos establezcan estándares comunes de seguridad y límites sobre la velocidad del progreso no controlado. También reconoce un obstáculo importante: una coordinación demasiado estrecha entre competidores podría generar problemas de legislación antimonopolio. Su propuesta es que el Gobierno estadounidense facilite determinadas conversaciones sobre seguridad mediante un marco legal específico.
El desafío será demostrar que el control funciona
La propuesta de Anthropic abre una discusión que trasciende la tradicional confrontación entre quienes consideran la IA una amenaza existencial y quienes rechazan esas advertencias. El punto operativo es mucho más concreto: ¿puede una industria que compite por desarrollar capacidades cada vez mayores establecer mecanismos independientes capaces de controlar realmente esa carrera?
La respuesta dependerá de cuestiones verificables: acceso de los evaluadores, independencia, capacidad para investigar incidentes, criterios comunes de seguridad y mecanismos para comprobar que los compromisos asumidos por las empresas se cumplen. También será necesario evitar que la regulación termine convirtiéndose en una barrera que solo las compañías más grandes puedan soportar.
La discusión ya ha comenzado. Altman afirmó que OpenAI considera la propuesta de los evaluadores una buena idea y que habrá más información próximamente.
FUENTE y FOTO: https://techcrunch.com/
