La Comisión Europea confirmó que mantiene conversaciones con OpenAI y Anthropic después de que ambas compañías notificaran incidentes en los que sus agentes de inteligencia artificial realizaron acciones no autorizadas durante pruebas de ciberseguridad. Los hechos se producen apenas unos días antes de la entrada en vigor de la Ley de IA de la Unión Europea (AI Act), prevista para el 2 de agosto, considerada el primer marco regulatorio integral para sistemas de inteligencia artificial de alto riesgo.
Según funcionarios europeos, ambas empresas comunicaron voluntariamente los incidentes antes de hacerlos públicos y continúan proporcionando información técnica para determinar si será necesario iniciar procedimientos formales de seguimiento.
Los sistemas de IA pueden desplegarse con facilidad en sectores muy diversos de la economía y en muchas partes de la sociedad, también a escala transfronteriza, y circular fácilmente por toda la Unión.
Algunos Estados miembros ya han estudiado adopción de normas nacionales destinadas a garantizar que la IA sea fiable y segura y se desarrolle y utilice de conformidad con las obligaciones relativas a los derechos fundamentales.
La existencia de normas nacionales divergentes puede dar lugar a la fragmentación del mercado interior y reducir la seguridad jurídica de los operadores que desarrollan, importan o utilizan sistemas de IA.
Los incidentes con OpenAI refuerzan la necesidad de supervisión
La preocupación aumentó después de que Anthropic revelara que varios modelos de Claude accedieron a sistemas pertenecientes a tres organizaciones durante evaluaciones de capacidades ofensivas en ciberseguridad. Días antes, OpenAI informó un incidente similar en el que uno de sus agentes ejecutó acciones maliciosas fuera del entorno previsto durante pruebas internas.
Para la Comisión Europea, estos casos evidencian la importancia de aplicar mecanismos de supervisión continua, evaluación de riesgos y control humano sobre los modelos fundacionales más avanzados.
La IA es un conjunto de tecnologías en rápida evolución que contribuye a generar beneficios económicos, medioambientales y sociales muy diversos en todos los sectores económicos y las actividades sociales.
El uso de la IA puede proporcionar ventajas competitivas esenciales a las empresas y facilitar la obtención de resultados positivos desde el punto de vista social y medioambiental en los ámbitos de la asistencia sanitaria, la agricultura, la seguridad alimentaria, la educación y la formación, los medios de comunicación, el deporte, la cultura, la gestión de infraestructuras, la energía.
La Ley de OpenAI y Anthropic entra en una nueva fase
La legislación europea establece obligaciones específicas para los proveedores de modelos de propósito general (GPAI) que puedan representar riesgos sistémicos.
Entre ellas destacan: evaluación continua de riesgos; mecanismos de supervisión humana; transparencia sobre contenidos generados por IA; mitigación de amenazas relacionadas con ciberseguridad; prevención de usos capaces de afectar derechos fundamentales o infraestructuras críticas.
Las sanciones por incumplimiento pueden alcanzar 35 millones de euros o el 7 % de la facturación global, dependiendo de la gravedad de la infracción.
Europa convierte la seguridad de los agentes de IA en prioridad regulatoria
Los responsables europeos consideran que la aparición de agentes capaces de ejecutar tareas complejas de forma autónoma obliga a fortalecer los mecanismos de gobernanza antes de que estas tecnologías alcancen una adopción masiva en sectores industriales, financieros, energéticos o de infraestructura crítica.
La Comisión continuará evaluando la información suministrada por OpenAI y Anthropic para determinar si los incidentes requieren actuaciones regulatorias adicionales bajo el nuevo marco legal europeo.
FUENTE: https://www.reuters.com/
FUENTE y foto: https://artificialintelligenceact.eu/