Anthropic y OpenAI acuerdan integrar evaluadores de seguridad independientes dentro de sus laboratorios

El CEO de Anthropic, Dario Amodei, ha propuesto un nuevo modelo de supervisión de la IA: evaluadores independientes de terceros integrados permanentemente dentro de los laboratorios de IA de frontera, con el mismo nivel de acceso que los empleados, credenciales de la empresa y derecho a publicar sus hallazgos. El CEO de OpenAI, Sam Altman, ha prometido que OpenAI adoptará el mismo compromiso.

En qué consiste la propuesta

Bajo el marco de Amodei, cada empresa de IA de frontera daría a un equipo permanente de evaluadores externos — organizaciones como METR — el acceso habitualmente reservado a los empleados sénior: examinar pipelines de entrenamiento, prácticas de seguridad y procesos de alineamiento del modelo antes del despliegue. El objetivo explícito es sustituir las auditorías puntuales por una monitorización continua.

Amodei citó la regulación bancaria como precedente: algunos reguladores financieros integran supervisores directamente en las empresas a lo largo del año, en lugar de revisiones externas ocasionales.

Marco de gobernanza de tres partes

La propuesta de evaluadores es una parte de un marco más amplio que Amodei detalló en un ensayo del 12 de septiembre. Los otros dos componentes son: estándares de seguridad comunes entre las empresas de IA de frontera de las democracias, y coordinación internacional — incluyendo acuerdos con China — para evitar una carrera al abismo en materia de seguridad. Altman confirmó el compromiso de OpenAI, afirmando: "Estoy de acuerdo con Dario en que necesitamos marcar el ritmo de la frontera."

El problema de la independencia

Los investigadores y defensores de la seguridad de la IA acogen el acceso sin precedentes descrito por Amodei. Pero la propuesta, tal como está estructurada, otorga a los evaluadores una visibilidad extraordinaria con autoridad formal limitada: sin poder de veto sobre entrenamientos o lanzamientos de modelos. CNBC llamó a estos evaluadores "vigilantes neutrales", señalando que sin mecanismos de ejecución legales, todo depende de que las empresas decidan actuar en consecuencia. Los críticos advierten del riesgo de "teatro de auditoría": usar la apariencia de supervisión independiente para satisfacer a los críticos mientras se mantiene el control total.

Movimiento paralelo en el Congreso

Una propuesta bipartidista avanza en la Cámara de Representantes que haría obligatorio que las empresas de IA de frontera embebieran evaluadores, con reconocimiento legal formal y requisitos de informes — cubriendo el vacío que deja la propuesta voluntaria.

Por qué importa

Amodei ha argumentado este mes que la IA podría superar nuestra capacidad de entenderla y controlarla en seis a doce meses. El modelo de evaluadores integrados representa el mayor acceso que cualquier organización externa ha recibido jamás al funcionamiento interno de un laboratorio de IA de frontera. Si se traduce en responsabilidad genuina o en teatro de auditoría dependerá de lo que los evaluadores puedan ver, decir y hacer al respecto, según informó TechCrunch.