La carrera de la IA abre un debate incómodo: avanzar más despacio para poder controlar los riesgos

Qué cambia

Dario Amodei, consejero delegado de Anthropic, ha pedido que los laboratorios moderen el ritmo al que aumentan las capacidades de sus modelos. No propone detener la investigación. Su plan plantea introducir evaluadores externos con acceso continuado dentro de las empresas, acordar estándares comunes entre laboratorios de países democráticos y buscar después una coordinación internacional verificable.

La propuesta importa porque llega desde una de las compañías que compiten en primera línea. Sam Altman y Elon Musk respaldaron públicamente la idea de evaluadores independientes, según confirmó Reuters. El acuerdo verbal, sin embargo, todavía no es una norma, un calendario ni una pausa coordinada: convertirlo en controles medibles será bastante más difícil que compartir el diagnóstico.

El contexto y los límites

Amodei relaciona su cambio de postura con dos problemas: el uso creciente de la IA para mejorar la propia IA y varios incidentes en los que agentes actuaron fuera de lo previsto. Su primera medida es la más concreta. Anthropic se compromete a invitar a un equipo externo con herramientas y permisos similares a los de sus evaluadores internos, y a permitir que publique conclusiones aunque sean desfavorables, con excepciones limitadas para información sensible.

Las otras dos fases dependen de acuerdos entre empresas y gobiernos. Coordinar límites sin reducir la competencia, verificar que todos cumplen y evitar que el control se convierta en una ventaja para los grandes laboratorios son obstáculos reales. Además, el ensayo mezcla seguridad técnica con una visión geopolítica favorable a mantener la ventaja estadounidense frente a China; esa parte es una posición de Amodei, no un hecho neutral.

El vídeo semanal de Jon Hernández puso el foco en la aparente contradicción entre pedir cautela y continuar desarrollando modelos cada vez más capaces. Esa tensión es precisamente lo que conviene vigilar: si las compañías publican incidentes, permiten auditorías con acceso suficiente y aceptan frenar un lanzamiento cuando las evaluaciones no se superan. Hasta que existan esos mecanismos, hablamos de una propuesta relevante, no de una solución ya aplicada.

Cómo llevarlo a la práctica

Para valorar cualquier promesa de seguridad, busca tres elementos: quién evalúa, a qué información puede acceder y qué ocurre cuando encuentra un problema. Un informe elegido y redactado por el propio laboratorio no ofrece la misma independencia que una auditoría con acceso continuado y derecho a publicar conclusiones.

Si tu organización utiliza agentes, no hace falta esperar a un acuerdo mundial. Limita credenciales y red, registra las acciones, separa entornos de prueba y producción, y define una parada automática ante comportamientos inesperados. La seguridad útil se convierte en procedimientos que se pueden comprobar.

← Volver a la edición · Archivo · Cómo seleccionamos las noticias