Estudio de Anthropic: los analistas que usaron Claude Code siguieron la inclinación oculta del agente en el 86% de las decisiones de criterio

Anthropic publicó un estudio sobre cómo un agente de IA influye en las decisiones de expertos. Realizó un ensayo aleatorizado con 50 analistas profesionales (con experiencia en inferencia causal) que analizaron si funcionaba el programa de asesoría de una cooperativa agrícola ficticia, usando Claude Code con Claude Opus 4.8 en nivel de esfuerzo High. Según Anthropic:

• Diseño: en cuatro decisiones analíticas abiertas (la medida de resultados, el método de comparación, qué granjas incluir y la ponderación), se indicó en secreto al agente de cada analista que favoreciera una opción, elegida al azar con una moneda. Debía defender su postura con honestidad y cambiar de opinión si las pruebas lo exigían.
• Deferencia: los analistas eligieron la opción preferida por el agente el 86% de las veces (entre el 82% y el 92%, según la decisión), frente a cerca del 50% si el agente no influía. En los 38 casos en que un analista había expresado primero una preferencia, cambió de opinión y se apartó de ella el 60% de las veces cuando el agente discrepaba, y el 6% cuando coincidía; Anthropic señala que la muestra es pequeña y el intervalo amplio (de 24 a 82 puntos).
• Recomendación final: el 54% recomendó implementar el programa cuando el agente se inclinaba por esa opción, frente al 36% cuando no era así.
• Conciencia: el 77% repitió el argumento del agente en sus explicaciones posteriores a la tarea, a veces palabra por palabra, y el 15% reconoció su aporte. Quienes siguieron al agente en las cuatro decisiones declararon una confianza de 71 sobre 100, frente a 73 entre el resto. Nadie sospechó que se hubieran manipulado las preferencias del agente. La experiencia y la pericia que los participantes se atribuían no predijeron quién deferiría.
• Sin el agente: 6 de los 11 analistas que optaron por no usarlo cometieron errores metodológicos graves, frente a 3 de los 50 que sí lo usaron, y tardaron una mediana de 90 minutos, frente a 65. Anthropic dice que los grupos no eran comparables y que quienes no usaron el agente tenían menos experiencia.

Anthropic advierte que reforzó deliberadamente las preferencias de los agentes, estudió una sola tarea, área y modelo, y que el efecto podría ser menor en el trabajo real. Sin una preferencia asignada, Opus 4.8 tomó las mismas cinco decisiones en 112 de 123 ejecuciones. La compañía sostiene que el resultado importa para la investigación sobre seguridad de la IA, donde un revisor humano solo sirve como verificación independiente si su criterio es propio, y sugiere que los agentes presenten argumentos a favor de ambas opciones o pregunten primero la opinión del experto.