Tu IA ha empeorado y no te has dado cuenta

Una empresa puntuó 2.611 entrevistas de trabajo gestionadas por un agente de IA a lo largo de seis meses. Todas pasaron por la misma rúbrica de nueve apartados. Después se incorporó al panel un evaluador más severo, y la mejora que todo el mundo celebraba desapareció del gráfico.

El agente no había ido a peor. Lo que había cambiado era la forma de puntuarlo. Ahí está la dificultad de usar IA en un negocio donde no puedes poner a un especialista en cada tarea: la herramienta cambia bajo tus pies, las personas que la juzgan también cambian, y la cifra del panel deja de significar lo que tú crees sin que te enteres.

Este artículo va de la versión más pequeña de ese problema, la que sí puede atacar una empresa de tres a cincuenta personas. Dos investigadores publicaron la evidencia el 4 de octubre de 2026, y el remedio que describen cuesta una hora al mes.

Qué midió realmente el estudio

El artículo se titula «Reliability of AI Agents: Rater Effects, Drift, and the Return to an Evaluation Program», es de Liu Zhang y Mark Esposito y se publicó en arXiv el 4 de octubre de 2026. El sujeto del estudio era un agente de voz y vídeo en producción que realiza entrevistas de trabajo en directo para una empresa.

Los datos son inusualmente concretos para una afirmación de este tipo: 2.611 grabaciones de entrevistas puntuadas, repartidas en 14 lotes entre finales de marzo y finales de agosto de 2026; evaluadores humanos solapados, de modo que un mismo lote lo puntuaba más de una persona; el registro de cambios del propio agente a lo largo de tres despliegues en producción; y, desde mayo, los tickets de soporte diarios de la empresa.

Esa combinación es lo que lo hace útil fuera de la empresa de la que salió. La mayoría de los debates sobre calidad de IA se atascan en opiniones, porque son muy pocos los que guardan un registro de lo que hizo el sistema, quién lo juzgó y qué más cambió esa semana. Esta empresa sí lo guardó, y el registro muestra tres cosas distintas saliendo mal a la vez.

Dos personas pueden puntuar la misma IA muy distinto

Los evaluadores de la empresa se solapaban a propósito: los mismos lotes los puntuaba más de una persona, que es la única forma de averiguar cuánto pesa quien puntúa. En el estudio, dos evaluadores que valoraron los mismos lotes se diferenciaron en 0,79 desviaciones típicas en el índice compuesto de calidad.

Eso no es un error de redondeo. Es más grande que la mejora que la empresa estaba midiendo.

Después se incorporó un evaluador más severo, la línea de tendencia en bruto se aplanó, y cualquiera que mirase el panel habría concluido que el agente había dejado de mejorar. Una vez ajustado por quién puntuaba, la calidad de fondo había subido en realidad 0,53 desviaciones típicas entre marzo y agosto de 2026. El descenso aparente y la mejora real eran los mismos datos leídos de dos maneras.

Si alguna vez le has pedido a un compañero que «eche un ojo a lo que ha escrito el chatbot esta semana», has hecho este experimento sin darte cuenta. La paciencia, el humor y el criterio de tu compañero son variables de la medición, y en tu panel no queda constancia de ninguna.

Tus pruebas de calidad caducan en unas cinco semanas

El segundo resultado es el que cambia cada cuánto conviene comprobar. La fiabilidad del sistema se movía entre despliegues registrados, y los investigadores estimaron el ritmo de ese movimiento sin explicación para calcular a qué velocidad una evaluación antigua deja de describir el sistema en funcionamiento: su incertidumbre de predicción alcanza el tamaño del mayor cambio observado al cabo de unas cinco semanas. Avisan de que la estimación es imprecisa, porque se apoya en unos pocos saltos y no en un descenso progresivo. Como orden de magnitud, es lo que hay.

Dentro de esa ventana las cosas también se movían de una forma poco evidente. Mientras el índice compuesto subía, los fallos críticos hacían otra cosa: tocaron techo en el 6,3% hacia mediados de mayo y bajaron de forma sostenida hasta el 2,5% a mediados de agosto. Una sola cifra de tendencia habría escondido ese pico, y el pico es precisamente la parte que nota el cliente.

Una cosa más sobre cómo se comprobó la evidencia. El equipo no se apoyó solo en sus propias puntuaciones. Los tickets de soporte relacionados con las entrevistas cayeron alrededor de un 10% al mes respecto a los tickets de problemas técnicos, una cifra operativa que no sale del proceso de evaluación en absoluto y que se movía en la misma dirección que las notas de calidad. Cuando coinciden una cifra que controlas tú y otra que generan tus clientes, tienes algo sólido. Cuando solo se mueve la que controlas tú, tienes una hoja de cálculo.

Las tres comprobaciones que mantienen a raya a un equipo pequeño

La recomendación final del artículo es una rutina de tres partes para cualquiera que juzgue con el tiempo un sistema de IA en marcha. Puedes llevártela tal cual a una pyme y hacerla sin saber estadística.

• Comparabilidad: quien puntúe la salida tiene que ser la misma persona, con los mismos criterios escritos que la última vez, o las dos notas no se pueden comparar en absoluto. Si este mes lo revisa otra persona, apúntalo junto a la nota.
• Vigencia: ponle fecha a la comprobación y dalo por bueno unas semanas, no para siempre. Repítela después de cualquier cambio en la herramienta, en los prompts, en los datos que lee o en la persona que la usa.
• Corroboración: acompaña la nota de calidad con una cifra de tu operación que la IA no produzca: reclamaciones, devoluciones, llamadas repetidas, tiempo hasta la primera respuesta, pedidos cancelados.

La misma lógica explica por qué los proyectos de IA mueren en silencio. El estudio de entrevistas a profesionales de la IA de RAND, publicado en agosto de 2024, encontró que el 84% de los entrevistados atribuía los fracasos del proyecto a decisiones y expectativas marcadas por la dirección, muy por encima de los problemas de datos o de infraestructura. Nadie se pone de acuerdo en qué se supone que debe hacer el sistema, nadie escribe qué significa «que funcione», y el proyecto acaba derivando en una discusión sobre el modelo.

Una comprobación de 20 minutos que sí puedes mantener

Pasa del panel. La rutina de abajo es manual a propósito: imprimir la salida saca el trabajo de la herramienta que estás juzgando, y una hoja de papel en una carpeta se compara mes a mes mucho mejor que una pantalla llena de gráficos.

1. Saca entre 15 y 20 salidas reales del último mes: respuestas, resúmenes, presupuestos o transcripciones del día a día, no casos de prueba inventados por ti.
2. Imprímelas y puntúa cada una con tres o cuatro criterios escritos: correcto en los datos, tono adecuado, completo, nada inventado. Deja los criterios por escrito una vez y reutiliza las mismas palabras el mes que viene.
3. Rodea con un círculo lo que está mal en la hoja en vez de arreglarlo. El rastro en papel importa más que un documento pulcro.
4. Escribe el total, la fecha y tu propio nombre en la hoja de arriba. Si la próxima vez puntúa otra persona, su nombre va ahí también.
5. Elige de antemano una cifra operativa y apúntala en la misma hoja: reclamaciones por cada 100 pedidos, llamadas que hubo que derivar a una persona, tiempo hasta la primera respuesta o devoluciones. Sácala de tu facturación, de tu sistema de incidencias o de la factura del teléfono, no del informe que genera la propia herramienta de IA.

Veinte minutos al mes, una carpeta. Repítelo después de cambiar el prompt, el modelo, las herramientas que el agente puede usar o la persona que lo maneja: un cambio a mitad de mes es precisamente cuando una nota vieja empieza a mentirte.

Cómo leer el resultado sin darle demasiadas vueltas

Cuando la nota baja, la pregunta útil no es si el modelo es peor, sino cuál de estas tres cosas se ha movido.

Abre las hojas marcadas de este mes y las mismas del mes pasado y compara el tipo de error. Si los fallos son nuevos por su naturaleza (cifras inventadas donde antes no las había, un tono que tus clientes leerían como un desplante, un campo relleno con el valor equivocado), el problema es del sistema, y merece la pena arreglarlo antes de que llegue a un cliente. Si los fallos son los mismos del mes pasado pero más numerosos, normalmente es volumen o un uso nuevo, no un deterioro.

Si la nota baja viene de un evaluador que no es el de siempre, no has medido la IA: has medido al evaluador. Vuelve a puntuar diez de las mismas salidas con la persona habitual antes de tocar nada. Es la falsa alarma más común, y descartarla es barato.

Si la nota de calidad está plana pero la cifra operativa va a peor, haz caso a la cifra operativa. Tus clientes no leen tu rúbrica.

Y una decisión que conviene tomar a propósito: para algunas tareas, lo que no toca es revisar la salida por muestreo. Si una persona reescribe igualmente todo lo que produce el asistente, no necesitas puntuar los borradores: lo que necesitas es medir cuánto tarda esa reescritura, porque ahí se va tu dinero.

Preguntas frecuentes

¿Cuántas salidas tengo que revisar?

Entre quince y veinte del último mes bastan para ver el patrón que buscas, y son pocas para terminar con un café. El valor está en hacerlo siempre igual cada mes, no en el tamaño de la muestra. Si tu volumen es mínimo, revisa todo lo que tengas.

¿Puedo pedirle a la IA que puntúe su propia salida?

No. Un evaluador que comparte los supuestos del sistema que está evaluando no te va a decir que esos supuestos han dejado de encajar con tu negocio. Tampoco puede ver el segundo problema del estudio, que era que las personas que puntuaban también se habían desviado. Usa a una persona y, en lo posible, que sea siempre la misma.

Nuestra IA solo redacta borradores y siempre los edita una persona. ¿Necesitamos esto?

Necesitas una versión de esto, con otra cifra. Mide cuánto tardan las correcciones y con qué frecuencia se tira el borrador a la basura. Si el tiempo de reescritura sube mes a mes, el asistente está empeorando en silencio aunque nada se haya roto a la vista y nadie se haya quejado.

¿Y si no podemos con una revisión mensual?

Entonces haz lo mínimo que aún te protege: ponle fecha a la última comprobación que hiciste y repítela después de cada cambio que hagas en la herramienta. Ese solo hábito detecta los fallos que vienen de tus propios cambios, que son más frecuentes que los que aparecen solos.