TransvaloresContexto
En una agencia de cobranza, la calidad se controla escuchando una parte chica de las llamadas y leyendo algunos chats. Lo demás, que es casi todo, queda sin revisar, y lo que hace el bot de voz, también.
Transvalores ya tenía scorecards y evaluadores que calificaban gestiones a mano. Eso permitió algo que pocas veces se puede hacer: comparar a la IA contra personas que conocen la operación, sobre gestiones reales.
Qué se midió
No alcanzaba con saber si la IA aprueba o no la misma gestión que una persona: con pass rates altos, un solo criterio da vuelta el veredicto. Por eso se midió el acuerdo criterio por criterio.
Se tomaron 333 gestiones que sus evaluadores ya habían calificado, 98 llamadas y 235 chats de WhatsApp, y se compararon 7.226 ratings uno a uno.
Cómo se calibró
- A ciegas. Auto QA evaluó las mismas gestiones con el mismo scorecard, sin ver las calificaciones humanas.
- Leyendo cada diferencia. Cada desacuerdo se leyó con el porqué de la IA al lado del comentario del evaluador.
- Con reglas generales. Las instrucciones para la IA se ajustaron con reglas que valen para cualquier gestión, nunca con parches para un caso.
- Midiendo otra vez. Cada ajuste se volvió a medir; los que subían el número a costa de volver laxa a la IA se descartaron.
Las cifras
- 95,0 %acuerdo por criterio en llamadas91,6 % antes del ajuste
- 90,6 %acuerdo por criterio en WhatsApp86,6 % antes del ajuste
- 7.226ratings comparados1.800 de llamadas y 5.426 de WhatsApp
- 333gestiones reales98 llamadas y 235 chats
Qué cambió
Ajustar las instrucciones subió el acuerdo de 91,6 % a 95,0 % en llamadas y de 86,6 % a 90,6 % en WhatsApp, sobre el mismo lote.
La calibración también cambió cómo se configura un scorecard: sus evaluadores casi nunca marcaban «no aplica» y ponían «cumple» cuando un criterio no correspondía, así que los criterios se configuraron igual para que el puntaje no mostrara diferencias que no existen.
Con eso, cada revisión de sus evaluadores vuelve a medir la precisión de Auto QA mientras se usa.