KPIs para medir el impacto de la IA en el negocio
Qué indicadores sirven para seguir un programa de inteligencia artificial, cuáles son vanidad pura y cómo armar un tablero que resista la revisión del directorio.
Un programa de inteligencia artificial sin indicadores claros termina discutiéndose con anécdotas. Y las anécdotas pierden frente a cualquier recorte de presupuesto.
Lo que sigue es el conjunto mínimo que permite sostener una conversación seria sobre el tema.
Los cuatro indicadores de un sistema
Para cualquier implementación, estos cuatro alcanzan para saber si funciona:
Cobertura. Qué porcentaje de los casos pasa efectivamente por el sistema. Si es bajo, hay un problema de adopción o de alcance, no de tecnología.
Tasa de intervención humana. Cuántas salidas requieren corrección. Debería bajar durante los primeros meses y estabilizarse. Si no baja, el caso de uso puede haber estado mal elegido.
Tiempo o costo por caso. Comparado contra la línea de base medida antes de implementar. Es el indicador que se traduce directamente a dinero.
Calidad del resultado. Medida como corresponda al caso: satisfacción, tasa de error, reapertura de casos, precisión por campo. Sin este indicador, el ahorro puede estar pagándose con peor servicio.
Los tres indicadores del programa
A nivel organización, además de los sistemas individuales:
Casos en producción versus casos en prueba. Una organización con doce pilotos y ninguno en producción tiene un problema de ejecución. La relación entre ambos números es el mejor diagnóstico de salud del programa.
Tiempo desde la idea hasta producción. Si el primer caso tardó nueve meses y el tercero tres, la organización está construyendo capacidad. Si todos tardan lo mismo, cada proyecto empieza de cero.
Ahorro o ingreso acumulado, comparado contra la inversión total del programa. Es el número que va al directorio.
Los indicadores de vanidad
Tres métricas que se reportan seguido y no dicen nada:
Cantidad de consultas al sistema. Mide actividad, no valor. Un asistente puede recibir miles de consultas sin cambiar ninguna decisión.
Cantidad de usuarios con licencia. Tener licencias asignadas no es tener adopción. El indicador útil es uso recurrente: cuántas personas vuelven la semana siguiente.
Precisión del modelo en pruebas de laboratorio. Un modelo con excelente precisión sobre datos de prueba puede rendir mal en la operación real. Lo que importa es el desempeño sobre casos reales en producción.
Cómo construir la línea de base
Es el paso que más se omite y el que hace posible todo lo demás. Antes de implementar, hay que medir el proceso actual durante dos a cuatro semanas:
- Volumen por período.
- Tiempo promedio por caso.
- Tasa de error y de retrabajo.
- Costo por hora del rol involucrado.
- Nivel de satisfacción actual, si aplica.
Esa medición dura unas horas de trabajo y define si el proyecto se puede evaluar o no.
Un tablero de una página
Lo que conviene llevar a una revisión mensual:
| Qué | Cómo se ve |
|---|---|
| Cobertura | Porcentaje, con tendencia |
| Intervención humana | Porcentaje, con tendencia |
| Tiempo por caso | Actual vs línea de base |
| Calidad | El indicador que corresponda |
| Ahorro acumulado | Monto, contra inversión |
| Incidentes | Cantidad y tipo |
Seis filas. Si el tablero necesita más de una página, probablemente esté midiendo la herramienta en lugar del negocio.
El indicador que nadie mide y conviene mirar
Qué decisiones cambiaron. No es cuantitativo y por eso suele quedar afuera, pero es el más revelador: ¿alguien hizo algo distinto por lo que mostró el sistema?
Si la respuesta es no, el sistema es un reporte más, por sofisticado que sea. Si la respuesta es sí, hay valor aunque los otros indicadores todavía no lo reflejen.
Preguntas frecuentes
¿Cuáles son los KPIs mínimos para un proyecto de IA?
Cuatro: cobertura, tasa de intervención humana, tiempo o costo por caso comparado contra la línea de base, y calidad del resultado. Con esos cuatro se entiende si el sistema funciona y si se usa.
¿Por qué no sirve medir cantidad de consultas al sistema?
Porque mide actividad, no valor. Un sistema puede recibir miles de consultas y no cambiar ninguna decisión ni ahorrar tiempo. Conviene medir resultados, no uso.
¿Cada cuánto conviene revisar los indicadores?
Semanalmente durante los primeros dos meses, cuando todavía se está ajustando, y mensualmente después. La revisión trimestral sirve para decidir sobre el programa, no sobre el sistema.