Tu asistente de IA anda "bien"... ¿según qué? Armá tu propio set de pruebas antes de confiarle trabajo

Pasa siempre. Armaste un prompt que resume mails de clientes, o un asistente que clasifica reclamos, o algo que te redacta respuestas. Lo probaste tres veces, salió lindo, y lo dejaste andando. Después tocás una palabra del prompt "para mejorarlo", o sale un modelo nuevo y lo cambiás para ahorrar plata, y... ¿anduvo mejor o peor? No tenés ni idea. Lo estás midiendo a ojo.

Ese "a ojo" es el que te hace perder horas y quedar mal con un cliente cuando la IA falla justo en el caso que nunca probaste. La solución no es un software caro ni saber programar: es armar tu propio set de pruebas. En la jerga lo llaman eval, pero es tan simple como una planilla con casos y respuestas esperadas.

Qué es un set de pruebas (y por qué lo necesitás)

Es una lista de casos reales de tu trabajo, cada uno con lo que esperás que la IA responda. Nada más. Sirve para tres cosas concretas:

• Comparar sin autoengañarte: corrés el mismo set con el prompt viejo y el nuevo, y ves cuál acierta más. No "me parece que", sino un número.
• No romper lo que ya andaba: cada vez que tocás algo, lo pasás por el set. Si antes acertaba 14 de 15 y ahora 10, sabés que la "mejora" fue un retroceso.
• Sobrevivir a los cambios de modelo: hoy salen modelos nuevos cada dos semanas. Con tu set, cambiar de modelo deja de ser fe y pasa a ser una prueba de cinco minutos.

Es la diferencia entre implementar IA en serio y jugar con un chatbot.

Cómo armar el tuyo en una tarde

1. Juntá entre 10 y 20 casos reales. No inventés ejemplos de laboratorio: agarrá mails, mensajes o documentos que ya pasaron por tus manos. Meté los fáciles, pero sobre todo los molestos: el reclamo agresivo, el mail ambiguo, el que mezcla dos temas, el que viene con un dato falso. Ahí es donde la IA se cae.

2. Escribí el resultado esperado. Para cada caso, anotá qué sería una buena respuesta. No hace falta la respuesta perfecta palabra por palabra; alcanza con un criterio claro de aprobado. Por ejemplo: "tiene que clasificarlo como facturación", o "tiene que decir que no sabe y no inventar el número de pedido".

3. Armá la planilla. Tres columnas alcanzan:

Caso (la entrada real) | Esperado (criterio de aprobado) | Resultado de la IA | ¿Pasó? (sí/no)

4. Corré tu prompt contra los 15 casos. Uno por uno, pegás la entrada, copiás lo que devuelve la IA y lo anotás. Es tedioso la primera vez, pero es tu línea de base: el número contra el que vas a comparar todo lo que cambies después.

5. Puntuá. Para tareas con respuesta clara (clasificar, extraer un dato, decir sí/no) lo revisás vos en dos minutos: pasó o no pasó. Para tareas de redacción, donde no hay un único resultado correcto, podés usar otra IA como jueza. Le pasás el criterio y que ella diga si la respuesta lo cumple:

Sos un evaluador estricto. Te paso un CRITERIO de aprobado y una RESPUESTA.
Decime solo APRUEBA o NO APRUEBA, y en una línea por qué.
No seas condescendiente: si la respuesta inventa datos, se va de tema
o no cumple el criterio, es NO APRUEBA.

CRITERIO: {acá pegás qué tenía que hacer}
RESPUESTA: {acá pegás lo que devolvió tu asistente}

6. Guardá la planilla y volvé a correrla. Este es el paso que casi todos se saltean y es el que da todo el valor. Cada vez que cambiás el prompt, el modelo o le agregás una instrucción, pasás el set de nuevo. Treinta minutos de trabajo te dicen si mejoraste de verdad.

Un ejemplo para que se entienda

Digamos que tenés un prompt que clasifica mensajes de WhatsApp en ventas, soporte o facturación. Tu set tiene 15 mensajes reales, cada uno con su categoría correcta anotada. Corrés el prompt: acierta 13. Después leés un truco nuevo y agregás "pensá la categoría antes de responder". Volvés a correr: ahora acierta 15. Ahí tenés la prueba de que el cambio sirvió. Sin el set, habrías cambiado el prompt y rezado.

Lo mismo cuando quieras bajar costos con un modelo más barato: corrés el set con el modelo caro y con el barato. Si el barato acierta 14 en vez de 15, capaz te conviene el ahorro. Si baja a 9, ya sabés que no.

Qué NO resuelve

Seamos honestos con los límites:

• No cubre lo que no está en el set. Si tus 15 casos son todos suaves, tu número va a mentir. El set vale por los casos difíciles que le metas, no por la cantidad.
• La IA jueza también se equivoca. Para tareas subjetivas te da una guía, no un veredicto sagrado. Revisá a mano los casos que marca dudosos.
• No es garantía en producción. Un 15 de 15 dice que anda bien en esos 15 casos, no que sea infalible. Cuando aparezca un caso nuevo que falle, sumalo al set. Así crece con el tiempo.
• Para tareas de una sola vez no vale la pena. Esto es para lo que repetís: el asistente que corre todos los días, el prompt que usás cada semana. Para un pedido puntual, armar el set es más trabajo que la tarea.

Para llevarte

Si le vas a confiar trabajo real a una IA, necesitás una forma de saber si funciona que no dependa de tu buena onda del día. Un set de 15 casos reales en una planilla es lo mínimo que te separa de estar adivinando. Armalo una vez, y cada cambio de prompt o de modelo pasa de ser un salto de fe a una prueba de media hora. Es la parte menos glamorosa de implementar IA, y es la que hace que no te explote en la cara.