Antes de cambiar tu asistente de IA, conserva un pequeño conjunto de pruebas
Compara la versión actual y la propuesta de tu asistente de IA con los mismos casos de clientes, resultados esperados claros y un registro de mejoras y fallas.
Por Noe Guerrero III
Una respuesta más corta puede parecer una mejora hasta que omite algo que el cliente necesita. Imagina que una imprenta cambia las instrucciones de su asistente de IA para que responda de forma más concisa. La nueva respuesta suena mejor, pero ¿todavía pregunta cuántos carteles necesita el cliente antes de enviar la solicitud al personal?
Antes de cambiar un asistente de IA que atiende a clientes, conserva un conjunto de casos repetibles con resultados esperados claros. Ejecuta la versión actual y la propuesta con esos casos y después compara lo que ocurrió. Guardar la comparación les da al dueño del negocio y al desarrollador algo concreto que revisar antes de que el cambio llegue a los clientes.
Convierte una tarea del cliente en un caso de prueba
Para una imprenta ficticia en McAllen, supongamos que las instrucciones aprobadas para cotizar piden el tamaño de los carteles, la cantidad y la fecha en que el cliente los necesita. El personal debe confirmar el precio y el calendario de producción. El asistente puede recopilar una solicitud y enviarla al personal, pero no puede prometer que el pedido está aceptado.
Escribe un caso con esas reglas. Un cliente indica el tamaño y la fecha en que necesita los carteles, pero omite la cantidad. El resultado esperado es que el asistente pida la cantidad que falta, sin inventar un precio ni prometer una fecha de finalización. Varias respuestas diferentes podrían cumplir ese requisito. Decide qué datos y acciones importan antes de juzgar qué tan bien redactada suena una respuesta.
Conserva juntos el mensaje de entrada, la conversación inicial, la información aprobada que se usa para responder y los criterios para aprobar la prueba. Anota quién confirmó la regla del negocio. Si una respuesta esperada quedó desactualizada, corrige el caso con base en la información aprobada vigente antes de comparar versiones. Mantén actualizada la información del negocio que usa un asistente de IA
La guía de evaluación de Google Cloud recomienda ejemplos alineados con la tarea evaluada y revisión humana junto con métricas. Un pequeño negocio puede aplicar esa idea con una hoja de revisión y conversaciones guardadas. Guía de Google Cloud para evaluar una aplicación de IA generativa
Empieza con unas cuantas tareas que tu personal ya revisa. Incluye una falla anterior cuando tengas una y marca los escenarios inventados como ejemplos de prueba. Conserva casos que deban producir resultados distintos. Un asistente que siempre hace otra pregunta podría pasar el caso de información faltante y aun así frustrar a un cliente que ya proporcionó todo.
Compara las mismas entradas y el mismo estado inicial
Registra qué busca mejorar el cambio propuesto. Para la imprenta, podrían ser respuestas más cortas que sigan recopilando la información necesaria para cotizar. Dale a la versión actual y a la candidata el mismo mensaje de entrada y la misma copia fija de la información aprobada. Empieza cada ejecución con una copia nueva de la conversación y los datos de prueba necesarios para que una versión no se beneficie del trabajo anterior de la otra.
Pide al desarrollador que registre las instrucciones del asistente, el modelo, la versión de la fuente de información, las herramientas conectadas y los ajustes relevantes de cada ejecución. Cambia la parte prevista mientras mantienes consistentes las condiciones de comparación. Si cambias deliberadamente varias partes a la vez, regístralas como una sola configuración candidata para que el equipo sepa qué evaluó.
Ejecuta cada caso más de una vez con el mismo procedimiento para ambas versiones. Conserva todos los resultados, incluidos los poco acertados. Las respuestas de la IA pueden variar entre intentos, y la guía de evaluación de Anthropic aborda las pruebas repetidas como una forma de entender esa variación. Anota en el registro cuántas repeticiones elegiste. Guía de Anthropic sobre evaluaciones para agentes de IA
Para la imprenta, un conjunto inicial podría incluir estos casos.
Una solicitud con todos los detalles requeridos. El asistente reconoce el tamaño, la cantidad y la fecha necesaria, y después continúa con el paso aprobado sin pedir información que ya se proporcionó.
Una solicitud a la que le falta la cantidad. Pide ese dato y evita inventar un precio o una promesa sobre la producción.
Una pregunta que la información aprobada no responde. Explica qué necesita confirmar el personal y sigue el proceso acordado para obtener una respuesta.
Una solicitud para hablar con una persona. Sigue la transferencia configurada. Si dice que se envió una solicitud, revisa el buzón de prueba o el registro de la tarea para confirmar la entrega.
La misma tarea del cliente en español. Conserva las condiciones del negocio y llega al mismo paso permitido con un español natural.
Usa un entorno de prueba para los casos que crean registros o envían mensajes. Revisa el resultado además de la respuesta. Una frase que diga que la solicitud se entregó necesita evidencia en el destino. Acuerda con el personal qué debe pasar durante la transferencia antes de usarlo como criterio de evaluación. Planea la transferencia de un asistente de IA al personal
Revisa las fallas antes de aprobar el cambio
Pide a alguien que conozca el servicio que lea ambos conjuntos de resultados y los compare con los criterios escritos. Para cada intento, registra si pasó o falló y una razón breve. Por ejemplo, “Pidió la cantidad, conservó la fecha solicitada y no prometió un precio” le da a quien revisa una base para aprobar el caso de la cantidad faltante. “Respuesta amable” deja sin resolver la tarea del negocio.
Registra por separado y de forma visible si la respuesta es correcta y cómo está redactada. Una versión candidata puede ser más breve y aun así ejecutar mal el proceso de cotización. Acuerden de antemano qué fallas deberían impedir que este cambio en particular llegue a los clientes. Para la imprenta ficticia, afirmar que el personal aceptó un pedido sin confirmación sería una de esas fallas.
Cuando un caso falle, guarda la conversación y el resultado observado junto con la información de su versión. Decide si el problema está en el asistente, en la información disponible o en una expectativa de prueba ambigua. Corrígelo y después vuelve a ejecutar el conjunto completo para ver si la corrección afectó otro caso.
Conserva la comparación junto con la decisión de lanzamiento, incluidas las fallas conocidas y quién las revisó. Agrega casos conforme las preguntas de clientes reales revelen lo que falta. El conjunto guardado se convierte en una forma repetible de conversar sobre el siguiente cambio, usando las tareas que el negocio espera que su asistente resuelva.