Evaluación automática de las conversaciones del agente
Cómo XBASE califica las conversaciones del agente de IA según los objetivos: cómo activarla, cuándo se ejecuta, dónde ver las notas y cuánto consume.
Actualizado el
La evaluación automática lee las conversaciones de tu agente de IA y le da a cada una una nota de 0 a 100, según los objetivos que defines. Muestra lo que el agente hizo bien, dónde falló y qué cambiar en las instrucciones. En XBASE, el recurso se llama Observabilidad, vale para los agentes Nativos y viene desactivado.
Cómo funciona
- La evaluación se ejecuta algunos minutos después de la última respuesta del agente, y no en cada mensaje. Si el agente responde de nuevo antes de eso, la espera vuelve a empezar. Así, la conversación se lee después de que se asentó.
- Si la conversación continúa más tarde, se evalúa de nuevo, ya con lo que pasó después.
- Para cada objetivo, la evaluación dice si el agente lo cumplió y da una nota. La nota de la conversación es el promedio de los objetivos que aplicaban.
- Junto con la nota vienen un resumen, los puntos fuertes, los puntos débiles y recomendaciones para mejorar el agente.
- La evaluación solo lee la conversación: el cliente no ve nada y no se envía ningún mensaje.
Cómo activarla
La evaluación solo se ejecuta con dos cosas configuradas en el Panel del agente:
- Observabilidad activada. En la tarjeta Observabilidad y análisis, haz clic en Activar observabilidad. El mismo interruptor está en Avanzado → Configuración del agente → Observabilidad.
- Al menos un objetivo. En la tarjeta Objetivos del agente, haz clic en Agregar objetivo, completa el Título y la Descripción y haz clic en Agregar.
Sin objetivo, no se evalúa nada, aunque la Observabilidad esté activada.
Qué son los objetivos
Un objetivo es lo que esperas que el agente haga en la conversación, escrito en lenguaje sencillo. Ejemplos:
- "Pedir el nombre y el correo antes de dar el precio";
- "Si el cliente quiere cancelar, ofrecer otra opción antes".
Usa la Descripción para decir cuándo aplica el objetivo y qué cuenta como cumplido: la evaluación lee el título y la descripción.
Cada objetivo recibe una nota de 0 a 100 y un resultado:
| Resultado | Cuándo |
|---|---|
| Cumplido | el agente hizo lo que el objetivo pide |
| Parcial | el agente hizo solo una parte |
| No cumplido | el objetivo aplicaba a la conversación y el agente no lo cumplió |
| No aplica | la situación del objetivo no ocurrió (ej.: el cliente ni habló de cancelar) |
Un objetivo No aplica no entra en el promedio, así que no baja la nota de la conversación.
Qué entra en la nota
- Solo se califica al agente evaluado. Los mensajes del equipo quedan fuera de la evaluación. Lo que otro agente respondió antes en la misma conversación sirve solo de contexto.
- Atención actual. Si la conversación estuvo parada más de 7 días, solo cuenta lo que vino después de la pausa. En conversaciones muy largas, entran los mensajes más recientes.
- Necesita respuesta del agente. Una conversación en la que el agente evaluado no respondió no se evalúa.
- Una falla técnica no resta nota. Si la respuesta del agente no salió por un error de la plataforma, eso no cuenta en su contra.
- El objetivo no es retroactivo. Un objetivo creado o editado no se exige a respuestas que el agente dio antes.
Dónde ver las notas
En la pantalla de Observabilidad del agente
En el Panel, tarjeta Observabilidad y análisis, haz clic en Ver métricas e informes. La pantalla tiene tres pestañas:
- Rendimiento: elige Mes o Semana y ve el Resumen del período, con Conversaciones evaluadas, Score promedio (0 a 100), Tasa de éxito (objetivos cumplidos sobre los que aplicaban), Evaluaciones (cuenta las reevaluaciones), Conversaciones problemáticas y Aprendizajes pendientes.
- Conversaciones problemáticas: conversaciones en las que algún objetivo quedó No cumplido o con nota por debajo de 60. Cada una muestra el Score, Marcar como revisada y Ver conversación. Filtra por Pendientes, Revisadas o Todas.
- Aprendizajes: sugerencias que la IA saca de las conversaciones del agente. Aplícalas en las instrucciones (Implementar sugerencia automáticamente), ajústalas antes (Editar manualmente) o descártalas. La pestaña Aprendizajes del agente abre la misma lista.
Antes de la primera evaluación, la pantalla muestra Observabilidad activada y todavía no tiene números.
En cada conversación, en Chatcenter
Abre la conversación, haz clic en el menú de tres puntos (⋮) en la parte superior y elige Puntuación de la conversación. El panel muestra la nota, el Resumen de la evaluación, el Score por objetivo (con el análisis y las evidencias), los Puntos fuertes, los Puntos débiles y las Recomendaciones. Una conversación sin evaluación muestra Score no disponible.
Consumo de tokens
Cada evaluación usa un modelo de IA y consume tokens, como una respuesta del agente. El consumo aparece en Uso y consumo y se descuenta del saldo del workspace, como el de las respuestas.
Como cada conversación se evalúa después de la última respuesta, y de nuevo si continúa, el consumo crece con el número de conversaciones del agente.
Para no tener ese consumo:
- desactiva la Observabilidad del agente: no se evalúa nada más, ni las evaluaciones que estaban esperando;
- o quita todos los objetivos: sin objetivo, la evaluación no se ejecuta.