¿Su IA se equivoca? Cómo encontrar la causa y reducir los errores

Un cliente le reenvía un chat: el asistente de su web le dijo que las devoluciones son gratuitas durante sesenta días, cuando su política dice treinta. O una compañera cita una cláusula de un contrato que el asistente interno “encontró”, y nadie la encuentra en el contrato. En los dos casos la IA se equivoca y da respuestas incorrectas. La respuesta corta: no puede eliminar los errores por completo, pero normalmente sí puede averiguar de qué tipo de error se trata y conseguir que las respuestas incorrectas dichas con seguridad sean raras, visibles y pasen a una persona.

Las reacciones habituales son culpar al modelo, añadir “no te inventes nada” a sus instrucciones o desactivar el asistente. A menudo la causa es más corriente: al asistente se le preguntó algo que su material no responde, leyó la página equivocada o nadie le dijo que “No lo sé” es una respuesta aceptable. Cada una de estas causas deja un rastro que puede comprobar usted mismo.

¿Por qué la IA se equivoca en su negocio?

Un modelo de lenguaje escribe las siguientes palabras más plausibles. Cuando tiene el dato delante, la respuesta plausible suele ser la correcta. Cuando no lo tiene, escribe igualmente algo fluido, y el NIST lo llama confabulación: “contenido afirmado con seguridad pero erróneo o falso”, conocido coloquialmente como alucinaciones.

Los investigadores de OpenAI explican esa seguridad: el entrenamiento y la evaluación habituales “premian adivinar por encima de reconocer la incertidumbre”. Su centro de ayuda añade que “la seguridad no es fiabilidad”: una respuesta fluida y segura puede ser falsa igualmente. En un asistente de empresa, esa tendencia general aparece a través de unas pocas carencias concretas.

La respuesta no está en su material. Un cliente pregunta por un servicio que ya no ofrece, por un país al que nunca ha enviado o por un descuento que nunca se puso por escrito. Un estudio de Barnett y sus colegas sobre asistentes basados en documentos señala esto como el primer punto de fallo: una pregunta “que no puede responderse con los documentos disponibles”. El asistente adivina a partir de su conocimiento general, y así aparece un plazo de devolución plausible pero inventado.

Encontró la página equivocada. El asistente busca primero en sus documentos y responde con lo que encuentra, así que si la lista de precios del año pasado, un borrador de política y la versión vigente están en la misma carpeta, puede citar cualquiera de ellas. Las indicaciones de Microsoft para contrastar respuestas con fuentes parten del mismo punto: las propias fuentes tienen que ser “precisas y estar actualizadas”. Reconocerá esta causa cuando la respuesta incorrecta resulte ser cierta en algún lugar de sus archivos, solo que desactualizada.

La norma solo existe en la cabeza de alguien. Su equipo sabe que los reembolsos por encima de cierto importe necesitan la aprobación de un responsable, o que en diciembre no se prometen fechas de entrega. Si nada de lo que lee el asistente contiene esa norma, rellena el hueco con una política propia que suena razonable.

La pregunta queda fuera de su función. A un asistente configurado para horarios y reservas le piden asesoramiento legal, médico o sobre precios. Sin instrucciones para rechazarlo, intenta ayudar.

Nada le permite decir “No lo sé”. Instrucciones como “ayuda siempre al cliente” pueden empujar al modelo a responder incluso cuando no tiene nada en qué basarse. La documentación de Anthropic dice que permitir de forma explícita que el modelo admita su incertidumbre “puede reducir drásticamente la información falsa”.

Estas carencias se sitúan a lo largo de un mismo camino, de la pregunta a la respuesta, y la respuesta sale mal en el primer paso que falla.

¿Quién responde de lo que dice el asistente?

La empresa, en un caso muy conocido. En Moffatt v. Air Canada (2024), el chatbot de la aerolínea dio a entender a un cliente que podía solicitar una tarifa por duelo de forma retroactiva, algo que la política de la aerolínea no permitía. El tribunal de Columbia Británica concluyó que “da igual que la información proceda de una página estática o de un chatbot”. Consideró que la aerolínea “no actuó con la diligencia razonable para garantizar que su chatbot fuera exacto” y concedió al cliente 812,02 CA$.

El mismo principio se aplica a los asistentes que usa su equipo. En Mata v. Avianca (2023), un tribunal de EE. UU. ordenó a dos abogados y a su bufete pagar de forma conjunta una sanción de 5000 dólares después de que presentaran resoluciones judiciales inventadas por ChatGPT y siguieran defendiéndolas cuando se les preguntó por ellas. El tribunal dijo que no hay “nada intrínsecamente indebido” en usar una herramienta de IA fiable, pero que quien presenta el escrito conserva un “papel de control” sobre su exactitud. Cuando alguien reenvía a un cliente la respuesta incorrecta de un asistente interno, es probable que el cliente la lea como la respuesta de su empresa.

Cómo saber cuál es su causa

Para averiguar por qué la IA se equivoca, reúna un conjunto de preguntas reales y compare cada respuesta con lo que sabe que es cierto. No necesita herramientas de pago, solo el asistente, sus documentos y acceso a su historial de conversaciones. En conjunto, las respuestas incorrectas le indican qué carencia cerrar primero.

1. Anote preguntas reales. Tómelas de chats, correos y llamadas recientes, con las palabras de los propios clientes. Añada preguntas que sus documentos no responden y algunas que quedan fuera de la función del asistente.
2. Escriba la respuesta correcta junto a cada una. Para las preguntas sin respuesta en su material, la respuesta correcta es “No lo sé, le paso con un compañero”.
3. Haga cada pregunta al asistente y repita algunas con otras palabras. Si los datos de una respuesta cambian entre ejecuciones, probablemente el asistente los está adivinando.
4. En cada respuesta incorrecta, mire qué utilizó. Muchos asistentes de conocimiento pueden mostrar el fragmento de origen o registrar qué documentos recuperaron; compruebe si el suyo lo hace. Anote si no había fuente, si la fuente era antigua o contradictoria, o si era la correcta y la interpretó mal.
5. Clasifique las respuestas incorrectas por causa. Sin documento, documento equivocado o desactualizado, norma no escrita, fuera de su función o un caso que de todos modos necesitaba a una persona. El grupo más grande es por donde empezar.

Conserve este conjunto de preguntas y páselo después de cada cambio. El artículo de Barnett señala que validar un sistema así “solo es factible durante la operación”, así que añada las preguntas nuevas que la gente haga después del lanzamiento.

¿Cómo evitar que un asistente de IA se invente cosas?

Empiece por los arreglos más baratos: deje que el asistente diga “No lo sé” y pase la conversación a una persona, haga que responda solo con sus documentos y una fuente visible, y mantenga esos documentos al día. Después vienen poner las normas por escrito, acotar su función, identificarlo como IA y repetir las pruebas con regularidad. Vuelva a pasar su conjunto de preguntas después de cada cambio, para ver cuál ha ayudado.

1. Deje que diga “No lo sé” y pase la conversación. Cambie las instrucciones para que, cuando los documentos no contengan la respuesta, el asistente lo diga y pase la conversación a una persona, con la pregunta y los datos de contacto del cliente. Los investigadores de OpenAI dicen lo mismo desde el otro lado: los modelos “pueden abstenerse cuando no están seguros”. Un traspaso solo ayuda si alguien lo atiende; nuestro artículo sobre si un chatbot de IA debería responder a sus clientes explica adónde deberían llegar esos traspasos.

2. Haga que responda solo con sus documentos y muestre la fuente. Esta configuración suele llamarse generación aumentada por recuperación, o RAG: el asistente busca primero en su material y luego responde con los fragmentos que encontró. Anthropic recomienda limitar el modelo a la “información de los documentos proporcionados y no a su conocimiento general”. Una fuente visible bajo cada respuesta permite que clientes y empleados la comprueben, y le muestra qué página causó un error. En nuestros proyectos de implantación de IA, un asistente de conocimiento responde con un enlace a la fuente, de modo que una respuesta incorrecta puede rastrearse hasta la página que la originó. Aun así, cuente con algunos errores: investigadores de Stanford que probaron herramientas de IA para la investigación jurídica comprobaron que “ni siquiera los sistemas RAG están libres de alucinaciones”.

3. Limpie el material que lee. Una sola versión vigente de cada política, lista de precios y plantilla de contrato; las versiones antiguas, fuera de la carpeta; cada documento con un responsable con nombre que lo actualiza cuando cambia la norma. Si el asistente responde con datos de su CRM, lo mismo vale para los registros que hay allí, como explicamos en nuestro artículo sobre la calidad de los datos del CRM.

4. Ponga por escrito las normas que no deja de inventarse. Condiciones de reembolso, compromisos de entrega, descuentos, qué cuenta como reclamación. Cuando hay mucho en juego, dele al asistente una redacción fija o convierta ese tema en uno en el que una persona confirma la respuesta antes de enviarla.

5. Acote su función. Enumere a qué responde y qué rechaza con educación. Las preguntas fuera de la lista reciben una negativa breve y, cuando sea útil, un traspaso.

6. Diga a la gente que habla con una IA. En la UE, el Reglamento de Inteligencia Artificial exige que se informe a las personas de que interactúan con un sistema de IA, salvo que resulte evidente, a más tardar en la primera interacción. La obligación recae en el proveedor del sistema y se aplica desde el 2 de agosto de 2026. Identificar las respuestas de la IA también ajusta las expectativas: después de que su bot de soporte se inventara una política de uso en 2025, Cursor empezó a identificar las respuestas de la IA en su soporte por correo. En los proyectos web en los que añadimos un asistente, avisar a los visitantes de que hablan con una IA forma parte de la página desde el principio.

7. Vuelva a probar después de cada cambio. Documentos nuevos, instrucciones editadas y actualizaciones del modelo por parte del proveedor pueden cambiar las respuestas a preguntas que antes funcionaban. Pase el conjunto de preguntas después de cada uno y antes de una temporada de mucho trabajo.

¿Qué no frena por sí solo las alucinaciones de la IA?

Hay tres arreglos que suelen probarse primero: una línea que pide al modelo que no alucine, una temperatura de 0 y el ajuste fino con sus propios textos. Cada uno cambia solo una parte del asistente. Los datos que le faltan y el permiso para decir “No lo sé” salen de sus documentos e instrucciones, así que si las respuestas incorrectas continúan después de estos arreglos, revise eso primero.

¿Cómo saber si las respuestas incorrectas son cada vez más raras?

Siga unas pocas cifras del conjunto de preguntas y de conversaciones reales, empezando antes del primer arreglo para tener con qué comparar. Revíselas después de cada cambio y luego de forma periódica cuando el asistente se estabilice, y lea las propias respuestas incorrectas además de los totales.

• Respuestas correctas en su conjunto de preguntas, incluidas las preguntas cuya respuesta correcta es “No lo sé”.
• Respuestas incorrectas por semana y por causa, a partir de la lectura de conversaciones reales. Una causa que se repite es el siguiente arreglo.
• Traspasos atendidos por una persona, y cuánto tiempo esperaron. Un traspaso que nadie atiende suele acabar con el cliente marchándose igualmente.
• Respuestas que muestran una fuente. Si crece la proporción de respuestas sin fuente, compruebe si los documentos siguen cubriendo las preguntas que hace la gente.

Dónde entramos nosotros

Partimos de sus preguntas y documentos: el conjunto de preguntas, las respuestas correctas y las fuentes que debe usar el asistente. Después configuramos el asistente para que responda con ese material y una fuente visible, y con una persona que aprueba las respuestas allí donde importa. Seguimos comprobándolo con el conjunto de preguntas como parte de los controles de calidad periódicos. Si uno de sus asistentes ya está dando respuestas incorrectas, el brief es la forma más sencilla de mostrarnos dónde.

← Todos los artículos