IA inventa respostas? Como encontrar a causa e reduzir os erros

Um cliente reencaminha-lhe uma conversa: o assistente do seu site disse-lhe que as devoluções são gratuitas durante sessenta dias, quando a sua política diz trinta. Ou um colega cita uma cláusula de contrato que o assistente interno “encontrou”, e ninguém a consegue encontrar no contrato. Nos dois casos, a IA inventa respostas. A resposta curta: não é possível desligar os erros por completo, mas normalmente consegue perceber de que tipo de erro se trata e tornar as respostas erradas dadas com confiança raras, visíveis e encaminhadas para uma pessoa.

As reações habituais são culpar o modelo, acrescentar “não inventes” às instruções ou desligar o assistente. Muitas vezes a causa é mais banal: perguntaram ao assistente algo a que o seu material não responde, ele leu a página errada, ou ninguém lhe disse que “não sei” é uma resposta aceitável. Cada uma destas causas deixa um rasto que pode verificar por si.

Porque é que a IA inventa respostas?

Um modelo de linguagem escreve as palavras seguintes mais plausíveis. Quando tem o facto à frente, a resposta plausível costuma ser a certa. Quando não o tem, escreve na mesma algo fluente, e o NIST chama a isto confabulação: “conteúdo afirmado com confiança, mas errado ou falso”, conhecido coloquialmente como alucinações.

Os investigadores da OpenAI explicam essa confiança: o treino e a avaliação habituais “recompensam o palpite em vez do reconhecimento da incerteza”. O centro de ajuda da OpenAI acrescenta que “confiança não é fiabilidade”: uma resposta fluente e segura pode, ainda assim, estar errada. Num assistente empresarial, esse hábito geral manifesta-se através de algumas lacunas concretas.

A resposta não está no seu material. Um cliente pergunta por um serviço que deixou de oferecer, por um país para onde nunca enviou ou por um desconto que nunca ficou escrito. Um estudo de Barnett e colegas sobre assistentes baseados em documentos aponta isto como o primeiro ponto de falha: uma pergunta “que não pode ser respondida com os documentos disponíveis”. O assistente dá um palpite a partir do seu conhecimento geral, e é assim que surge um prazo de devolução plausível, mas inventado.

Encontrou a página errada. O assistente pesquisa primeiro nos seus documentos e responde com o que encontra; por isso, se a tabela de preços do ano passado, um rascunho de política e a política atual estão todos na mesma pasta, pode citar qualquer uma delas. As orientações da Microsoft sobre a verificação de respostas face às fontes partem do mesmo ponto: as próprias fontes têm de ser “exatas e atualizadas”. Reconhece esta causa quando a resposta errada se revela verdadeira algures nos seus ficheiros, só que desatualizada.

A regra só existe na cabeça de alguém. A sua equipa sabe que reembolsos acima de um certo valor precisam de um gestor, ou que em dezembro não se prometem datas de entrega. Quando nada do que o assistente lê contém essa regra, ele preenche a lacuna com uma política sua que parece sensata.

A pergunta está fora da sua função. Um assistente configurado para horários e reservas recebe pedidos de aconselhamento jurídico, médico ou sobre preços. Sem instrução para recusar, tenta ajudar.

Nada lhe permite dizer “não sei”. Instruções como “ajuda sempre o cliente” podem levar o modelo a responder mesmo quando não tem nada em que se basear. A documentação da Anthropic diz que permitir explicitamente que o modelo admita incerteza “pode reduzir drasticamente a informação falsa”.

Estas lacunas estão ao longo de um único percurso entre a pergunta e a resposta, e a resposta corre mal no primeiro passo que falha.

Quem responde pelo que o assistente diz?

Num caso conhecido, a empresa. Em Moffatt v. Air Canada (2024), o chatbot da companhia aérea sugeriu a um cliente que podia pedir uma tarifa de luto retroativamente, algo que a política da companhia não permitia. O tribunal da Colúmbia Britânica concluiu que “não faz qualquer diferença se a informação vem de uma página estática ou de um chatbot”. Considerou que a companhia “não teve um cuidado razoável para assegurar que o seu chatbot era exato” e atribuiu ao cliente 812,02 dólares canadianos.

O mesmo princípio aplica-se aos assistentes que a sua equipa usa. Em Mata v. Avianca (2023), um tribunal dos EUA condenou dois advogados e a sua sociedade a pagar solidariamente uma multa de 5000 dólares, depois de terem apresentado decisões judiciais inventadas pelo ChatGPT e de as continuarem a defender quando foram questionados. O tribunal afirmou que não há “nada de intrinsecamente impróprio” em usar uma ferramenta de IA fiável, mas quem apresenta os documentos mantém um “papel de controlo” sobre a exatidão. Quando alguém reencaminha para um cliente a resposta errada de um assistente interno, é provável que o cliente a leia como a resposta da sua empresa.

Como saber qual é a sua causa

Para descobrir porque é que a IA inventa respostas no seu caso, reúna um conjunto de perguntas reais e compare cada resposta com aquilo que sabe ser verdade. Não precisa de ferramentas pagas, apenas do assistente, dos seus documentos e de acesso ao histórico de conversas. Em conjunto, as respostas erradas dizem-lhe que lacuna fechar primeiro.

1. Escreva perguntas reais. Tire-as de conversas, emails e chamadas recentes, com as palavras dos próprios clientes. Acrescente perguntas a que os seus documentos não respondem e algumas que estão fora da função do assistente.
2. Escreva a resposta correta ao lado de cada uma. Para as perguntas sem resposta no seu material, a resposta correta é “Não sei, vou passá-lo a um colega”.
3. Faça cada pergunta ao assistente e repita algumas por outras palavras. Se os factos de uma resposta mudam de uma vez para a outra, o assistente provavelmente está a adivinhá-los.
4. Para cada resposta errada, veja o que ele usou. Muitos assistentes de conhecimento conseguem mostrar o excerto de origem ou registar os documentos que foram buscar; verifique se o seu o faz. Anote se não havia fonte, se a fonte era antiga ou contraditória, ou se era a fonte certa e ele a leu mal.
5. Agrupe as respostas erradas por causa. Sem documento, documento errado ou desatualizado, regra não escrita, fora da função, ou um caso que precisava de uma pessoa de qualquer forma. O grupo maior é por onde começar.

Guarde este conjunto e volte a corrê-lo depois de cada alteração. O artigo de Barnett nota que validar um sistema destes “só é viável durante a operação”, por isso acrescente as novas perguntas que as pessoas fazem depois do lançamento.

Como impedir que um assistente de IA invente?

Comece pelas correções mais baratas: deixe o assistente dizer “não sei” e passar a conversa a uma pessoa, faça-o responder apenas a partir dos seus documentos com uma fonte visível e mantenha esses documentos atualizados. Depois vêm as regras escritas, uma função mais estreita, a indicação de que é uma IA e os testes regulares. Volte a correr o seu conjunto de perguntas depois de cada alteração, para ver qual delas ajudou.

1. Deixe-o dizer “não sei” e passar a conversa. Altere as instruções para que, quando os documentos não contêm a resposta, o assistente o diga e passe a conversa a uma pessoa, com a pergunta e os contactos do cliente em anexo. Os investigadores da OpenAI dizem o mesmo pelo outro lado: os modelos “podem abster-se quando estão incertos”. Passar a conversa só ajuda se alguém a atender; no nosso artigo sobre chatbot com IA para empresas vemos onde devem chegar essas passagens.

2. Faça-o responder apenas a partir dos seus documentos e mostrar a fonte. Esta configuração chama-se muitas vezes geração aumentada por recuperação, ou RAG: o assistente pesquisa primeiro o seu material e depois responde com os excertos que encontrou. A orientação da Anthropic é restringir o modelo à “informação dos documentos fornecidos e não ao seu conhecimento geral”. Uma fonte visível sob cada resposta permite a clientes e equipa verificá-la, e a si ver que página causou um erro. Nos nossos projetos de implementação de IA, um assistente de conhecimento responde com uma ligação para a fonte, para que uma resposta errada possa ser rastreada até à página que lhe deu origem. Mesmo assim, conte com alguns erros: investigadores de Stanford que testaram ferramentas de IA para pesquisa jurídica concluíram que “mesmo os sistemas RAG não estão livres de alucinações”.

3. Limpe o material que ele lê. Uma única versão atual de cada política, tabela de preços e modelo de contrato; as versões antigas fora da pasta; cada documento com um responsável identificado que o atualiza quando a regra muda. Se o assistente responde a partir do seu CRM, o mesmo vale para os registos lá dentro, como explicámos no artigo sobre qualidade de dados no CRM.

4. Escreva as regras que ele continua a inventar. Condições de reembolso, promessas de entrega, descontos, o que conta como reclamação. Onde há muito em jogo, dê ao assistente uma formulação fixa, ou faça desse tema um daqueles em que uma pessoa confirma a resposta antes de ela seguir.

5. Estreite a sua função. Liste aquilo a que ele responde e o que recusa com delicadeza. As perguntas fora da lista recebem uma recusa curta e, quando útil, a passagem para uma pessoa.

6. Diga às pessoas que estão a falar com uma IA. Na UE, o Regulamento da Inteligência Artificial exige que as pessoas sejam informadas de que estão a interagir com um sistema de IA, salvo se isso for óbvio, o mais tardar no momento da primeira interação. A obrigação cabe ao prestador do sistema e aplica-se desde 2 de agosto de 2026. Identificar as respostas da IA também ajusta as expectativas: depois de o seu bot de suporte ter inventado uma política de utilização em 2025, a Cursor passou a identificar as respostas da IA no suporte por email. Nos projetos de sites em que acrescentamos um assistente, dizer aos visitantes que estão a falar com uma IA faz parte da página desde o início.

7. Volte a testar após cada alteração. Documentos novos, instruções editadas e atualizações do modelo por parte do fornecedor podem mudar as respostas a perguntas que antes funcionavam. Corra o conjunto de perguntas depois de cada uma e antes de uma época alta.

O que, por si só, não trava as alucinações da IA?

Três correções costumam ser tentadas primeiro: uma linha a dizer ao modelo que não alucine, uma temperatura de 0 e o fine-tuning com os seus próprios textos. Cada uma muda apenas uma parte do assistente. Os factos que lhe faltam e a permissão para dizer “não sei” vêm dos documentos e das instruções, por isso, se a IA continua a inventar respostas depois destas correções, verifique primeiro esses dois pontos.

Como saber se as respostas erradas estão a diminuir?

Acompanhe alguns números do conjunto de perguntas e das conversas reais, começando antes da primeira correção, para ter com que comparar. Verifique-os depois de cada alteração e, quando o assistente estabilizar, com uma periodicidade regular; além dos totais, leia as próprias respostas erradas.

• Respostas corretas no seu conjunto de perguntas, incluindo as perguntas em que a resposta certa é “não sei”.
• Respostas erradas por semana, por causa, a partir da leitura de conversas reais. Uma causa que volta sempre é a próxima correção.
• Passagens atendidas por uma pessoa, e quanto tempo esperaram. Uma passagem a que ninguém responde acaba muitas vezes com o cliente a ir embora na mesma.
• Respostas que mostram uma fonte. Se a proporção de respostas sem fonte crescer, verifique se os documentos ainda cobrem as perguntas que as pessoas fazem.

Onde entramos nós

Começamos pelas suas perguntas e pelos seus documentos: o conjunto de perguntas, as respostas corretas e as fontes que o assistente deve usar. Depois configuramos o assistente para responder a partir desse material, com uma fonte visível e com uma pessoa a aprovar as respostas onde isso importa. Continuamos a verificá-lo com o conjunto de perguntas como parte dos controlos de qualidade regulares. Se a IA inventa respostas no seu assistente, o briefing é a forma mais simples de nos mostrar onde.

← Todos os artigos