Agente de IA em produção: o que a demonstração não mostra

Montar a demonstração de um agente de IA hoje leva uma tarde. Você conecta um modelo de linguagem, escreve um bom prompt, liga duas ou três ferramentas e o agente responde bem, consulta pedido, abre chamado. Todo mundo na sala se impressiona.

Colocar esse mesmo agente para atender cliente de verdade, todos os dias, é outro projeto. É dele que tratamos aqui na MFactor Tecnologia, e a maior parte do trabalho está em coisas que não aparecem na demonstração.

Conversar e agir são coisas diferentes

Um chatbot responde. Um agente decide qual ação tomar e executa: chama uma API, consulta um banco, gera um documento. Por trás, o modelo recebe a descrição das ferramentas disponíveis e devolve qual quer usar e com quais parâmetros. Quem executa de fato é o seu código.

Esse detalhe muda tudo, porque é aí que entra o controle. O modelo sugere. O sistema confere se aquela ação é permitida para aquele usuário, naquele contexto e com aqueles valores, e só então executa.

Ferramentas pequenas, com permissão mínima

A tentação é dar ao agente uma ferramenta genérica, do tipo "executar consulta no banco". Funciona na demo e é um risco enorme em produção.

O que funciona melhor são ferramentas estreitas, com nome e descrição claros: consultar o status de um pedido pelo número, gerar a segunda via do boleto do cliente logado, abrir chamado numa categoria definida. Cada uma valida os próprios parâmetros e só enxerga os dados do cliente que está na conversa. Se o modelo errar, o estrago possível é pequeno.

Ações que mexem com dinheiro ou que não têm volta, como cancelar, estornar ou alterar cadastro, pedem confirmação explícita do cliente ou de alguém da equipe.

Saber a hora de passar para uma pessoa

Um agente que nunca admite que não sabe vai inventar. Modelos de linguagem produzem texto plausível mesmo sem ter a informação, e no atendimento isso vira prazo que não existe ou política de troca inventada.

Duas coisas ajudam. A primeira é limitar as respostas sobre a empresa ao que vem de fontes conferidas, como a base de conhecimento, o próprio sistema e os documentos oficiais. A segunda é tratar a transferência para um atendente como uma ferramenta de verdade, que o agente usa quando a pergunta sai do escopo, quando o cliente pede ou quando a mesma dúvida volta duas vezes. A transferência leva junto o resumo da conversa, para ninguém ter que perguntar tudo de novo.

Registrar tudo

Quando um cliente reclamar de uma resposta, alguém vai precisar entender o que aconteceu. Cada conversa precisa guardar as mensagens, as ferramentas chamadas, os parâmetros enviados e o que voltou.

É esse registro que permite melhorar o agente depois. Sem ele, ajustar o prompt vira tentativa e erro no escuro.

Testar antes de mudar

Trocar uma frase no prompt pode melhorar um tipo de resposta e piorar outro. Mudar a versão do modelo também.

Por isso vale manter um conjunto de conversas de teste, montado a partir de atendimentos reais com os dados pessoais removidos, com o comportamento esperado em cada caso. Toda alteração passa por esse conjunto antes de ir para produção. Não precisa ser sofisticado. Cinquenta casos bem escolhidos já pegam a maioria das regressões.

Fazer a conta do custo

Cada mensagem tem custo, cobrado pelo volume de texto processado. Conversa longa, prompt enorme e documento inteiro colado no contexto fazem a conta subir rápido.

Algumas decisões seguram isso. Usar um modelo menor e mais barato para tarefas simples, como identificar a intenção da mensagem, e deixar o maior para o que exige raciocínio. Buscar só os trechos relevantes da base de conhecimento em vez de mandar tudo. E acompanhar o custo médio por conversa desde o primeiro dia, não só quando a fatura assustar.

O que perguntar antes de contratar

• O agente executa ações nos meus sistemas ou só conversa?
• Que permissão cada ferramenta tem, e quem definiu?
• O que acontece quando ele não sabe a resposta?
• Onde eu vejo o histórico completo de uma conversa?
• Como vocês testam uma mudança antes de publicar?
• Quanto custa, em média, cada atendimento?

Um fornecedor sério tem resposta para todas. Se alguma gerar silêncio, vale aprofundar antes de assinar.