Allan Simões AdegasEnglish
Menu
Voltar para o início

BTG Pactual · Software Engineer (Operações) · 2024 – 2026

Revisor de e-mails com LLM que confere antes de agir

Analistas de Operações liam e conferiam à mão e-mails de contrapartes com dados financeiros sem padrão. Construí uma aplicação que extrai esses dados com LLM, valida cada campo contra uma API interna e só deixa seguir sozinho o que bate. O resto vai para revisão humana com a evidência ao lado. Resultado: mais de 220 horas por mês devolvidas ao time.

220+ h
economizadas por mês
≈ R$ 14 mil
de eficiência por mês
4
países atendidos (BR, CL, CO, MX)

Contexto

O time de Operações recebe todos os dias confirmações e informações de contrapartes por e-mail. Cada banco e corretora escreve de um jeito: tabelas, texto corrido, anexos, português, espanhol e inglês, formatos de número e data diferentes.

Antes, um analista abria cada mensagem, encontrava os valores e os conferia um a um no sistema interno. É um trabalho repetitivo em que um erro de digitação ou de leitura tem custo financeiro.

O desafio

Ler dados sem padrão exige flexibilidade, o que regras fixas não dão. Mas um LLM pode errar com confiança, e em operações financeiras não dá para aprovar algo só porque o modelo disse que está certo.

O desafio era usar o LLM onde ele é bom (ler) sem dar a ele a decisão final (aprovar).

O que eu construí

Extração em saída estruturada
O LLM recebe o e-mail e devolve um objeto com campos tipados. Nada de texto livre para interpretar depois: ou o campo vem no formato esperado, ou é tratado como ausente.
Validação contra o sistema de registro
Cada valor extraído é comparado com o que a API interna tem. O LLM nunca é a fonte da verdade; a API é.
Revisão humana só onde precisa
O que bate segue sozinho. Divergências e campos ausentes vão para um analista, que já recebe o valor do e-mail e o do sistema lado a lado.

Arquitetura

Arquitetura: Revisor de e-mails com LLM que confere antes de agirCaixa de e-mail → Leitura. Leitura → Extração com LLM. Extração com LLM → Validação. Validação → API interna. Validação → Segue sozinho. Validação → Revisão humanaconsultaCaixa de e-mailcontrapartes, 3 idiomasLeituracorpo e anexosExtração com LLMsaída estruturadaValidaçãocampo a campoAPI internasistema de registroSegue sozinhotudo bateRevisão humanacom a evidência
Visão simplificada do fluxo. Detalhes internos do BTG foram omitidos.

Decisões e trade-offs

O LLM lê, o sistema decide
Separar leitura de decisão foi o que tornou a solução aceitável num banco. Um erro do modelo vira uma divergência (e vai para revisão), não uma aprovação errada.
Estrutura em vez de prompt esperto
Investir em um esquema de saída bem definido rendeu mais do que ajustar o texto do prompt: erros de formato aparecem na hora e não se espalham para as etapas seguintes.
Automatizar o caso comum, não todos
O objetivo não era zerar o trabalho humano, e sim tirar dele o que é repetitivo. O analista passou a olhar só as exceções.

Resultados

  • Mais de 220 horas por mês economizadas, o equivalente a cerca de R$ 14 mil por mês.
  • Atendimento a operações no Brasil, Chile, Colômbia e México, em três idiomas.
  • A mesma abordagem (LLM para ler, sistema para decidir) virou base para agentes com LangChain que extraem dados de documentos financeiros não estruturados.
06601.3201.9802.6401234567891011122.640 horasmês
Horas devolvidas ao time em 12 meses, no ritmo de 220 h/mês.

Valores informados pela área de negócio. Arquitetura descrita em alto nível por confidencialidade.

O que eu faria a seguir

  • Um conjunto de avaliação com respostas conhecidas para medir cada mudança de modelo ou de prompt antes de ir para produção. É o que fiz depois no ReconAgent.
  • Usar as decisões dos analistas como novos casos de teste.

Stack

PythonLangChainOpenAI / Anthropic APIsFastAPIAWS