Data-Matcher
Em desenvolvimentoComparação automática de duas planilhas ou arquivos de dados para achar, em segundos, o que não bate.
- 6
- formatos lidos
- 5
- tipos de diferença apontados
- API v1
- pública, com chave de acesso
Visão geral
Conciliar duas bases (o extrato do banco e o sistema, o pedido e a nota) ainda é feito com PROCV em muita empresa. O Data-Matcher recebe um arquivo de cada lado, deixa montar a chave de comparação visualmente e devolve as diferenças.
O que ele faz
- Qualquer arquivo tabular
- Excel, CSV, Parquet, JSON, ODS e Arrow, com detecção de formato, cabeçalho, codificação e delimitador.
- Chave montada na tela
- Um ou mais pares de colunas, com concatenação, texto fixo e transformações (prefixo, zeros à esquerda, só dígitos, número, data), com prévia antes de rodar.
- Resultados acionáveis
- Só no lado A, só no lado B, valores divergentes, chaves repetidas e chaves em branco, exportáveis em CSV, XLSX ou Parquet.
Arquitetura
Decisões e trade-offs
- Polars no motor
- As regras viram expressões do Polars, o que mantém a comparação rápida mesmo com arquivos grandes, sem escrever loops em Python.
- Fila no próprio banco
- As execuções usam uma fila no PostgreSQL: uma dependência a menos para operar, suficiente para o volume do produto.
Qualidade e operação
- Testes unitários sem Docker e de integração com PostgreSQL.
- Leitura de todos os formatos, motor, prévia de regras, fila, exportação, login e API pública implementados e testados.
Estado e próximos passos
- A imagem de produção está preparada para o Pier e foi validada localmente. Faltam a publicação, a tela de equipe, limite de requisições e webhook de fim de execução.
Stack
PythonPolarsFastAPIPostgreSQLCloud StorageReactTanStack