Allan Simões AdegasEnglish
Menu
Voltar para o início

Data-Matcher

Em desenvolvimento

Comparação automática de duas planilhas ou arquivos de dados para achar, em segundos, o que não bate.

Papel
Autor · produto Asigas
Início
2026
extrato.xlsx1023410235102361023710239sistema.parquet1023410235102361023810239valor divergentesó em A · só em B
Ilustração do projeto
6
formatos lidos
5
tipos de diferença apontados
API v1
pública, com chave de acesso

Visão geral

Conciliar duas bases (o extrato do banco e o sistema, o pedido e a nota) ainda é feito com PROCV em muita empresa. O Data-Matcher recebe um arquivo de cada lado, deixa montar a chave de comparação visualmente e devolve as diferenças.

O que ele faz

Qualquer arquivo tabular
Excel, CSV, Parquet, JSON, ODS e Arrow, com detecção de formato, cabeçalho, codificação e delimitador.
Chave montada na tela
Um ou mais pares de colunas, com concatenação, texto fixo e transformações (prefixo, zeros à esquerda, só dígitos, número, data), com prévia antes de rodar.
Resultados acionáveis
Só no lado A, só no lado B, valores divergentes, chaves repetidas e chaves em branco, exportáveis em CSV, XLSX ou Parquet.

Arquitetura

Arquitetura: Data-MatcherArquivo A → Normalização. Arquivo B → Normalização. Normalização → Regras. Regras → Motor. Motor → Diferenças. Motor → API /v1Arquivo AXLSX · CSV · …Arquivo BParquet · JSON · …Normalizaçãotabelas de textoRegraschave visualMotorPolarsDiferençasna telaAPI /v1integração
Do arquivo bruto ao relatório de diferenças.

Decisões e trade-offs

Polars no motor
As regras viram expressões do Polars, o que mantém a comparação rápida mesmo com arquivos grandes, sem escrever loops em Python.
Fila no próprio banco
As execuções usam uma fila no PostgreSQL: uma dependência a menos para operar, suficiente para o volume do produto.

Qualidade e operação

  • Testes unitários sem Docker e de integração com PostgreSQL.
  • Leitura de todos os formatos, motor, prévia de regras, fila, exportação, login e API pública implementados e testados.

Estado e próximos passos

  • A imagem de produção está preparada para o Pier e foi validada localmente. Faltam a publicação, a tela de equipe, limite de requisições e webhook de fim de execução.

Stack

PythonPolarsFastAPIPostgreSQLCloud StorageReactTanStack