Sistema de Inteligência Geográfica e Análise de Registros Telefônicos (ERB/CDR)
## 1. OBJETIVO
Desenvolva uma aplicação web completa, denominada **ERB Intelligence**, destinada à análise investigativa de registros telefônicos e à visualização geográfica de Estações Rádio Base (ERBs).
A aplicação deverá utilizar **Python no backend e HTML5, CSS3, JavaScript e Leaflet.js no frontend**, oferecendo uma interface moderna, responsiva, profissional e orientada à análise de dados de telecomunicações.
O sistema deverá permitir:
- Importação e processamento automático de arquivos de telecomunicações.
- Georreferenciamento de ERBs.
- Representação geográfica dos setores de cobertura das antenas.
- Visualização e filtragem de registros de chamadas (CDR).
- Pesquisa e correlação de números telefônicos.
- Criação de múltiplas áreas circulares de interesse investigativo.
- Identificação de números presentes em duas ou mais áreas distintas.
- Cruzamento temporal e espacial dos registros.
- Proteção visual dos números telefônicos mediante mascaramento obrigatório.
**Princípio essencial:** a localização de uma ERB não corresponde à localização exata do terminal telefônico. Todas as análises devem tratar a cobertura como uma estimativa baseada nos dados disponíveis, nunca como localização GPS comprovada.
---
## 2. STACK TECNOLÓGICA
### Backend
- Python 3.12+
- FastAPI
- Pandas ou Polars para processamento de arquivos
- SQLite para persistência local
- SQLAlchemy para modelagem de dados
- PyArrow para arquivos Parquet
- Shapely e PyProj para operações geoespaciais
- Uvicorn para execução do servidor
### Frontend
- HTML5
- CSS3
- JavaScript moderno (ES6+)
- Leaflet.js para mapas
- Leaflet.markercluster para agrupamento visual quando necessário
- Turf.js para operações geométricas complementares
- Lucide Icons
- API Fetch para comunicação com o backend
A aplicação deverá executar localmente, sem necessidade de serviços comerciais, contas externas ou APIs pagas.
---
## 3. IMPORTAÇÃO AUTOMÁTICA DOS ARQUIVOS
Criar um módulo Python que leia **TODOS os arquivos existentes na pasta `./dados`**, incluindo arquivos de subpastas.
Suportar inicialmente:
- `.csv`
- `.xlsx`
- `.xls`
- `.json`
- `.jsonl`
- `.txt`
- `.parquet`
### Requisitos de processamento
1. Detectar automaticamente a codificação dos arquivos.
2. Identificar delimitadores CSV, como vírgula, ponto e vírgula ou tabulação.
3. Processar todas as planilhas de arquivos Excel.
4. Reconhecer cabeçalhos mesmo com diferenças de nomes.
5. Normalizar os dados para um modelo único.
6. Identificar e eliminar registros exatamente duplicados.
7. Preservar todos os registros válidos de chamadas.
8. Registrar arquivos processados, erros, avisos e linhas rejeitadas.
9. Permitir atualização dos dados sem precisar reiniciar a aplicação.
10. Utilizar processamento em lotes para arquivos grandes.
### Reconhecimento inteligente de colunas
Reconhecer variações de nomes, por exemplo:
**Latitude:** `LAT`, `LATITUDE`, `COORD_LAT`, `LAT_ERB`.
**Longitude:** `LON`, `LONG`, `LONGITUDE`, `COORD_LONG`, `LNG`.
**Azimute:** `AZIMUTE`, `AZIMUTH`, `AZ`, `DIRECAO`.
**Telefone A:** `NUM_A`, `ORIGEM`, `CALLING`, `MSISDN_A`.
**Telefone B:** `NUM_B`, `DESTINO`, `CALLED`, `MSISDN_B`.
**Data e hora:** `DATA`, `HORA`, `TIMESTAMP`, `INICIO_CHAMADA`.
**Identificadores de ERB:** `CELL_ID`, `CGI`, `ECGI`, `LAC`, `TAC`, `SITE_ID`, quando disponíveis.
Se alguma coluna não puder ser reconhecida automaticamente, apresentar uma interface de mapeamento manual.
Não inventar coordenadas, azimutes ou vínculos que não estejam presentes nos arquivos.
---
## 4. VISUALIZAÇÃO GEOGRÁFICA DAS ERBs
Construir um mapa Leaflet.js ocupando a maior parte da interface.
Cada Estação Rádio Base deverá ser representada por um marcador geográfico.
### Regras obrigatórias
- Utilizar latitude e longitude obtidas dos arquivos.
- Validar coordenadas.
- Ajustar automaticamente o enquadramento do mapa aos pontos importados.
- Permitir zoom, arrastar mapa e alternar camadas cartográficas.
- Exibir detalhes da ERB ao clicar no marcador.
- Permitir pesquisar ERBs por código, coordenada ou identificador.
### Tratamento de ERBs duplicadas
Se múltiplos registros possuírem exatamente a mesma coordenada, utilizar **um único marcador visual**, mantendo internamente os vínculos com todos os registros originais.
Aplicar a mesma regra aos setores de cobertura:
- Setores geograficamente idênticos devem ser desenhados apenas uma vez.
- ERBs com a mesma coordenada, mas azimutes diferentes, devem compartilhar o marcador sem perder seus respectivos setores.
- A remoção de duplicatas visuais não poderá eliminar registros telefônicos.
Utilizar uma chave geométrica normalizada para identificar duplicidades.
---
## 5. REPRESENTAÇÃO DOS SETORES DE COBERTURA
Cada registro de ERB possui um campo denominado `AZIMUTE`.
O azimute representa a direção central do setor, medido em graus a partir do Norte geográfico, no sentido horário.
### Geometria do setor
Desenhar sobre o mapa um setor circular com:
- Vértice na coordenada da ERB.
- Abertura angular total de **120 graus**.
- Azimute exatamente no centro.
- Limites angulares calculados por `azimute - 60°` e `azimute + 60°`.
- Raio configurável pelo usuário.
Exemplo:
Se o azimute for 90