Modelo de clustering

[mpferreira003]

Estruturação da etapa de fazer clustering dos embeddings dos documentos

[mpferreira003]

Atualmente, o projeto conta com método de consenso baseado em matriz de co-associação. Isso é feito gerando vários modelos (KMeans e DBScan) e fazendo um ciclo de iterações em que são passados os dados para eles, é criada uma matriz NxN em que consta a média dos modelos que concordaram que <i,j> pertencem a mesma classe, é feita uma redução de dimensionalidade e depois o processo é repetido. Ao fim, utiliza-se a última matriz de similaridade para se calcular as labels finais.

[mpferreira003]

Estou fazendo reestruturação para funcionar com POO.
Existe uma classe base para simbolizar os dados (Attr), que serve como base algumas otimizações para não ser necessário calcular tudo. A motivação da classe é centralizar os dados na forma de um dataclass.

Outra classe, não obrigatória, implementa o ConsenseClustering. Permitindo fit_predict (e predict através dos centros).

Existe uma classe responsável por análise. Ela possuí vários métodos de análise, possibilitando extração de palavras chaves, métricas tradicionais de clustering, iteração nos clusters, conexão com llm para extração de tópicos e verificação de documentos representativos, etc; A classe é implementada de forma a conseguir receber os dados vindos do clustering, embeddings e Attr e pode aplicar pipelines prontos dependendo de cada situação.

A classe principal (NFeCluster) utiliza as demais e possui um pipeline, aplicando possíveis reduções de dimensionalidade antes e depois da etapa de clustering. Por questão de simplicidade, atua somente devolvendo o resultado do clustering, mas internamente realiza o processo de análise.