docs: dissertacao 58p — metodologia expandida + restante (14 rounds, 10 dim, criticas)

- dissertacao_exp_metodologia.tex: cada verificador V1-V7 em detalhe
- dissertacao_exp_restante.tex: 14 rounds, 10 dimensoes, validade, benchmarks, limitacoes
- 58 paginas compiladas, 712KB
- Expandindo para 100 laudas

Author: MarceloClaro

artigo/dissertacao_cora_eval_abnt.tex

@@ -1,4 +1,4 @@
-% ======================================================================
+% ======================================================================
 % DISSERTAÇÃO EXPANDIDA — OpenCode Ecosystem v4.7
 % Cada seção/subseção com 4-6 parágrafos
 % Formato ABNT — Notas de Rodapé — Citações Reais
@@ -74,11 +74,164 @@
 
 % ======================================================================
 \section{Introdução}
-% ======================================================================
 
-\subsection{Contexto: A Crise de Avaliação em Inteligência Artificial Científica}
+\subsection{Contexto: A Avaliação de Inteligência Artificial Científica}
+
+A avaliação da capacidade de raciocínio científico em sistemas de inteligência
+artificial (IA) constitui um dos desafios metodológicos mais prementes da
+computação contemporânea. Desde os primeiros sistemas especialistas dos anos
+1980, como o DENDRAL\footnote{Lindsay, R.K. et al. \textit{Applications of
+Artificial Intelligence for Organic Chemistry: The DENDRAL Project}. McGraw-Hill,
+1980. Primeiro sistema de IA aplicado à química orgânica, capaz de inferir
+estruturas moleculares a partir de dados de espectrometria de massa.} para
+elucidação de estruturas químicas, até os modernos LLMs como GPT-4, a questão
+central permanece: como medir, de forma objetiva e reproduzível, a capacidade
+de um sistema computacional de realizar raciocínio científico?
+
+A resposta a esta questão tem implicações profundas. Sem métricas confiáveis,
+não é possível comparar objetivamente sistemas concorrentes, identificar
+lacunas de capacidade, orientar investimentos em pesquisa e desenvolvimento,
+ou — crucialmente — estabelecer confiança para aplicações de alto risco como
+diagnóstico médico, descoberta de fármacos e modelagem climática.
+
+A primeira geração de benchmarks de IA (2015--2020) focou em tarefas de
+domínio único. O SQuAD\footnote{Rajpurkar, P. et al. \textit{SQuAD: 100,000+
+Questions for Machine Comprehension of Text}. EMNLP, 2016. DOI:
+10.18653/v1/D16-1264. Dataset de compreensão de leitura com 100.000+ perguntas
+sobre artigos da Wikipedia.} avaliou compreensão de texto. O ImageNet\footnote{Deng, J. et al. \textit{ImageNet: A Large-Scale Hierarchical Image Database}.
+CVPR, 2009. DOI: 10.1109/CVPR.2009.5206848. Dataset com 14 milhões de imagens
+em 20.000 categorias, que impulsionou a revolução do deep learning.} avaliou
+visão computacional. O GLUE\footnote{Wang, A. et al. \textit{GLUE: A Multi-Task
+Benchmark and Analysis Platform for Natural Language Understanding}. ICLR, 2019.
+DOI: 10.48550/arXiv.1804.07461. Benchmark com 9 tarefas de compreensão de
+linguagem natural.} avaliou compreensão de linguagem. Nenhum destes, contudo,
+aproximava-se do que se poderia chamar de ``raciocínio científico''.
+
+A segunda geração (2020--2023) começou a endereçar esta lacuna. O MATH\footnote{Hendrycks, D. et al. \textit{Measuring Mathematical Problem Solving With the
+MATH Dataset}. NeurIPS, 2021. DOI: 10.48550/arXiv.2103.03874. Dataset de 12.500
+problemas de competições matemáticas (AMC, AIME) em 7 áreas e 5 níveis de
+dificuldade, com soluções passo a passo verificáveis.} introduziu problemas
+matemáticos de competição com verificação de resposta. O GSM8K\footnote{Cobbe,
+K. et al. \textit{Training Verifiers to Solve Math Word Problems}. arXiv:2110.14168,
+2021. DOI: 10.48550/arXiv.2110.14168. Dataset de 8.500 problemas aritméticos
+escolares com foco em raciocínio passo a passo (chain-of-thought).} focou em
+raciocínio aritmético multi-etapa. O HumanEval\footnote{Chen, M. et al.
+\textit{Evaluating Large Language Models Trained on Code}. arXiv:2107.03374,
+2021. DOI: 10.48550/arXiv.2107.03374. Benchmark com 164 problemas de programação
+Python, cada um com assinatura de função e testes unitários.} avaliou geração
+de código funcional.
+
+\subsection{Revisão da Literatura: Benchmarks de Raciocínio Científico}
+
+A literatura de avaliação de IA científica revela uma progressão clara, mas
+também lacunas persistentes. O MMLU\footnote{Hendrycks, D. et al. \textit{Measuring
+Massive Multitask Language Understanding}. ICLR, 2021. DOI:
+10.48550/arXiv.2009.03300. Benchmark com 15.908 questões de múltipla escolha
+em 57 áreas de conhecimento, desde direito e medicina até física e matemática.}
+representou um avanço significativo em cobertura, abrangendo 57 áreas de
+conhecimento — a maior amplitude entre benchmarks estabelecidos. Contudo, o
+formato de múltipla escolha limita-se a avaliar conhecimento declarativo, não
+a capacidade de produzir raciocínio original ou verificar afirmações.
+
+O BIG-bench\footnote{Srivastava, A. et al. \textit{Beyond the Imitation Game:
+Quantifying and Extrapolating the Capabilities of Language Models}. arXiv:2206.04615,
+2022. DOI: 10.48550/arXiv.2206.04615. Consórcio com 450+ autores, 204 tarefas
+cobrindo raciocínio, matemática, programação, física e outros domínios.} ampliou
+o escopo para 204 tarefas diversas, incluindo algumas de raciocínio científico,
+mas sem uma estrutura dimensional unificada ou verificação simbólica integrada.
+
+O SciBench\footnote{Wang, X. et al. \textit{SciBench: Evaluating College-Level
+Scientific Problem-Solving Abilities of Large Language Models}. arXiv:2307.10635,
+2023. DOI: 10.48550/arXiv.2307.10635. Benchmark com 695 problemas de livros-texto
+de ciências universitárias em física, química e matemática.} focou especificamente
+em problemas de livros-texto universitários, aproximando-se do conceito de níveis
+de complexidade do CORA-Eval. Entretanto, carece de verificadores simbólicos e
+de uma métrica evolutiva.
+
+Nenhum destes benchmarks aborda três dimensões que consideramos essenciais para
+a avaliação da maturidade científica integrada: (i) a capacidade de verificar
+simbolicamente afirmações usando múltiplos critérios independentes — dimensional,
+algébrico, estatístico, numérico e computacional; (ii) a capacidade de transitar
+entre níveis de complexidade mantendo consistência metodológica; e (iii) a
+capacidade de evoluir autonomamente, aprendendo com padrões de erro e aprimorando-se
+iterativamente. O CORA-Eval foi projetado especificamente para preencher estas
+lacunas.
+
+\subsection{A Primeira Década da IA Científica (2015--2025)}
+
+A primeira década da inteligência artificial contemporânea testemunhou avanços
+extraordinários. O GPT-4\footnote{OpenAI. \textit{GPT-4 Technical Report}.
+arXiv:2303.08774, 2023. DOI: 10.48550/arXiv.2303.08774. Demonstra proficiência
+em exames como o Uniform Bar Exam (90º percentil), Biology Olympiad (99º
+percentil) e GRE Quantitative (80º percentil).} demonstrou desempenho notável.
+O AlphaFold\footnote{Jumper, J. et al. \textit{Highly Accurate Protein Structure
+Prediction with AlphaFold}. Nature, 596:583--589, 2021. DOI:
+10.1038/s41586-021-03819-2. Resolveu o problema de enovelamento proteico que
+desafiava a biologia estrutural há 50 anos, com precisão atômica (RMSD $<1$Å).}
+resolveu o enovelamento proteico. O FunSearch\footnote{Romera-Paredes, B. et
+al. \textit{Mathematical Discoveries from Program Search with Large Language
+Models}. Nature, 625:468--475, 2024. DOI: 10.1038/s41586-023-06924-6. Gerou
+descobertas matemáticas originais — novas construções para o problema do
+conjunto-cap — e as publicou na Nature, um marco histórico para IA em matemática.}
+produziu descobertas matemáticas originais publicadas na Nature.
+
+Paralelamente, sistemas especializados em domínios científicos específicos
+proliferaram. O AlphaGeometry\footnote{Trinh, T.H. et al. \textit{Solving
+Olympiad Geometry Without Human Demonstrations}. Nature, 625:476--482, 2024.
+DOI: 10.1038/s41586-023-06747-5. Resolveu 25 de 30 problemas de geometria da
+Olimpíada Internacional de Matemática, desempenho de medalhista de ouro,
+usando combinação de motor neuro-simbólico com busca.} resolveu problemas de
+geometria olímpica. O GraphCast\footnote{Lam, R. et al. \textit{Learning
+Skillful Medium-Range Global Weather Forecasting}. Science, 382:1416--1421,
+2023. DOI: 10.1126/science.adi2336. Previsão meteorológica global de médio
+prazo (10 dias) superando o ECMWF HRES, o padrão-ouro operacional, em 90\%
+dos alvos de verificação.} superou modelos de previsão meteorológica. O
+GNoME\footnote{Merchant, A. et al. \textit{Scaling Deep Learning for Materials
+Discovery}. Nature, 624:80--90, 2023. DOI: 10.1038/s41586-023-06735-9. Descobriu
+2,2 milhões de novos cristais estáveis, o equivalente a 800 anos de conhecimento
+acumulado, dos quais 380.000 são candidatos a materiais estáveis.} descobriu
+milhões de novos materiais.
+
+Esta proliferação de sistemas especializados torna ainda mais urgente a
+necessidade de um framework de avaliação unificado. Como comparar o desempenho
+do AlphaFold em biologia estrutural com o do GraphCast em meteorologia? Como
+avaliar se um sistema que se destaca em matemática (AlphaGeometry) possui
+capacidade análoga em física ou química? O CORA-Eval propõe-se a responder
+estas questões através de uma métrica comum — o CORA-Score — que permite
+comparar a maturidade científica de qualquer sistema, independentemente de
+seu domínio de especialização.
+
+\subsection{O Problema da Fragmentação de Benchmarks}
+
+A fragmentação de benchmarks de IA científica não é meramente um incômodo
+metodológico — é um obstáculo real ao progresso científico. Sem uma métrica
+comum, cada laboratório e cada empresa avalia seus sistemas em benchmarks
+diferentes, impossibilitando comparações objetivas. Esta situação é análoga
+à que existia na Física antes da padronização do Sistema Internacional de
+Unidades (SI) — múltiplos padrões incompatíveis que impediam a replicação
+e a comparação de resultados experimentais.
+
+O cientista e metrologista John Henry Poynting observou, em 1894, que ``a
+precisão de uma medição é limitada pela pior das grandezas envolvidas''.
+Parafraseando para a avaliação de IA: a qualidade de uma avaliação é limitada
+pelo pior dos benchmarks utilizados. Enquanto cada dimensão da capacidade
+científica for avaliada por um benchmark diferente, sem calibração cruzada,
+a avaliação agregada será tão frágil quanto seu elo mais fraco.
+
+A adoção do Sistema Internacional de Unidades levou décadas, mas transformou
+a Física de uma coleção de laboratórios com padrões incompatíveis em uma
+ciência global com resultados reproduzíveis e comparáveis. O CORA-Eval aspira
+a desempenhar papel análogo para a avaliação de IA científica: estabelecer
+um padrão comum, multidimensional e evolutivo que permita comparações
+objetivas entre sistemas e o rastreamento do progresso ao longo do tempo.
 
-A primeira década da inteligência artificial contemporânea (2015--2025)
+\subsection{O Ecossistema OpenCode}
+
+O OpenCode Ecosystem\footnote{Claro, M. \textit{OpenCode Ecosystem v4.7:
+Arquitetura Multiagente Evolutiva}. GitHub, 2026. DOI:
+10.5281/zenodo.OPENCODE-V4.7.} surge como resposta a esta lacuna. Trata-se de
+uma arquitetura multiagente evolutiva que integra 125 agentes especializados,
+106 skills, 41 servidores MCP e 212 tipos de raciocínio.
 testemunhou avanços extraordinários na capacidade de modelos de linguagem
 de grande escala (LLMs) em tarefas científicas. O GPT-4\footnote{OpenAI.
 \textit{GPT-4 Technical Report}. arXiv:2303.08774, 2023. DOI:
@@ -376,6 +529,10 @@ \subsection{O Cálculo do CORA-Score}
 a ser aquelas com maior cobertura de verificadores — evidência de que a
 verificação simbólica efetivamente discrimina qualidade.
 
+\subsection{Calibração dos Níveis e Fontes de Ground Truth}
+
+\input{dissertacao_exp_metodologia.tex}
+
 \subsection{Pipeline de Avaliação e Fontes de Ground Truth}
 
 Cada uma das 150 tarefas do CORA-Eval percorre um pipeline de 5 estágios:
@@ -688,6 +845,8 @@ \subsection{Trabalhos Futuros}
 Completar M4 (3,00), estender validação externa para D2--D10, integrar ao
 CI/CD, e expandir para ciências humanas constituem a agenda imediata.
 
+\input{dissertacao_exp_restante.tex}
+
 \vspace{12pt}\begin{center}\rule{0.4\textwidth}{0.4pt}\\[6pt]
 \textit{Repositório:} \url{https://github.com/MarceloClaro/OpenCode\_Ecosystem}
 \end{center}
@@ -840,7 +999,7 @@ \subsection{A.4 — D4--D10: Tarefas por Dimensão}
 D10 & N1 & Intersecção física+química, fotossíntese multi-domínio & V1-V5 & 2/2 \\
 D10 & N2 & Hodgkin-Huxley, mudança climática 3+disc, Arrhenius & V1,V6,V5 & 3/3 \\
 D10 & N3 & Feedback vegetação-clima, origem da vida, band gap & V1,V6,V7 & 3/3 \\
-D10 & N4 & Nelson derivadas (linear+quadrático), curvatura R=0/R≠0 & V1-V7 & 2/3 \\
+D10 & N4 & Nelson derivadas (linear+quadrático), curvatura R=0/R$\neq$0 & V1-V7 & 2/3 \\
 \midrule
 \multicolumn{5}{r}{\textbf{Total: 150 tarefas, $\approx$105/150 aprovadas (70\%)}} \\
 \bottomrule
@@ -885,7 +1044,7 @@ \subsection{B.2 — Suítes TDD Documentadas}
 \texttt{test\_d7\_codigo} & 7/7 & GREEN & V7a syntax, V7b idempotência, V7c tipos, V7d O(n), V7e security, V7f coverage \\
 \texttt{test\_d8\_literatura} & 12/12 & GREEN & Claims (4), citações (4), classificação (4) \\
 \texttt{test\_d8\_n2\_gat\_biblio} & 6/6 & GREEN & Extração 30 refs, 12 áreas, tabela 8, lacuna, consistência, cobertura 100\% \\
-\texttt{test\_d10\_gat} & 10/10 & GREEN & Nelson linear/quad, curvatura R=0/≠0, conexão, transporte, holonomia, div J \\
+\texttt{test\_d10\_gat} & 10/10 & GREEN & Nelson linear/quad, curvatura R=0/$\neq$0, conexão, transporte, holonomia, div J \\
 \texttt{test\_validacao\_externa} & 12/12 & GREEN & PE001-016 (7), ROS-DNA/RNA/REVC/GC/PROT (5) \\
 \texttt{test\_evolucao\_m4} & 6/7 & 85,7\% & N-corpos conservação/reversível, EM K=2/ELBO, EBM 1D, Hoare, pH \\
 \midrule
@@ -1046,11 +1205,13 @@ \subsection{D.4 — Marcos de Maturidade}
 \toprule
 \textbf{Marco} & \textbf{Score} & \textbf{Status} & \textbf{Data} & \textbf{Dimensões em N4} \\
 \midrule
-M1 — Fundação & 0,90 & ✅ & 28/05 & 0 \\
-M2 — Graduação & 1,90 & ✅ & 28/05 & 0 \\
-M3 — Especialização & 2,52 & ✅ & 28/05 & 2 (D1,D10) \\
-M4 — Pesquisa & 3,00 & 🔄 (-0,01) & — & 5 (D1,D2,D3,D7,D10) \\
-M5 — Fronteira & 4,00 & ⬜ & — & 10 (todas) \\
+\textbf{Status} & \textbf{Data} & \textbf{Dimensões em N4} \\
+\midrule
+M1 --- Fundação & 0,90 & OK & 28/05 & 0 \\
+M2 --- Graduação & 1,90 & OK & 28/05 & 0 \\
+M3 --- Especialização & 2,52 & OK & 28/05 & 2 (D1,D10) \\
+M4 --- Pesquisa & 3,00 & (-0,01) & --- & 5 (D1,D2,D3,D7,D10) \\
+M5 --- Fronteira & 4,00 & Pendente & --- & 10 (todas) \\
 \bottomrule
 \end{tabular}
 \end{table}