Redesign do SCANPLOT

[cfbastarz]

Redesign do SCANPLOT

Pensando em melhorar o uso do SCANPLOT, surgiu a ideia de utilizar uma interface gráfica que facilita a utilização das funções de plotagem a acelera a obtenção dos resultados por parte do usuário.

Vantages:

• Elimina completamente a necessidade de programação por parte do usuário. Todas as figuras podem ser feitas a partir da seleção de opções e parâmetros na própria interface;
• Permite a utilização de catálogo de dados, os quais podem ser acessados por meio da internet (analysis ready);
• Abre um novo caminho para a visualização dos dados de avaliação;
• Tem o potencial atrair mais usuários para o SCANTEC, pois a parte de visualização dos resultados é mais amigável, atrativa e intuitiva.

Desvantagens:

• Não se aproveitam as funções principais do SCANPLOT atual (read_namelists e get_dataframe) - estas funções são importantes no contexto atual pois são elas que fornecem as estruturas de dados a partir das quais são plotadas as figuras;
• É necessária uma etapa extra de "pós-processamento" para preparar o catálogo de dados;
• Torna-se mais difícil desenvolver, pois envolve a preparação de funções reativas.

Status atual

Atualmente, o SCANPLOT é uma coleção de scripts Python com funções específicas para ler e plotar os arquivos de estatísticas calculadas pelo SCANTEC, sejam elas em forma de tabela ou distribuição espacial. Nesse sentido, o uso do SCANPLOT requer que o usuário utilize (preferencialmente) o Jupyter notebook para carregar módulo principal do SCANPLOT e chamar manualmente todas as suas funções, o que é tipicamente feito da seguinte forma (para plotar os gráficos de linhas):

import scanplot as sc

data_vars, data_conf = scanplot.read_namelists('/dir/SCANTEC')
dataInicial = data_conf['Starting Time']
dataFinal = data_conf['Ending Time']
Vars = list(map(data_vars.get,[11,12,13]))
Stats = ['ACOR', 'RMSE', 'VIES']
Exps = list(data_conf['Experiments'].keys())
outDir = data_conf['Output directory']
figDir = outDir + '/figs'

dTable = sc.get_dataframe(dataInicial, dataFinal, Stats, Exps, outDir, series=False)

sc.plot_lines(dTable, Vars, Stats, outDir, figDir=figDir, showFig=True, saveFig=True, combine=False)

Redesign

Apesar de ser o uso típico de um pacote Python, de certa forma, isso acaba se mostrando como uma barreira para o usuário que pode não se sentir confortável com a utilização de um novo ambiente (o Jupyter) e - talvez, uma outra linguagem de programação (o Python). Pensando nisso e, considerando as necessidades de visualização do GAM - Grupo de Avaliação de Modelos da DIMNT, tive a ideia de refazer o SCANPLOT do zero de forma que não seja mais necessária a intervenção do usuário em termos de programação. Isso significa fornecer ao usuário uma interface gráfica em que o carregamento dos dados e o ajuste e escolha dos parâmetros é feita por meio de widgets (botões, menus e outros elementos de uma interface gráfica). Isso pode ser feito de várias maneiras e eu escolhi a biblioteca Panel do Python para isso.

No video a seguir, mostro o que é possível fazer com esta biblioteca e, no estágio em que se encontra, o redesign do SCANPLOT já contem algumas funções interessantes:

scanplot_video_github.mp4

Elementos da Interface

Na interface, estão propostos alguns elementos que possuem potencial de utilização na rotina de avaliação:

1. Catálogo de dados: as avaliações de experimentos com diferentes modelos com diferentes características (e.g., resolução e domínio) é uma das principais vantagens do SCANTEC. A organização dos resultados de avaliação e a sua disponibilização em formatos adequados para cloud computing viabilizam o que chama de analysis ready, i.e., o fornecimento de dados prontos para uso - nesse caso, prontos para a visualização. Com isso, pode-se criar catálogos de dados específicos para cada avaliação realizada ou para a combinação de diferentes avaliações;
2. Editor de texto: a ideia é que a utilização do SCANPLOT seja feita em tela cheia e, dependendo do setup do usuário, um segundo display pode não estar disponível. Logo, um editor de textos embutido pode ser útil para o registro de insights e notas da avaliação (o botão "Salvar" ainda não funciona);
3. Organização por abas: cada tipo de figura (e.g., gráfico de linha, scorecard e distribuição espacial) são organizados em abas, as quais representam as respectivas funções que fornecem estas figuras. Cada aba possui um conjunto de widgets específicos e independentes, de forma que as opções selecionadas em uma aba não interferem nas demais;
4. Notificações: a interface do SCANPLOT conta com um sistema de notificações que fornece ao usuário alguns feedbacks sobre determinadas ações (e.g., quando um arquivo de catálogo é escolhido e carregado, quando há excessões na execução das funções);
5. Botões de informação: na interface, há vários botões que podem ser acionados para a visualização de informações pertinentes aos conteúdos das abas e da própria interface;
6. Gráficos de linhas: é possível visualizar um ou mais experimentos, facilitando a sua intercomparação e a verificação de diferentes parâmetros da avaliação objetiva (e.g., o viés junto com o rmse e a correlação de anomalias). Além disso, pode-se selecionar as variáveis e níveis, regiões e referências, além de dar zoom nos gráficos;
7. Scorecard: pode-se selecionar os pares de experimentos (e.g., EXPA X EXPB), alterar as cores entre outros;
8. Distribuição espacial: pode-se selecionar diferentes regiões, experimentos, variáveis e níveis, tipo de figura (i.e., imagem ou contorno), as cores etc. Além disso, é possível comparar os experimentos, calcular a diferença entre as estatísticas escolhidas (útil quando se quer ter uma ideia mais clara quando uma experimento apresenta valores maiores ou menores do que o outro e fazer o swipe entre os experimentos).

Catálogo de Dados

Como mostrado no video de demonstração, o usuário inicia a interface gráfica do SCANPLOT por meio da linha de comando e a interface é aberta no navegador. Na interface, para a plotagem das figuras, o usuário deve carregar um arquivo de catálogo. Esse arquivo tem o seguinte formato (exemplo):

sources:

  test-gl-acor-exp15-ref_panl_agcm_clim-table:
    args:
      urlpath: https://s0.cptec.inpe.br/pesquisa/das/dist/carlos.bastarz/SCANTEC-2.1.0/dataout/periodo/AVAL_SMNA_V2.3.1/ref_panl_agcm_clim/gl/ACOREXP15_20191115122020020212T.csv
    description: Anomaly Correlation for the EXP15 experiment (gl area)
    driver: csv
    metadata:
      catalog_dir: https://s0.cptec.inpe.br/pesquisa/das/dist/carlos.bastarz/SCANTEC-2.1.0/dataout/periodo/AVAL_SMNA_V2.3.1
      url: https://s0.cptec.inpe.br/pesquisa/das/dist/carlos.bastarz/SCANTEC-2.1.0/dataout/periodo/AVAL_SMNA_V2.3.1

  test-hn-acor-exp15-ref_panl_no_clim-table:
    args:
      urlpath: https://s0.cptec.inpe.br/pesquisa/das/dist/carlos.bastarz/SCANTEC-2.1.0/dataout/periodo/AVAL_SMNA_V2.3.1/ref_panl_no_clim/hn/ACOREXP15_20191115122020020212T.csv
    description: Anomaly Correlation for the EXP15 experiment (hn area)
    driver: csv
    metadata:
      catalog_dir: https://s0.cptec.inpe.br/pesquisa/das/dist/carlos.bastarz/SCANTEC-2.1.0/dataout/periodo/AVAL_SMNA_V2.3.1
      url: https://s0.cptec.inpe.br/pesquisa/das/dist/carlos.bastarz/SCANTEC-2.1.0/dataout/periodo/AVAL_SMNA_V2.3.1

  test-tr-acor-exp15-ref_panl_no_clim-table:
    args:
      urlpath: https://s0.cptec.inpe.br/pesquisa/das/dist/carlos.bastarz/SCANTEC-2.1.0/dataout/periodo/AVAL_SMNA_V2.3.1/ref_panl_no_clim/tr/ACOREXP15_20191115122020020212T.csv
    description: Anomaly Correlation for the EXP15 experiment (tr area)
    driver: csv
    metadata:
      catalog_dir: https://s0.cptec.inpe.br/pesquisa/das/dist/carlos.bastarz/SCANTEC-2.1.0/dataout/periodo/AVAL_SMNA_V2.3.1
      url: https://s0.cptec.inpe.br/pesquisa/das/dist/carlos.bastarz/SCANTEC-2.1.0/dataout/periodo/AVAL_SMNA_V2.3.1
...

Note que o arquivo de catálogo contém fontes de dados que representam os diferentes aspectos da avaliação feita com o SCANTEC. Por exemplo, a fonte de dados test-gl-acor-exp15-ref_panl_agcm_clim-table representa a table (tabela) da acor (correlação de anomalia) de um experimento de nome exp15, sobre a região gl (global) cuja referência utilizada foi ref_panl_agcm_clim (a própria análise e a climatologia do modelo AGCM). O arquivo de tabela referente à esta fonte de dados está no endereço https://s0.cptec.inpe.br/pesquisa/das/dist/carlos.bastarz/SCANTEC-2.1.0/dataout/periodo/AVAL_SMNA_V2.3.1/ref_panl_agcm_clim/gl/ACOREXP15_20191115122020020212T.csv, acessível pela internet. Da mesma forma, assim como mostrado no video de demonstração, os arquivos binários com as distribuições estatísticas também podem ser acessados, o que é possível a patir do uso das bibliotecas Intake e Zarr¹. Uma vantagem importante dessa estratégia é permitir que a interface seja utilizada em qualquer lugar para acessar os dados do catálogo (desde que o ambiente para a utilização do SCANPLOT esteja configurado e em uso).

No repositório https://github.com/monanadmin/monan_post/tree/main/notebooks, adicioneu uma série de notebooks e script que mostram como um catálogo de dados pode ser construído utilizando as bibliotecas Intake, Zarr, Pandas e Xarray - utilizados no redesign do SCANPLOT.

Testdrive

Para testar o redesign, está disponibilizado o script que serve a interface do SCANPLOT, o arquivo de ambiente e um catálogo de dados para uso.

Uso

No seu computador (preferencialmente Linux - não testei em outros sistemas operacionais), proceda da seguinte forma:

Baixar o código do repositório

git clone https://github.com/GAM-DIMNT-CPTEC/SCANPLOT.git

Criar o ambiente SCANPLOT_PANEL

cd SCANPLOT
git checkout 29-redesign-do-scanplot
cd redesign
conda env create -f environment.yml

Abrir a interface

./SCANPLOT_V2.0.0a1

Para testar a interface, utilize o arquivo de catálogo catalog-scantec-s0.yml que está no repositório.

Nota: se não funcionar de primeira, tudo bem - fazer com que funcione para todos faz parte do processo; se alguma coisa não estiver correta no ambiente, por favor, reportem para que possa ser consertado!

Notem que o redesign do SCANPLOT possui a tag 2.0.0a1, mas ainda não foi lançada. A intenção é que a partir da série 2.X possamos utilizar esta interface e aprimorá-la para as nossas necessidades de visualização. A revisão a1 significa que esta é a primeira revisão alpha, dirigida apenas para os desenvolvedores e aqueles que estão diretamente envolvidos com o projeto e, portanto, não se trata de uma versão completamente funcional e pública.

Nota: não é garantido que esta versão funcione exatamente da forma como mostrado no video.

As discussões sobre o redesign, sobre o que devemos incluir, mudar, aprimorar etc, devem ser feitas aqui e os problemas referentes à funcionalidade, devem ser registradas na issue #29.

É isso!

Footnotes

1. Referência: Using Cloud Computing to Analyze Model Outpur Archived in Zarr Format. ↩

[barbarayamada]

Boa tarde @cfbastarz. Ainda não verifiquei e li tudo, mas mesmo assim vejo que a sua ideia é excelente!!