Ir para o conteúdo

dg:Workflow: mudanças entre as edições

dg:Workflow (ver código-fonte)

Edição das 19h26min de 9 de junho de 2023

92 bytes adicionados ,  9 de junho de 2023
sem sumário de edição
Sem resumo de edição
Sem resumo de edição
Linha 1: Linha 1:
== Pré Ingestão ==
=== Atualizar tabelas de optim ===
'''Se''' donatedPack.csv ou donor.csv (em qualquer jurisdição) '''forem alterados''' ou um '''novo''' ''make_conf.yaml'' for criado, é necessário atualizar as tabelas do [https://git.digital-guard.org/preserv/blob/main/src/optim-step1-ini.sql schema optim]:
<syntaxhighlight lang="sh">cd /var/gits/_dg/preserv/src
make load_optim_csv pg_datalake=dl05s_main</syntaxhighlight>
=== Alterações de sha256 em make_conf.yaml ===
Se o ''sha256'' de arquivos for alterado em um make_conf:
# incrementar <code>pkversion</code>;
# inserir nova entrada no arquivo donatePack.csv;
# Atualizar tabelas de optim.
Ver [https://git.digital-guard.org/preserv-BR/issues/68#issuecomment-1081026983 preserv-BR/issues/68]
=== Gerar sha256 ===
Ver [[dg:Guia_do_sha256]].
=== Preservação digital ===
Ver [[dg:Convenções/Armazenamento_de_dados]].
== Ingestão ==
== Ingestão ==


Linha 61: Linha 88:
make all_layers # para ingerir todos os layers ou make <nome_do_layer> para ingerir um layer especifico.
make all_layers # para ingerir todos os layers ou make <nome_do_layer> para ingerir um layer especifico.


make all_joins # para executar todos os joins ou se existir a necessidade.
make all_joins # para executar todos os joins ou se existir a necessidade.</syntaxhighlight>
 
 
make all_publications # gerar arquivos para CutGeo
 
make me_reproducibility # gerar/atualizar script reproducibility.sh
 
make all_filtered # gerar arquivo shapefile ou csv
 
make readme # gerar atualizar README.md
 
 
make clean_sandbox</syntaxhighlight>


=== Exemplo do pk0004.01 (OpenStreetMap) ===
=== Exemplo do pk0004.01 (OpenStreetMap) ===
Linha 110: Linha 125:
Para gerar os arquivos que serão publicados no respectivo ''preservCutGeo'' do país:
Para gerar os arquivos que serão publicados no respectivo ''preservCutGeo'' do país:


<syntaxhighlight lang="sh">make publicating_geojsons_<nome_do_layer>
<syntaxhighlight lang="sh">cd /var/gits/_dg/preserv-<caminho_do_pacote_de_dados>
make publicating_geojsons_<nome_do_layer>
# exemplo: make publicating_geojsons_via` gera os arquivos em `/var/gits/_dg/preservCutGeo-BR2021/data/AC/RioBranco/_pk0042.01/via/`</syntaxhighlight>
# exemplo: make publicating_geojsons_via` gera os arquivos em `/var/gits/_dg/preservCutGeo-BR2021/data/AC/RioBranco/_pk0042.01/via/`</syntaxhighlight>


ou, para gerar todos os arquivos (verificar se todos foram gerados):
ou, para gerar todos os arquivos (verificar se todos foram gerados):
<syntaxhighlight lang="sh">make all_publications</syntaxhighlight>
<syntaxhighlight lang="sh">cd /var/gits/_dg/preserv-<caminho_do_pacote_de_dados>
make all_publications</syntaxhighlight>


<syntaxhighlight lang="sh">make target audit-geojsons_<nome do layer>
<syntaxhighlight lang="sh">make target audit-geojsons_<nome do layer>
Linha 154: Linha 171:
Nesse momento, os novos dados fazem parte das estatísticas disponibilizadas em API. Também, listas disponibilizadas no site addressforall e em documentações podem ser atualizadas.
Nesse momento, os novos dados fazem parte das estatísticas disponibilizadas em API. Também, listas disponibilizadas no site addressforall e em documentações podem ser atualizadas.


== Visualização ==
== Reprodutibilidade ==
 
<syntaxhighlight lang="sh">cd /var/gits/_dg/preserv-<caminho_do_pacote_de_dados>
make me_reproducibility # gerar/atualizar script reproducibility.sh</syntaxhighlight>


<syntaxhighlight lang="sh">make all_filtered
== Gerar filtrados ==


<syntaxhighlight lang="sh">cd /var/gits/_dg/preserv-<caminho_do_pacote_de_dados>
make all_filtered
# exemplo de output:
/var/gits/_dg/preserv-BR/data/RS/NovoHamburgo/_pk0063.01
/var/gits/_dg/preserv-BR/data/RS/NovoHamburgo/_pk0063.01
/tmp /var/gits/_dg/preserv-BR/data/RS/NovoHamburgo/_pk0063.01
/tmp /var/gits/_dg/preserv-BR/data/RS/NovoHamburgo/_pk0063.01
Linha 178: Linha 202:
End.</syntaxhighlight>
End.</syntaxhighlight>


== Pulbicar filtrados ==
Após o processo de publicar as camadas de dados no provedor externo ver [[a4a:Conven%C3%A7%C3%B5es/Visualiza%C3%A7%C3%A3o_de_dados]].


== Atualizar Listas e site ==
== Atualizar Listas e site ==
Linha 375: Linha 401:




=== Atualizar tabelas de optim (atualmente em <code>dl05s_main</code>): ===


Se donatedPack.csv ou donor.csv (em qualquer jurisdição) forem alterados ou um novo ''make_conf.yaml'' for criado (se não existia e passou a existir), é necessário atualizar as tabelas do [https://github.com/digital-guard/preserv/blob/main/src/optim-step1-ini.sql schema optim]. Para isso, utilizar:
<pre>pushd /var/gits/_dg/preserv/src
make load_optim_csv pg_datalake=dl05s_main</pre>
Notar que se as restrições das tabelas não forem respeitadas o carregamento ou atualização dos dados não acontece. Retornando erro.
Caso for alterado o sha256 em um make_conf.yaml já existente, ver [https://github.com/digital-guard/preserv-BR/issues/68#issuecomment-1081026983 preserv-BR/issues/68].
=== Alterações de sha256 em make_conf.yaml ===
Ao alterações no sha256 de arquivos make_conf.yaml:
# incrementar <code>pkversion</code>;
# insrir nova entrada no arquivo donatePack.csv;
# excecutar https://github.com/digital-guard/preserv/blob/main/docs/pt/man-diversos.md#atualizar-tabelas-de-optim-atualmente-em-dl05s_main




[[Categoria:Digital-guard]]
[[Categoria:Digital-guard]]
0e1
198

edições

Disponível em “https://wiki.addressforall.org/doc/Especial:MobileDiff/1923”