198
edições
Sem resumo de edição |
Sem resumo de edição |
||
Linha 1: | Linha 1: | ||
== Pré Ingestão == | |||
=== Atualizar tabelas de optim === | |||
'''Se''' donatedPack.csv ou donor.csv (em qualquer jurisdição) '''forem alterados''' ou um '''novo''' ''make_conf.yaml'' for criado, é necessário atualizar as tabelas do [https://git.digital-guard.org/preserv/blob/main/src/optim-step1-ini.sql schema optim]: | |||
<syntaxhighlight lang="sh">cd /var/gits/_dg/preserv/src | |||
make load_optim_csv pg_datalake=dl05s_main</syntaxhighlight> | |||
=== Alterações de sha256 em make_conf.yaml === | |||
Se o ''sha256'' de arquivos for alterado em um make_conf: | |||
# incrementar <code>pkversion</code>; | |||
# inserir nova entrada no arquivo donatePack.csv; | |||
# Atualizar tabelas de optim. | |||
Ver [https://git.digital-guard.org/preserv-BR/issues/68#issuecomment-1081026983 preserv-BR/issues/68] | |||
=== Gerar sha256 === | |||
Ver [[dg:Guia_do_sha256]]. | |||
=== Preservação digital === | |||
Ver [[dg:Convenções/Armazenamento_de_dados]]. | |||
== Ingestão == | == Ingestão == | ||
Linha 61: | Linha 88: | ||
make all_layers # para ingerir todos os layers ou make <nome_do_layer> para ingerir um layer especifico. | make all_layers # para ingerir todos os layers ou make <nome_do_layer> para ingerir um layer especifico. | ||
make all_joins # para executar todos os joins ou se existir a necessidade. | make all_joins # para executar todos os joins ou se existir a necessidade.</syntaxhighlight> | ||
=== Exemplo do pk0004.01 (OpenStreetMap) === | === Exemplo do pk0004.01 (OpenStreetMap) === | ||
Linha 110: | Linha 125: | ||
Para gerar os arquivos que serão publicados no respectivo ''preservCutGeo'' do país: | Para gerar os arquivos que serão publicados no respectivo ''preservCutGeo'' do país: | ||
<syntaxhighlight lang="sh">make publicating_geojsons_<nome_do_layer> | <syntaxhighlight lang="sh">cd /var/gits/_dg/preserv-<caminho_do_pacote_de_dados> | ||
make publicating_geojsons_<nome_do_layer> | |||
# exemplo: make publicating_geojsons_via` gera os arquivos em `/var/gits/_dg/preservCutGeo-BR2021/data/AC/RioBranco/_pk0042.01/via/`</syntaxhighlight> | # exemplo: make publicating_geojsons_via` gera os arquivos em `/var/gits/_dg/preservCutGeo-BR2021/data/AC/RioBranco/_pk0042.01/via/`</syntaxhighlight> | ||
ou, para gerar todos os arquivos (verificar se todos foram gerados): | ou, para gerar todos os arquivos (verificar se todos foram gerados): | ||
<syntaxhighlight lang="sh">make all_publications</syntaxhighlight> | <syntaxhighlight lang="sh">cd /var/gits/_dg/preserv-<caminho_do_pacote_de_dados> | ||
make all_publications</syntaxhighlight> | |||
<syntaxhighlight lang="sh">make target audit-geojsons_<nome do layer> | <syntaxhighlight lang="sh">make target audit-geojsons_<nome do layer> | ||
Linha 154: | Linha 171: | ||
Nesse momento, os novos dados fazem parte das estatísticas disponibilizadas em API. Também, listas disponibilizadas no site addressforall e em documentações podem ser atualizadas. | Nesse momento, os novos dados fazem parte das estatísticas disponibilizadas em API. Também, listas disponibilizadas no site addressforall e em documentações podem ser atualizadas. | ||
== | == Reprodutibilidade == | ||
<syntaxhighlight lang="sh">cd /var/gits/_dg/preserv-<caminho_do_pacote_de_dados> | |||
make me_reproducibility # gerar/atualizar script reproducibility.sh</syntaxhighlight> | |||
== Gerar filtrados == | |||
<syntaxhighlight lang="sh">cd /var/gits/_dg/preserv-<caminho_do_pacote_de_dados> | |||
make all_filtered | |||
# exemplo de output: | |||
/var/gits/_dg/preserv-BR/data/RS/NovoHamburgo/_pk0063.01 | /var/gits/_dg/preserv-BR/data/RS/NovoHamburgo/_pk0063.01 | ||
/tmp /var/gits/_dg/preserv-BR/data/RS/NovoHamburgo/_pk0063.01 | /tmp /var/gits/_dg/preserv-BR/data/RS/NovoHamburgo/_pk0063.01 | ||
Linha 178: | Linha 202: | ||
End.</syntaxhighlight> | End.</syntaxhighlight> | ||
== Pulbicar filtrados == | |||
Após o processo de publicar as camadas de dados no provedor externo ver [[a4a:Conven%C3%A7%C3%B5es/Visualiza%C3%A7%C3%A3o_de_dados]]. | |||
== Atualizar Listas e site == | == Atualizar Listas e site == | ||
Linha 375: | Linha 401: | ||
[[Categoria:Digital-guard]] | [[Categoria:Digital-guard]] |
edições