198
edições
sem sumário de edição
Sem resumo de edição |
Sem resumo de edição |
||
| Linha 89: | Linha 89: | ||
== Publicação == | == Publicação == | ||
=== Gerar os arquivos | === Gerar os arquivos para preservCutGeo === | ||
Para gerar os arquivos que serão publicados no respectivo ''preservCutGeo'' do país: | Para gerar os arquivos que serão publicados no respectivo ''preservCutGeo'' do país: | ||
| Linha 96: | Linha 96: | ||
make target audit-geojsons_<nome do layer> # exibe informações sobre os arquivos gerados.</syntaxhighlight> | make target audit-geojsons_<nome do layer> # exibe informações sobre os arquivos gerados.</syntaxhighlight> | ||
Atualmente, apenas em casos excepcionais é necessário recorrer a [https://github.com/digital-guard/preserv/blob/main/docs/pt/man-diversos.md#par%C3%A2metros-de-publica%C3%A7%C3%A3o busca de | Atualmente, apenas em casos excepcionais é necessário recorrer a [https://github.com/digital-guard/preserv/blob/main/docs/pt/man-diversos.md#par%C3%A2metros-de-publica%C3%A7%C3%A3o busca de parâmetros de distribuição]. | ||
=== Subir para o repositório === | === Subir para o repositório === | ||
Concluída a geração dos arquivos | Concluída a geração dos arquivos publicáveis, fazer o <code>pull</code> dos arquivos gerados na ''branch main'' do no respectivo ''preservCutGeo'' do país, para aguardar aprovação. | ||
=== Copiar informações para DL05s_main === | === Copiar informações para DL05s_main === | ||
| Linha 120: | Linha 120: | ||
pushd /var/gits/_dg/preserv/src | pushd /var/gits/_dg/preserv/src | ||
make approved_donated_packcomponent id=ZZ pg_datalake=dl05s_main</syntaxhighlight> | make approved_donated_packcomponent id=ZZ pg_datalake=dl05s_main</syntaxhighlight> | ||
Nesse momento, os novos dados fazem parte das | Nesse momento, os novos dados fazem parte das estatísticas disponibilizadas em API. Também, listas disponibilizadas no site addressforall e em documentações podem ser atualizadas. | ||
| Linha 227: | Linha 227: | ||
* https://github.com/digital-guard/preserv-BR/tree/main/data/SP/Atibaia/_pk0021.01 | * https://github.com/digital-guard/preserv-BR/tree/main/data/SP/Atibaia/_pk0021.01 | ||
* https://github.com/digital-guard/preserv-BR/tree/main/data/ES/CachoeiroItapemirim/_pk0091.01 | * https://github.com/digital-guard/preserv-BR/tree/main/data/ES/CachoeiroItapemirim/_pk0091.01 | ||
== No rule to make target == | |||
Ao executar <code>make layer</code> ou <code>make all_layers</code>, caso encontre um erro do tipo | |||
<pre>make: *** No rule to make target '/var/www/dl.digital-guard.org/bae2054448855305db0fc855d2852cd5a7b369481cc03aeb809a0c3c162a2c04.zip', needed by 'parcel'. Stop.</pre> | |||
o arquivo especificado não está no diretório default <code>/var/www/dl.digital-guard.org</code>, informado na chave <code>orig</code> de uma jurisdição, por exemplo, em [https://github.com/digital-guard/preserv-BR/blob/main/src/maketemplates/commomFirst.yaml#L2 commomFirst.yaml]. Significando que o arquivo está armazenado em outro lugar. Isso está indicado na tabela [https://docs.google.com/spreadsheets/d/1CL6f0I9DSpqKxKC7QNJGCfyabq7mDOVab5QBGV5VLOk de-para]. | |||
Nesse caso usar: | |||
<pre>wget -P /diretorio/para/arquivo/baixado http://dl.digital-guard.org/bae2054448855305db0fc855d2852cd5a7b369481cc03aeb809a0c3c162a2c04.zip | |||
make me pg_db=ingestXX | |||
make parcel orig=/diretorio/para/arquivo/baixado pg_db=ingestXX</pre> | |||
Se o download for realizado em /var/www/dl.digital-guard.org utilizar apenas | |||
<code>make parcel pg_db=ingestXX</code> | |||
uma vez que o valor default de orig é /var/www/dl.digital-guard.org. | |||
Observação: atualmente, [https://github.com/digital-guard/preserv/blob/main/src/maketemplates/common002_layerHeader.mustache#L18 common002_layerHeader.mustache] interage com o usuário solicitando a confirmação de download de dl.digital-guard.org ou o fornecimento do valor correto de orig. Caso o download seja realizado, o arquivo estará localizado na respectiva sandbox do layer. Notar que se <code>nointeraction=y</code> não haverá interação com o usuário e o download será feito. | |||
== Clean sandbox == | |||
O processo de ingestão utiliza subpastas no caminho informado em <code>sandbox</code>, cujo valor default é informado no ''commomFirst.yaml''. Antes na execução da ingestão de cada layer, o target <code>makedirs</code> cria ou limpa a subpasta utilizada pelo layer. Após a execução, o target <code>clean-sandbox</code> remove a subpasta, evitando que arquivos não mais necessários permanecem no sistema de arquivos. | |||
== make layer sem interação com usuário: == | |||
Para rodar um ''target'' sem serem solicitadas confirmações do usuário, utilizar <code>nointeraction=y</code>. | |||
Por exemplo, <code>make block nointeraction=y</code> faz a ingestão dos dados sem solicitar confirmações do usuário.<ref>''Layer'' com <code>method</code> que utiliza o ''ogr2ogr'' via docker, ou target <code>me</code>, podem solicitar a senha do usuário.</ref> | |||
Essa variável só produz efeito em ''target'' <code>layer</code>, <code>publicating_geojsons_layer</code> ou <code>me</code>. Para os demais, não. | |||
== Atualizar tabelas de optim (atualmente em <code>dl05s_main</code>): == | |||
Se donatedPack.csv ou donor.csv (em qualquer jurisdição) forem alterados ou um novo ''make_conf.yaml'' for criado (se não existia e passou a existir), é necessário atualizar as tabelas do [https://github.com/digital-guard/preserv/blob/main/src/optim-step1-ini.sql schema optim]. Para isso, utilizar: | |||
<pre>pushd /var/gits/_dg/preserv/src | |||
make load_optim_csv pg_datalake=dl05s_main</pre> | |||
Notar que se as restrições das tabelas não forem respeitadas o carregamento ou atualização dos dados não acontece. Retornando erro. | |||
Caso for alterado o sha256 em um make_conf.yaml já existente, ver [https://github.com/digital-guard/preserv-BR/issues/68#issuecomment-1081026983 preserv-BR/issues/68]. | |||
== Alterações de sha256 em make_conf.yaml == | |||
Ao alterações no sha256 de arquivos make_conf.yaml: | |||
# incrementar <code>pkversion</code>; | |||
# insrir nova entrada no arquivo donatePack.csv; | |||
# excecutar https://github.com/digital-guard/preserv/blob/main/docs/pt/man-diversos.md#atualizar-tabelas-de-optim-atualmente-em-dl05s_main | |||
== Inserir size no make_conf.yaml == | |||
Procedimento para inserir <code>size</code> em <code>files</code> de um make_conf: | |||
<pre>pushd /var/gits/_dg/preserv-BR/src | |||
make all | |||
pushd /var/gits/_dg/preserv-BR/data/AC/RioBranco/_pk0042.01 | |||
make me | |||
make wget_files orig=/tmp/pg_io/tmpfolder | |||
make insert_size orig=/tmp/pg_io/tmpfolder | |||
rm -rf /tmp/pg_io/tmpfolder | |||
popd | |||
popd</pre> | |||
<references /> | |||
== Diagrama == | == Diagrama == | ||