198
edições
Estrutura a página.
Sem resumo de edição |
(Estrutura a página.) |
||
| Linha 25: | Linha 25: | ||
Ver [[dg:Convenções/Armazenamento_de_dados]]. | Ver [[dg:Convenções/Armazenamento_de_dados]]. | ||
=== Estrutura geral de make_conf === | |||
Exemplo fictício de make_conf. Reparar nas chaves: <code>comments, comment, test_evidence, standardized_fields, other_fields, other_files e to-do</code> utilizadas na geração automatizada de README.md. Informações extras ou que não se encaixam nas referidas chaves podem ser incluidas no arquivo ''attachment.md'', anexado ao final do README.md na seção ''Anexo''. Template: [https://git.digital-guard.org/preserv/blob/main/src/maketemplates/readme_ptbr.mustache ptbr]: https://git.digital-guard.org/preserv/blob/main/src/maketemplates/readme_ptbr.mustache, [https://git.digital-guard.org/preserv/blob/main/src/maketemplates/readme_es.mustache es]: | |||
<syntaxhighlight lang="yaml">pack_id: 81.1 | |||
pkversion: 001 | |||
schemaId_input: | |||
schemaId_template: | |||
codec:descr_encode: srid=31983 | |||
files: | |||
- | |||
p: 1 | |||
file: d9cddc63f7782d250fc80f0572b9fb884ee7ec1911e19deea4381a4ad5d0a172.zip | |||
name: Bairros | |||
comments: Comentários sobre o arquivo, se houver. | |||
size: 1234 | |||
layers: | |||
geoaddress: | |||
subtype: ext | |||
method: shp2sql | |||
file: 1 | |||
sql_select: ['gid', 'numnovo as hnum', 'cod_log', 'geom'] | |||
orig_filename: pg_renumeracoes | |||
comments: Comentários referente ao layer, se houver. | |||
test_evidence: endereço da imagem de evidencia do layer. | |||
# dados relevantes, padronizados | |||
standardized_fields: | |||
- | |||
name: nome do campo ou combinação de campos | |||
standard: 'nome padronizado, por exemplo: hnum' | |||
comment: comentários sobre o campo, se houver. | |||
# dados relevantes, NÃO padronizados, se houver | |||
other_fields: | |||
- | |||
name: nome do campo ou combinação de campos | |||
comment: comentários sobre o campo, se houver. | |||
comments: Comentários gerais sobre os dados, sobre o pacote, etc, se houver. | |||
test_evidence: endereço da imagem de evidencia de todos os dados. | |||
# outros arquivos que podem ser úteis | |||
other_files: | |||
- | |||
p: 2 | |||
file: pg_div_municipio.zip | |||
name: pg_div_municipio | |||
format: shp | |||
comment: Arquivo com a divisa territorial de guarulhos e vizinhos. | |||
# Lista de tarefas | |||
to-do: | |||
- Tarefa 1.</syntaxhighlight> | |||
== Ingestão == | == Ingestão == | ||
| Linha 176: | Linha 235: | ||
make me_reproducibility # gerar/atualizar script reproducibility.sh</syntaxhighlight> | make me_reproducibility # gerar/atualizar script reproducibility.sh</syntaxhighlight> | ||
== | == Filtrados == | ||
Para gerar shapefile ou csv dos dados ingestados: | |||
<syntaxhighlight lang="sh">cd /var/gits/_dg/preserv-<caminho_do_pacote_de_dados> | <syntaxhighlight lang="sh">cd /var/gits/_dg/preserv-<caminho_do_pacote_de_dados> | ||
| Linha 202: | Linha 263: | ||
End.</syntaxhighlight> | End.</syntaxhighlight> | ||
Após gerar os arquivos e o processo de publicar as camadas de dados no provedor externo estiver sido concluído ver [[a4a:Conven%C3%A7%C3%B5es/Visualiza%C3%A7%C3%A3o_de_dados]]. | |||
Após o processo de publicar as camadas de dados no provedor externo ver [[a4a:Conven%C3%A7%C3%B5es/Visualiza%C3%A7%C3%A3o_de_dados]]. | |||
== Gerar README == | |||
Para gerar README.md: | |||
<syntaxhighlight lang="sh">cd /var/gits/_dg/preserv-BR/src | |||
make all | |||
cd /var/gits/_dg/preserv-BR/data/AC/RioBranco/_pk0042.01 | |||
make readme pg_db=ingest99 | |||
</syntaxhighlight> | |||
=== Exemplos: === | |||
* https://github.com/digital-guard/preserv-BR/tree/main/data/SP/SaoPaulo/_pk0033.01 | |||
* https://github.com/digital-guard/preserv-BR/tree/main/data/AC/RioBranco/_pk0042.01 | |||
* https://github.com/digital-guard/preserv-BR/tree/main/data/SP/Atibaia/_pk0021.01 | |||
* https://github.com/digital-guard/preserv-BR/tree/main/data/ES/CachoeiroItapemirim/_pk0091.01 | |||
== Atualizar Listas e site == | == Atualizar Listas e site == | ||
| Linha 242: | Linha 319: | ||
Em seguida usar o arquivo index.html gerado para atualizar o site em https://github.com/AddressForAll/site-v2/blob/main/content/list_visualization.md. | Em seguida usar o arquivo index.html gerado para atualizar o site em https://github.com/AddressForAll/site-v2/blob/main/content/list_visualization.md. | ||
== Clean sandbox == | |||
O processo de ingestão utiliza subpastas no caminho informado em <code>sandbox</code>, cujo valor default é informado no ''commomFirst.yaml''. Antes na execução da ingestão de cada layer, o target <code>makedirs</code> cria ou limpa a subpasta utilizada pelo layer. Após a execução, o target <code>clean-sandbox</code> remove a subpasta, evitando que arquivos não mais necessários permanecem no sistema de arquivos. | |||
<syntaxhighlight lang="sh">cd /var/gits/_dg/preserv-<caminho_do_pacote_de_dados> | |||
make clean_sandbox</syntaxhighlight> | |||
== Diagrama == | == Diagrama == | ||
| Linha 249: | Linha 331: | ||
[[Arquivo:DigitalGuardWorkflow.png|thumb|420px|Workflow da DG.]] | [[Arquivo:DigitalGuardWorkflow.png|thumb|420px|Workflow da DG.]] | ||
== | == Outros == | ||
=== Inserir size no make_conf === | === Inserir size no make_conf === | ||
| Linha 284: | Linha 366: | ||
Exemplo utilizado em https://github.com/digital-guard/preserv-CO/blob/main/data/_pk0004.01/make_conf.yaml | Exemplo utilizado em https://github.com/digital-guard/preserv-CO/blob/main/data/_pk0004.01/make_conf.yaml | ||
=== No rule to make target === | === No rule to make target === | ||
| Linha 388: | Linha 389: | ||
Observação: atualmente, [https://github.com/digital-guard/preserv/blob/main/src/maketemplates/common002_layerHeader.mustache#L18 common002_layerHeader.mustache] interage com o usuário solicitando a confirmação de download de dl.digital-guard.org ou o fornecimento do valor correto de orig. Caso o download seja realizado, o arquivo estará localizado na respectiva sandbox do layer. Notar que se <code>nointeraction=y</code> não haverá interação com o usuário e o download será feito. | Observação: atualmente, [https://github.com/digital-guard/preserv/blob/main/src/maketemplates/common002_layerHeader.mustache#L18 common002_layerHeader.mustache] interage com o usuário solicitando a confirmação de download de dl.digital-guard.org ou o fornecimento do valor correto de orig. Caso o download seja realizado, o arquivo estará localizado na respectiva sandbox do layer. Notar que se <code>nointeraction=y</code> não haverá interação com o usuário e o download será feito. | ||
=== make com nointeraction === | |||
=== make | |||
Para rodar um ''target'' sem serem solicitadas confirmações do usuário, utilizar <code>nointeraction=y</code>. | Para rodar um ''target'' sem serem solicitadas confirmações do usuário, utilizar <code>nointeraction=y</code>. | ||
| Linha 399: | Linha 396: | ||
Essa variável só produz efeito em ''target'' <code>layer</code>, <code>publicating_geojsons_layer</code> ou <code>me</code>. Para os demais, não. | Essa variável só produz efeito em ''target'' <code>layer</code>, <code>publicating_geojsons_layer</code> ou <code>me</code>. Para os demais, não. | ||
[[Categoria:Digital-guard]] | [[Categoria:Digital-guard]] | ||