dg:Guia do make conf: mudanças entre as edições

sem sumário de edição
(Criou página com 'Os arquivos <code>make_conf.yaml</code> têm como finalidade principal a conversão automática para [https://en.wikipedia.org/wiki/Make_(software)#Makefile ''makefile''], e, secundariamente, conversões para geração de "conteúdo esqueleto" do README e de e-mails do ''workflow'' de aprovação. == Resumo da ferramenta == Os dados recebidos de diferentes doadores apresentam diferentes formatos e estruturas. Na Digital-Guard, por outro lado, criamos uma estr...')
 
Sem resumo de edição
 
(4 revisões intermediárias por 2 usuários não estão sendo mostradas)
Linha 1: Linha 1:
* Texto original: https://github.com/digital-guard/preserv/blob/main/docs/pt/man-makeConf.md
Os arquivos <code>make_conf.yaml</code> têm como finalidade principal a conversão automática para [https://en.wikipedia.org/wiki/Make_(software)#Makefile ''makefile''], e, secundariamente, conversões para geração de &quot;conteúdo esqueleto&quot; do README e de e-mails do ''workflow'' de aprovação.
Os arquivos <code>make_conf.yaml</code> têm como finalidade principal a conversão automática para [https://en.wikipedia.org/wiki/Make_(software)#Makefile ''makefile''], e, secundariamente, conversões para geração de &quot;conteúdo esqueleto&quot; do README e de e-mails do ''workflow'' de aprovação.


== Resumo da ferramenta ==
== Resumo da ferramenta ==


Os dados recebidos de diferentes doadores apresentam diferentes formatos e estruturas. Na Digital-Guard, por outro lado, criamos uma estrutura padrão para que os dados &quot;conversem&quot; e sejam comparáveis entre si... A compatibilidade dos dados é um aspecto fundamental, mas não podemos devolver os dados para os doadores dizendo &quot;coloque no formato padrão&quot;. É uma condição de trabalho que a Digital-Guard se propôs a enfrentar. Enfrentamos o desafio através da implementação de &quot;motores de conversão&quot;, que são softwares que convertem dados de outros formatos para o formato e estrutura padronizados.
Os dados recebidos de diferentes doadores apresentam diferentes formatos e estruturas. Na [[Documentação Digital-guard|Digital-Guard]], por outro lado, criamos uma estrutura padrão para que os dados &quot;conversem&quot; e sejam comparáveis entre si... A compatibilidade dos dados é um aspecto fundamental, mas não podemos devolver os dados para os doadores dizendo &quot;coloque no formato padrão&quot;. É uma condição de trabalho que a Digital-Guard se propôs a enfrentar. Enfrentamos o desafio através da implementação de &quot;motores de conversão&quot;, que são softwares que convertem dados de outros formatos para o formato e estrutura padronizados.


Uma outra condição é a preservação: os dados originais são guardados por 20 anos, e qualquer um que desejar, hoje ou no futuro, recuperar os dados e p
Outra condição é a preservação: os dados originais são guardados por 20 anos, e qualquer um que desejar, hoje ou no futuro, recuperar os dados, poderá fazê-lo.


Os ''makefiles'' rodam softwares padronizados (ex. [https://postgis.net/docs/using_postgis_dbmanagement.html#shp2pgsql_usage shp2pgsql]), com ampla comunidade de usuários de geoprocessamento e Unix, consolidados por mais de 10 anos de domínio público, '''garantindo [https://pt.wikipedia.org/wiki/Reprodutibilidade reprodutibilidade] da ingestão em banco de dados PostgreSQL+PostGIS'''.
Os ''makefiles'' rodam softwares padronizados (ex. [https://postgis.net/docs/using_postgis_dbmanagement.html#shp2pgsql_usage shp2pgsql]), com ampla comunidade de usuários de geoprocessamento e Unix, consolidados por mais de 10 anos de domínio público, '''garantindo [https://pt.wikipedia.org/wiki/Reprodutibilidade reprodutibilidade] da ingestão em banco de dados PostgreSQL+PostGIS'''.
JSONs de '''configuração WFS OpenAdressess podem ser convertidos''' para ''make_conf''. Ver exemplos do estado de São Paulo no Brasil, https://github.com/openaddresses/openaddresses/tree/master/sources/br/sp


== Formato ==
== Formato ==
Linha 45: Linha 49:
Comumente, cada layer é especificado pelas seguintes chaves:
Comumente, cada layer é especificado pelas seguintes chaves:


* <code>layer:</code> nome padronizado do ''layer'', conforme tabela dos [[ftypes.md|'''''feature types''''']].
* <code>layer:</code> nome padronizado do ''layer'', conforme tabela dos '''''[[dg:AsIs feature types|feature types]]'''''.
** <code>subtype:</code> completeza do layer com relação a dados-core do sponsor: full, ext ou none. Dados complementares (cadastrais) aos dados-core são descritos pelos valores: cmpl, noid e none.
** <code>subtype:</code> completeza do layer com relação a dados-core do sponsor: full, ext ou none. Dados complementares (cadastrais) aos dados-core são descritos pelos valores: cmpl, noid e none.
** <code>method:</code> método de conversão utilizado para a ingestão de <code>file</code>. Os mais comuns são shp2sql e ogr2ogr. Outros disponíveis são csv2sql e ogrWshp.
** <code>method:</code> método de conversão utilizado para a ingestão de <code>file</code>. Os mais comuns são shp2sql e ogr2ogr. Outros disponíveis são csv2sql e ogrWshp.
Linha 61: Linha 65:


* <code>orig_subfilename:</code> nome do arquivo para o caso de <code>file</code> possuir arquivo compactado dentro de arquivo compactado.
* <code>orig_subfilename:</code> nome do arquivo para o caso de <code>file</code> possuir arquivo compactado dentro de arquivo compactado.
* <code>join_id:</code> nome da coluna utilizada para correlacionar um layer e seu respectivo layer complementar(cadastral).
* <code>join_id:</code> nome da coluna utilizada para correlacionar um layer e seu respectivo layer complementar (cadastral).
* <code>orig_ext:</code> utilizada em algumas situações com o método ogr2ogr para indicar a extensão do arquivo.
* <code>orig_ext:</code> utilizada em algumas situações com o método ogr2ogr para indicar a extensão do arquivo.
* <code>method_opts:</code> opções para os programas shp2pgsql (utilizado pelo método shp2sql) e xlsx2csv (utilizado por csv2sql na conversão de um arquivo xlsx para csv, quando combinado com orig_ext: .xlsx).
* <code>method_opts:</code> opções para os programas shp2pgsql (utilizado pelo método shp2sql) e xlsx2csv (utilizado por csv2sql na conversão de um arquivo xlsx para csv, quando combinado com orig_ext: .xlsx).
Linha 90: Linha 94:


* Uso do makefile como [https://en.wikipedia.org/wiki/Extract,_transform,_load ETL] ...
* Uso do makefile como [https://en.wikipedia.org/wiki/Extract,_transform,_load ETL] ...
* Semântica dos dados-origem e dos dados gerados ... ver [http://git.digital-guard.org/preserv/blob/main/docs/pt/ftypes.md '''''feature types'''''].
* Semântica dos dados-origem e dos dados gerados ... ver '''''[[dg:AsIs feature types|feature types]]'''''.




Linha 106: Linha 110:
* https://github.com/openaddresses/openaddresses/blob/master/CONTRIBUTING.md
* https://github.com/openaddresses/openaddresses/blob/master/CONTRIBUTING.md
* ...
* ...
[[Categoria:Digital-guard]]
[[Categoria:Manuais]]
4

edições