4
edições
(Criou página com 'Os arquivos <code>make_conf.yaml</code> têm como finalidade principal a conversão automática para [https://en.wikipedia.org/wiki/Make_(software)#Makefile ''makefile''], e, secundariamente, conversões para geração de "conteúdo esqueleto" do README e de e-mails do ''workflow'' de aprovação. == Resumo da ferramenta == Os dados recebidos de diferentes doadores apresentam diferentes formatos e estruturas. Na Digital-Guard, por outro lado, criamos uma estr...') |
Sem resumo de edição |
||
(4 revisões intermediárias por 2 usuários não estão sendo mostradas) | |||
Linha 1: | Linha 1: | ||
* Texto original: https://github.com/digital-guard/preserv/blob/main/docs/pt/man-makeConf.md | |||
Os arquivos <code>make_conf.yaml</code> têm como finalidade principal a conversão automática para [https://en.wikipedia.org/wiki/Make_(software)#Makefile ''makefile''], e, secundariamente, conversões para geração de "conteúdo esqueleto" do README e de e-mails do ''workflow'' de aprovação. | Os arquivos <code>make_conf.yaml</code> têm como finalidade principal a conversão automática para [https://en.wikipedia.org/wiki/Make_(software)#Makefile ''makefile''], e, secundariamente, conversões para geração de "conteúdo esqueleto" do README e de e-mails do ''workflow'' de aprovação. | ||
== Resumo da ferramenta == | == Resumo da ferramenta == | ||
Os dados recebidos de diferentes doadores apresentam diferentes formatos e estruturas. Na Digital-Guard, por outro lado, criamos uma estrutura padrão para que os dados "conversem" e sejam comparáveis entre si... A compatibilidade dos dados é um aspecto fundamental, mas não podemos devolver os dados para os doadores dizendo "coloque no formato padrão". É uma condição de trabalho que a Digital-Guard se propôs a enfrentar. Enfrentamos o desafio através da implementação de "motores de conversão", que são softwares que convertem dados de outros formatos para o formato e estrutura padronizados. | Os dados recebidos de diferentes doadores apresentam diferentes formatos e estruturas. Na [[Documentação Digital-guard|Digital-Guard]], por outro lado, criamos uma estrutura padrão para que os dados "conversem" e sejam comparáveis entre si... A compatibilidade dos dados é um aspecto fundamental, mas não podemos devolver os dados para os doadores dizendo "coloque no formato padrão". É uma condição de trabalho que a Digital-Guard se propôs a enfrentar. Enfrentamos o desafio através da implementação de "motores de conversão", que são softwares que convertem dados de outros formatos para o formato e estrutura padronizados. | ||
Outra condição é a preservação: os dados originais são guardados por 20 anos, e qualquer um que desejar, hoje ou no futuro, recuperar os dados, poderá fazê-lo. | |||
Os ''makefiles'' rodam softwares padronizados (ex. [https://postgis.net/docs/using_postgis_dbmanagement.html#shp2pgsql_usage shp2pgsql]), com ampla comunidade de usuários de geoprocessamento e Unix, consolidados por mais de 10 anos de domínio público, '''garantindo [https://pt.wikipedia.org/wiki/Reprodutibilidade reprodutibilidade] da ingestão em banco de dados PostgreSQL+PostGIS'''. | Os ''makefiles'' rodam softwares padronizados (ex. [https://postgis.net/docs/using_postgis_dbmanagement.html#shp2pgsql_usage shp2pgsql]), com ampla comunidade de usuários de geoprocessamento e Unix, consolidados por mais de 10 anos de domínio público, '''garantindo [https://pt.wikipedia.org/wiki/Reprodutibilidade reprodutibilidade] da ingestão em banco de dados PostgreSQL+PostGIS'''. | ||
JSONs de '''configuração WFS OpenAdressess podem ser convertidos''' para ''make_conf''. Ver exemplos do estado de São Paulo no Brasil, https://github.com/openaddresses/openaddresses/tree/master/sources/br/sp | |||
== Formato == | == Formato == | ||
Linha 45: | Linha 49: | ||
Comumente, cada layer é especificado pelas seguintes chaves: | Comumente, cada layer é especificado pelas seguintes chaves: | ||
* <code>layer:</code> nome padronizado do ''layer'', conforme tabela dos | * <code>layer:</code> nome padronizado do ''layer'', conforme tabela dos '''''[[dg:AsIs feature types|feature types]]'''''. | ||
** <code>subtype:</code> completeza do layer com relação a dados-core do sponsor: full, ext ou none. Dados complementares (cadastrais) aos dados-core são descritos pelos valores: cmpl, noid e none. | ** <code>subtype:</code> completeza do layer com relação a dados-core do sponsor: full, ext ou none. Dados complementares (cadastrais) aos dados-core são descritos pelos valores: cmpl, noid e none. | ||
** <code>method:</code> método de conversão utilizado para a ingestão de <code>file</code>. Os mais comuns são shp2sql e ogr2ogr. Outros disponíveis são csv2sql e ogrWshp. | ** <code>method:</code> método de conversão utilizado para a ingestão de <code>file</code>. Os mais comuns são shp2sql e ogr2ogr. Outros disponíveis são csv2sql e ogrWshp. | ||
Linha 61: | Linha 65: | ||
* <code>orig_subfilename:</code> nome do arquivo para o caso de <code>file</code> possuir arquivo compactado dentro de arquivo compactado. | * <code>orig_subfilename:</code> nome do arquivo para o caso de <code>file</code> possuir arquivo compactado dentro de arquivo compactado. | ||
* <code>join_id:</code> nome da coluna utilizada para correlacionar um layer e seu respectivo layer complementar(cadastral). | * <code>join_id:</code> nome da coluna utilizada para correlacionar um layer e seu respectivo layer complementar (cadastral). | ||
* <code>orig_ext:</code> utilizada em algumas situações com o método ogr2ogr para indicar a extensão do arquivo. | * <code>orig_ext:</code> utilizada em algumas situações com o método ogr2ogr para indicar a extensão do arquivo. | ||
* <code>method_opts:</code> opções para os programas shp2pgsql (utilizado pelo método shp2sql) e xlsx2csv (utilizado por csv2sql na conversão de um arquivo xlsx para csv, quando combinado com orig_ext: .xlsx). | * <code>method_opts:</code> opções para os programas shp2pgsql (utilizado pelo método shp2sql) e xlsx2csv (utilizado por csv2sql na conversão de um arquivo xlsx para csv, quando combinado com orig_ext: .xlsx). | ||
Linha 90: | Linha 94: | ||
* Uso do makefile como [https://en.wikipedia.org/wiki/Extract,_transform,_load ETL] ... | * Uso do makefile como [https://en.wikipedia.org/wiki/Extract,_transform,_load ETL] ... | ||
* Semântica dos dados-origem e dos dados gerados ... ver | * Semântica dos dados-origem e dos dados gerados ... ver '''''[[dg:AsIs feature types|feature types]]'''''. | ||
Linha 106: | Linha 110: | ||
* https://github.com/openaddresses/openaddresses/blob/master/CONTRIBUTING.md | * https://github.com/openaddresses/openaddresses/blob/master/CONTRIBUTING.md | ||
* ... | * ... | ||
[[Categoria:Digital-guard]] | |||
[[Categoria:Manuais]] |
edições