2 391
edições
m
sem sumário de edição
mSem resumo de edição |
|||
| Linha 1: | Linha 1: | ||
== Pré Ingestão == | |||
== Resumo geral e opções == | |||
: Carlos, Luiz e Igor favor '''refazer''' ou revisar esta seção. | |||
O workflow completo envolve diversas etapas, que no futuro poderão vir automartizadas pelo [[Airflow]], mas por hora precisam ser realizadas por uma pessoa previamente treinada no uso do console Linux. | |||
No dia-a-dia da Digita-guard são 3 três serviços relativamente independentes, que não precisam ser realizados simultaneamente: | |||
# Pré-Ingestão: são tarefas de preparo dos metadados e dos arquivos de ''download''. | |||
# Ingestão: leva os dados externos (da doação) para dentro do banco SQL, viabilizando todas as demais ações. | |||
# Publicação: é a ação mais importante, entrega o produto. | |||
Demais ações são auxiliares, para manutenção da base, do ''sandbox'' ou integração com outros recursos. | |||
--------- | |||
== Pré-Ingestão == | |||
=== Atualização do optim === | === Atualização do optim === | ||
| Linha 122: | Linha 138: | ||
</syntaxhighlight> | </syntaxhighlight> | ||
=== Exemplo do pk42.01 === | ==== Exemplo do pk42.01 ==== | ||
Verificando a situação no filesystem: | Verificando a situação no filesystem: | ||
| Linha 149: | Linha 165: | ||
make all_joins # para executar todos os joins ou se existir a necessidade.</syntaxhighlight> | make all_joins # para executar todos os joins ou se existir a necessidade.</syntaxhighlight> | ||
=== Exemplo do pk0004.01 (OpenStreetMap) === | ==== Exemplo do pk0004.01 (OpenStreetMap) ==== | ||
<syntaxhighlight lang="sh">make fix_permissions # vai solicitar sudor | <syntaxhighlight lang="sh">make fix_permissions # vai solicitar sudor | ||