From 97fef47761fe00daec7dbeb1123e9d8bafda9c9e Mon Sep 17 00:00:00 2001 From: Victor Miguel Rocha Date: Tue, 16 Jul 2024 11:54:18 -0300 Subject: [PATCH 1/2] =?UTF-8?q?adiciona=20descri=C3=A7=C3=A3o=20de=20tabel?= =?UTF-8?q?as=20do=20gtfs=20(#102)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit * adiciona descrição de tabelas do gtfs * [pre-commit.ci] auto fixes from pre-commit.com hooks for more information, see https://pre-commit.ci * atualiza changelog * adiciona data de modificação no flow do gtfs --------- Co-authored-by: pre-commit-ci[bot] <66853113+pre-commit-ci[bot]@users.noreply.github.com> --- pipelines/migration/br_rj_riodejaneiro_gtfs/flows.py | 2 ++ queries/models/gtfs/CHANGELOG.md | 6 ++++++ queries/models/gtfs/schema.yml | 9 +++++++++ 3 files changed, 17 insertions(+) diff --git a/pipelines/migration/br_rj_riodejaneiro_gtfs/flows.py b/pipelines/migration/br_rj_riodejaneiro_gtfs/flows.py index dc551d82..bdd8bc59 100644 --- a/pipelines/migration/br_rj_riodejaneiro_gtfs/flows.py +++ b/pipelines/migration/br_rj_riodejaneiro_gtfs/flows.py @@ -1,6 +1,8 @@ # -*- coding: utf-8 -*- """ Flows for gtfs + +DBT: 2024-07-15 """ from prefect import Parameter, case, task diff --git a/queries/models/gtfs/CHANGELOG.md b/queries/models/gtfs/CHANGELOG.md index 5f3c31cf..ad718a4f 100644 --- a/queries/models/gtfs/CHANGELOG.md +++ b/queries/models/gtfs/CHANGELOG.md @@ -1,5 +1,11 @@ # Changelog - gtfs +## [1.1.5] - 2024-07-15 + +### Adicionado + +- Adicionadas descrições das tabelas `servicos_sentido`, `ordem_servico_viagens_planejadas`, `ordem_servico_diaria` (https://github.com/prefeitura-rio/pipelines_rj_smtr/pull/102) + ## [1.1.4] - 2024-05-22 ### Alterado diff --git a/queries/models/gtfs/schema.yml b/queries/models/gtfs/schema.yml index d33770b8..0e5f1342 100644 --- a/queries/models/gtfs/schema.yml +++ b/queries/models/gtfs/schema.yml @@ -365,6 +365,15 @@ models: - name: versao_modelo description: "Código de controle de versão (SHA do GitHub)." + - name: ordem_servico_diaria + description: "Dados diários das linhas presentes no município." + + - name: ordem_servico_viagens_planejadas + description: "Viagens planejadas das linhas presentes no município." + + - name: servicos_sentido + description: "Sentido dos serviços (I - Ida, V - Volta, C - Circular)" + - name: ordem_servico_gtfs description: "Dados das linhas presentes no município." columns: From f9af0818a672ad3ef560f78d9f425175d88f75bf Mon Sep 17 00:00:00 2001 From: Rodrigo Cunha <66736583+eng-rodrigocunha@users.noreply.github.com> Date: Tue, 16 Jul 2024 13:20:10 -0300 Subject: [PATCH 2/2] =?UTF-8?q?Altera=C3=A7=C3=A3o=20de=20estrutura=20e=20?= =?UTF-8?q?modelos=20`indicadores=5Fcontinuados=5Fegp`=20(#104)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit * commit inicial * atualiza schema * atualiza changelog --- queries/dbt_project.yml | 8 ++--- .../indicadores_continuados_egp/CHANGELOG.md | 10 ++++++ .../indicadores_continuados_egp/schema.yml | 35 ++++++++++++++++++- .../staging}/frota_operante.sql | 6 ++-- .../idade_media_frota_operante_onibus.sql | 10 +++--- .../staging}/passageiro_gratuidade.sql | 16 ++++----- .../staging}/passageiro_pagante.sql | 15 ++++---- .../staging}/schema.yml | 0 8 files changed, 68 insertions(+), 32 deletions(-) create mode 100644 queries/models/indicadores_continuados_egp/CHANGELOG.md rename queries/models/{indicadores_continuados_egp_staging => indicadores_continuados_egp/staging}/frota_operante.sql (75%) rename queries/models/{indicadores_continuados_egp_staging => indicadores_continuados_egp/staging}/idade_media_frota_operante_onibus.sql (84%) rename queries/models/{indicadores_continuados_egp_staging => indicadores_continuados_egp/staging}/passageiro_gratuidade.sql (71%) rename queries/models/{indicadores_continuados_egp_staging => indicadores_continuados_egp/staging}/passageiro_pagante.sql (73%) rename queries/models/{indicadores_continuados_egp_staging => indicadores_continuados_egp/staging}/schema.yml (100%) diff --git a/queries/dbt_project.yml b/queries/dbt_project.yml index c2b20c52..2b583341 100644 --- a/queries/dbt_project.yml +++ b/queries/dbt_project.yml @@ -252,13 +252,13 @@ models: +materialized: incremental +incremental_strategy: insert_overwrite +schema: gtfs - indicadores_continuados_egp_staging: - +materialized: incremental - +incremental_strategy: insert_overwrite - +schema: indicadores_continuados_egp_staging indicadores_continuados_egp: +materialized: view +schema: indicadores_continuados_egp + staging: + +materialized: incremental + +incremental_strategy: insert_overwrite + +schema: indicadores_continuados_egp_staging projeto_subsidio_sppo_encontro_contas: +materialized: table +schema: projeto_subsidio_sppo_encontro_contas diff --git a/queries/models/indicadores_continuados_egp/CHANGELOG.md b/queries/models/indicadores_continuados_egp/CHANGELOG.md new file mode 100644 index 00000000..abdbf01b --- /dev/null +++ b/queries/models/indicadores_continuados_egp/CHANGELOG.md @@ -0,0 +1,10 @@ +# Changelog - indicadores_continuados_egp + +## [1.0.0] - 2024-07-16 + +### Alterado + +- Alterada estrutura do modelo, movendo arquivos de `staging` (https://github.com/prefeitura-rio/pipelines_rj_smtr/pull/104) +- Alterado parâmetro da função `CURRENT_DATE()` para `CURRENT_DATE("America/Sao_Paulo")`, de forma a garantir a data correta (https://github.com/prefeitura-rio/pipelines_rj_smtr/pull/104) +- Alterados modelos `passageiro_gratuidade.sql` e `passageiro_pagante.sql` em razão da nova coluna `modo` no modelo `consorcios.sql` (https://github.com/prefeitura-rio/pipelines_rj_smtr/pull/104) +- Alterado `schema.yml` para incluir descrição do modelo `indicadores_mes_pivot.sql` (https://github.com/prefeitura-rio/pipelines_rj_smtr/pull/104) \ No newline at end of file diff --git a/queries/models/indicadores_continuados_egp/schema.yml b/queries/models/indicadores_continuados_egp/schema.yml index dfe41f68..a929507d 100644 --- a/queries/models/indicadores_continuados_egp/schema.yml +++ b/queries/models/indicadores_continuados_egp/schema.yml @@ -15,4 +15,37 @@ models: - name: valor description: "Valor do indicador" - name: data_ultima_atualizacao - description: "Data da última atualização do indicador" \ No newline at end of file + description: "Data da última atualização do indicador" + - name: indicadores_mes_pivot + description: "Indicadores mensais vinculados ao Escritório de Gerenciamento de Projetos e de Metas (EGP-Rio) pivotados por mês" + columns: + - name: indicador + description: "Nome do indicador" + - name: modo + description: "Modo de transporte (quando aplicável)" + - name: ano + description: "Ano de apuração do indicador" + - name: Janeiro + description: "Valor apurado do indicador no mês de janeiro" + - name: Fevereiro + description: "Valor apurado do indicador no mês de fevereiro" + - name: Marco + description: "Valor apurado do indicador no mês de março" + - name: Abril + description: "Valor apurado do indicador no mês de abril" + - name: Maio + description: "Valor apurado do indicador no mês de maio" + - name: Junho + description: "Valor apurado do indicador no mês de junho" + - name: Julho + description: "Valor apurado do indicador no mês de julho" + - name: Agosto + description: "Valor apurado do indicador no mês de agosto" + - name: Setembro + description: "Valor apurado do indicador no mês de setembro" + - name: Outubro + description: "Valor apurado do indicador no mês de outubro" + - name: Novembro + description: "Valor apurado do indicador no mês de novembro" + - name: Dezembro + description: "Valor apurado do indicador no mês de dezembro" \ No newline at end of file diff --git a/queries/models/indicadores_continuados_egp_staging/frota_operante.sql b/queries/models/indicadores_continuados_egp/staging/frota_operante.sql similarity index 75% rename from queries/models/indicadores_continuados_egp_staging/frota_operante.sql rename to queries/models/indicadores_continuados_egp/staging/frota_operante.sql index 8167e9f7..cbfcd853 100644 --- a/queries/models/indicadores_continuados_egp_staging/frota_operante.sql +++ b/queries/models/indicadores_continuados_egp/staging/frota_operante.sql @@ -13,7 +13,7 @@ SELECT EXTRACT(MONTH FROM data) AS mes, "Ônibus" AS modo, COUNT(DISTINCT id_veiculo) AS quantidade_veiculo_mes, - CURRENT_DATE() AS data_ultima_atualizacao, + CURRENT_DATE("America/Sao_Paulo") AS data_ultima_atualizacao, '{{ var("version") }}' as versao FROM {{ ref('viagem_completa') }} @@ -22,9 +22,9 @@ WHERE {% if is_incremental() %} data BETWEEN DATE_TRUNC(DATE("{{ var("start_date") }}"), MONTH) AND LAST_DAY(DATE("{{ var("end_date") }}"), MONTH) - AND data < DATE_TRUNC(CURRENT_DATE(), MONTH) + AND data < DATE_TRUNC(CURRENT_DATE("America/Sao_Paulo"), MONTH) {% else %} - data < DATE_TRUNC(CURRENT_DATE(), MONTH) + data < DATE_TRUNC(CURRENT_DATE("America/Sao_Paulo"), MONTH) {% endif %} GROUP BY 2, diff --git a/queries/models/indicadores_continuados_egp_staging/idade_media_frota_operante_onibus.sql b/queries/models/indicadores_continuados_egp/staging/idade_media_frota_operante_onibus.sql similarity index 84% rename from queries/models/indicadores_continuados_egp_staging/idade_media_frota_operante_onibus.sql rename to queries/models/indicadores_continuados_egp/staging/idade_media_frota_operante_onibus.sql index 7fe8a3ce..9c954ae9 100644 --- a/queries/models/indicadores_continuados_egp_staging/idade_media_frota_operante_onibus.sql +++ b/queries/models/indicadores_continuados_egp/staging/idade_media_frota_operante_onibus.sql @@ -21,9 +21,9 @@ WITH {% if is_incremental() %} data BETWEEN DATE_TRUNC(DATE("{{ var("start_date") }}"), MONTH) AND LAST_DAY(DATE("{{ var("end_date") }}"), MONTH) - AND data < DATE_TRUNC(CURRENT_DATE(), MONTH) + AND data < DATE_TRUNC(CURRENT_DATE("America/Sao_Paulo"), MONTH) {% else %} - data < DATE_TRUNC(CURRENT_DATE(), MONTH) + data < DATE_TRUNC(CURRENT_DATE("America/Sao_Paulo"), MONTH) {% endif %} GROUP BY 1, @@ -41,9 +41,9 @@ WITH {% if is_incremental() %} data BETWEEN DATE_TRUNC(DATE("{{ var("start_date") }}"), MONTH) AND LAST_DAY(DATE("{{ var("end_date") }}"), MONTH) - AND data < DATE_TRUNC(CURRENT_DATE(), MONTH) + AND data < DATE_TRUNC(CURRENT_DATE("America/Sao_Paulo"), MONTH) {% else %} - data < DATE_TRUNC(CURRENT_DATE(), MONTH) + data < DATE_TRUNC(CURRENT_DATE("America/Sao_Paulo"), MONTH) {% endif %} ), -- 3. Calcula a idade de todos os veículos para a data de referência @@ -72,7 +72,7 @@ SELECT EXTRACT(MONTH FROM data) AS mes, "Ônibus" AS modo, ROUND(AVG(idade),2) AS idade_media_veiculo_mes, - CURRENT_DATE() AS data_ultima_atualizacao, + CURRENT_DATE("America/Sao_Paulo") AS data_ultima_atualizacao, '{{ var("version") }}' as versao FROM idade_frota diff --git a/queries/models/indicadores_continuados_egp_staging/passageiro_gratuidade.sql b/queries/models/indicadores_continuados_egp/staging/passageiro_gratuidade.sql similarity index 71% rename from queries/models/indicadores_continuados_egp_staging/passageiro_gratuidade.sql rename to queries/models/indicadores_continuados_egp/staging/passageiro_gratuidade.sql index d82ae199..5b8295ec 100644 --- a/queries/models/indicadores_continuados_egp_staging/passageiro_gratuidade.sql +++ b/queries/models/indicadores_continuados_egp/staging/passageiro_gratuidade.sql @@ -8,18 +8,14 @@ )}} WITH consorcio AS ( - SELECT + SELECT id_consorcio, modo FROM - {{ ref("consorcios") }} AS c - -- TODO: Adicionar modo na tabela consorcios - LEFT JOIN - {{ ref("operadoras") }} AS o - ON - c.id_consorcio_jae = o.id_operadora_jae + {{ ref("consorcios") }} + -- rj-smtr.cadastro.consorcios WHERE - consorcio IN ("MobiRio", "Internorte", "Intersul", "Santa Cruz", "Transcarioca") + modo IN ("Ônibus", "BRT") ) SELECT DATE_TRUNC(data, MONTH) AS data, @@ -30,7 +26,7 @@ SELECT rdo.qtd_grt_estud_federal + rdo.qtd_grt_estud_estadual + rdo.qtd_grt_estud_municipal + rdo.qtd_grt_rodoviario + rdo.qtd_grt_passe_livre_universitario) AS quantidade_passageiro_gratuidade_mes, - CURRENT_DATE() AS data_ultima_atualizacao, + CURRENT_DATE("America/Sao_Paulo") AS data_ultima_atualizacao, '{{ var("version") }}' as versao FROM consorcio AS c @@ -43,7 +39,7 @@ WHERE {% if is_incremental() %} AND rdo.data BETWEEN DATE_TRUNC(DATE("{{ var("start_date") }}"), MONTH) AND LAST_DAY(DATE("{{ var("end_date") }}"), MONTH) - AND rdo.data < DATE_TRUNC(CURRENT_DATE(), MONTH) + AND rdo.data < DATE_TRUNC(CURRENT_DATE("America/Sao_Paulo"), MONTH) {% endif %} GROUP BY data, diff --git a/queries/models/indicadores_continuados_egp_staging/passageiro_pagante.sql b/queries/models/indicadores_continuados_egp/staging/passageiro_pagante.sql similarity index 73% rename from queries/models/indicadores_continuados_egp_staging/passageiro_pagante.sql rename to queries/models/indicadores_continuados_egp/staging/passageiro_pagante.sql index 9e2c323b..5f2233dc 100644 --- a/queries/models/indicadores_continuados_egp_staging/passageiro_pagante.sql +++ b/queries/models/indicadores_continuados_egp/staging/passageiro_pagante.sql @@ -8,17 +8,14 @@ )}} WITH consorcio AS ( - SELECT + SELECT id_consorcio, modo FROM - {{ ref("consorcios") }} AS c - LEFT JOIN - {{ ref("operadoras") }} AS o - ON - c.id_consorcio_jae = o.id_operadora_jae + {{ ref("consorcios") }} + -- rj-smtr.cadastro.consorcios WHERE - consorcio IN ("MobiRio", "Internorte", "Intersul", "Santa Cruz", "Transcarioca") + modo IN ("Ônibus", "BRT") ) SELECT DATE_TRUNC(data, MONTH) AS data, @@ -28,7 +25,7 @@ SELECT SUM(qtd_buc_1_perna+qtd_buc_2_perna_integracao+ qtd_buc_supervia_1_perna+qtd_buc_supervia_2_perna_integracao+ qtd_cartoes_perna_unica_e_demais+qtd_pagamentos_especie) AS quantidade_passageiro_pagante_mes, - CURRENT_DATE() AS data_ultima_atualizacao, + CURRENT_DATE("America/Sao_Paulo") AS data_ultima_atualizacao, '{{ var("version") }}' as versao FROM consorcio AS c @@ -41,7 +38,7 @@ WHERE {% if is_incremental() %} AND rdo.data BETWEEN DATE_TRUNC(DATE("{{ var("start_date") }}"), MONTH) AND LAST_DAY(DATE("{{ var("end_date") }}"), MONTH) - AND rdo.data < DATE_TRUNC(CURRENT_DATE(), MONTH) + AND rdo.data < DATE_TRUNC(CURRENT_DATE("America/Sao_Paulo"), MONTH) {% endif %} GROUP BY data, diff --git a/queries/models/indicadores_continuados_egp_staging/schema.yml b/queries/models/indicadores_continuados_egp/staging/schema.yml similarity index 100% rename from queries/models/indicadores_continuados_egp_staging/schema.yml rename to queries/models/indicadores_continuados_egp/staging/schema.yml