Alteração de estrutura e modelos indicadores_continuados_egp (#104)

* commit inicial * atualiza schema * atualiza changelog
prefeitura-rio · Jul 16, 2024 · f9af081 · f9af081
1 parent 97fef47
commit f9af081
Show file tree

Hide file tree

Showing 8 changed files with 68 additions and 32 deletions.
diff --git a/queries/dbt_project.yml b/queries/dbt_project.yml
@@ -252,13 +252,13 @@ models:
       +materialized: incremental
       +incremental_strategy: insert_overwrite
       +schema: gtfs
-    indicadores_continuados_egp_staging:
-      +materialized: incremental
-      +incremental_strategy: insert_overwrite
-      +schema: indicadores_continuados_egp_staging
     indicadores_continuados_egp:
       +materialized: view
       +schema: indicadores_continuados_egp
+      staging:
+        +materialized: incremental
+        +incremental_strategy: insert_overwrite
+        +schema: indicadores_continuados_egp_staging
     projeto_subsidio_sppo_encontro_contas:
       +materialized: table
       +schema: projeto_subsidio_sppo_encontro_contas

diff --git a/queries/models/indicadores_continuados_egp/CHANGELOG.md b/queries/models/indicadores_continuados_egp/CHANGELOG.md
@@ -0,0 +1,10 @@
+# Changelog - indicadores_continuados_egp
+
+## [1.0.0] - 2024-07-16
+
+### Alterado
+
+- Alterada estrutura do modelo, movendo arquivos de `staging` (https://github.com/prefeitura-rio/pipelines_rj_smtr/pull/104)
+- Alterado parâmetro da função `CURRENT_DATE()` para `CURRENT_DATE("America/Sao_Paulo")`, de forma a garantir a data correta (https://github.com/prefeitura-rio/pipelines_rj_smtr/pull/104)
+- Alterados modelos `passageiro_gratuidade.sql` e `passageiro_pagante.sql` em razão da nova coluna `modo` no modelo `consorcios.sql` (https://github.com/prefeitura-rio/pipelines_rj_smtr/pull/104)
+- Alterado `schema.yml` para incluir descrição do modelo `indicadores_mes_pivot.sql` (https://github.com/prefeitura-rio/pipelines_rj_smtr/pull/104)
diff --git a/queries/models/indicadores_continuados_egp/schema.yml b/queries/models/indicadores_continuados_egp/schema.yml
@@ -15,4 +15,37 @@ models:
       - name: valor
         description: "Valor do indicador"
       - name: data_ultima_atualizacao
-        description: "Data da última atualização do indicador"
+        description: "Data da última atualização do indicador"
+  - name: indicadores_mes_pivot
+    description: "Indicadores mensais vinculados ao Escritório de Gerenciamento de Projetos e de Metas (EGP-Rio) pivotados por mês"
+    columns:
+      - name: indicador
+        description: "Nome do indicador"
+      - name: modo
+        description: "Modo de transporte (quando aplicável)"
+      - name: ano
+        description: "Ano de apuração do indicador"
+      - name: Janeiro
+        description: "Valor apurado do indicador no mês de janeiro"
+      - name: Fevereiro
+        description: "Valor apurado do indicador no mês de fevereiro"
+      - name: Marco
+        description: "Valor apurado do indicador no mês de março"
+      - name: Abril
+        description: "Valor apurado do indicador no mês de abril"
+      - name: Maio
+        description: "Valor apurado do indicador no mês de maio"
+      - name: Junho
+        description: "Valor apurado do indicador no mês de junho"
+      - name: Julho
+        description: "Valor apurado do indicador no mês de julho"
+      - name: Agosto
+        description: "Valor apurado do indicador no mês de agosto"
+      - name: Setembro
+        description: "Valor apurado do indicador no mês de setembro"
+      - name: Outubro
+        description: "Valor apurado do indicador no mês de outubro"
+      - name: Novembro
+        description: "Valor apurado do indicador no mês de novembro"
+      - name: Dezembro
+        description: "Valor apurado do indicador no mês de dezembro"
diff --git a/...ontinuados_egp_staging/frota_operante.sql → ...ontinuados_egp/staging/frota_operante.sql b/...ontinuados_egp_staging/frota_operante.sql → ...ontinuados_egp/staging/frota_operante.sql
@@ -13,7 +13,7 @@ SELECT
   EXTRACT(MONTH FROM data) AS mes,
   "Ônibus" AS modo,
   COUNT(DISTINCT id_veiculo) AS quantidade_veiculo_mes,
-  CURRENT_DATE() AS data_ultima_atualizacao,
+  CURRENT_DATE("America/Sao_Paulo") AS data_ultima_atualizacao,
   '{{ var("version") }}' as versao
 FROM
   {{ ref('viagem_completa') }}
@@ -22,9 +22,9 @@ WHERE
 {% if is_incremental() %}
   data BETWEEN DATE_TRUNC(DATE("{{ var("start_date") }}"), MONTH)
   AND LAST_DAY(DATE("{{ var("end_date") }}"), MONTH)
-  AND data < DATE_TRUNC(CURRENT_DATE(), MONTH)
+  AND data < DATE_TRUNC(CURRENT_DATE("America/Sao_Paulo"), MONTH)
 {% else %}
-  data < DATE_TRUNC(CURRENT_DATE(), MONTH)
+  data < DATE_TRUNC(CURRENT_DATE("America/Sao_Paulo"), MONTH)
 {% endif %}
 GROUP BY
   2,

diff --git a/...ing/idade_media_frota_operante_onibus.sql → ...ing/idade_media_frota_operante_onibus.sql b/...ing/idade_media_frota_operante_onibus.sql → ...ing/idade_media_frota_operante_onibus.sql
@@ -21,9 +21,9 @@ WITH
   {% if is_incremental() %}
     data BETWEEN DATE_TRUNC(DATE("{{ var("start_date") }}"), MONTH)
     AND LAST_DAY(DATE("{{ var("end_date") }}"), MONTH)
-    AND data < DATE_TRUNC(CURRENT_DATE(), MONTH)
+    AND data < DATE_TRUNC(CURRENT_DATE("America/Sao_Paulo"), MONTH)
   {% else %}
-    data < DATE_TRUNC(CURRENT_DATE(), MONTH)
+    data < DATE_TRUNC(CURRENT_DATE("America/Sao_Paulo"), MONTH)
   {% endif %}
   GROUP BY
     1,
@@ -41,9 +41,9 @@ WITH
   {% if is_incremental() %}
     data BETWEEN DATE_TRUNC(DATE("{{ var("start_date") }}"), MONTH)
     AND LAST_DAY(DATE("{{ var("end_date") }}"), MONTH)
-    AND data < DATE_TRUNC(CURRENT_DATE(), MONTH)
+    AND data < DATE_TRUNC(CURRENT_DATE("America/Sao_Paulo"), MONTH)
   {% else %}
-    data < DATE_TRUNC(CURRENT_DATE(), MONTH)
+    data < DATE_TRUNC(CURRENT_DATE("America/Sao_Paulo"), MONTH)
   {% endif %}
   ),
   -- 3. Calcula a idade de todos os veículos para a data de referência
@@ -72,7 +72,7 @@ SELECT
   EXTRACT(MONTH FROM data) AS mes,
   "Ônibus" AS modo,
   ROUND(AVG(idade),2) AS idade_media_veiculo_mes,
-  CURRENT_DATE() AS data_ultima_atualizacao,
+  CURRENT_DATE("America/Sao_Paulo") AS data_ultima_atualizacao,
   '{{ var("version") }}' as versao
 FROM
   idade_frota

diff --git a/...dos_egp_staging/passageiro_gratuidade.sql → ...dos_egp/staging/passageiro_gratuidade.sql b/...dos_egp_staging/passageiro_gratuidade.sql → ...dos_egp/staging/passageiro_gratuidade.sql
@@ -8,18 +8,14 @@
 )}}
 
 WITH consorcio AS (
-    SELECT
+  SELECT
     id_consorcio,
     modo
   FROM
-    {{ ref("consorcios") }} AS c
-  -- TODO: Adicionar modo na tabela consorcios
-  LEFT JOIN
-    {{ ref("operadoras") }} AS o
-  ON
-    c.id_consorcio_jae = o.id_operadora_jae
+    {{ ref("consorcios") }}
+    -- rj-smtr.cadastro.consorcios
   WHERE
-    consorcio IN ("MobiRio", "Internorte", "Intersul", "Santa Cruz", "Transcarioca")
+    modo IN ("Ônibus", "BRT")
 )
 SELECT
   DATE_TRUNC(data, MONTH) AS data,
@@ -30,7 +26,7 @@ SELECT
       rdo.qtd_grt_estud_federal + rdo.qtd_grt_estud_estadual +
       rdo.qtd_grt_estud_municipal + rdo.qtd_grt_rodoviario +
       rdo.qtd_grt_passe_livre_universitario) AS quantidade_passageiro_gratuidade_mes,
-  CURRENT_DATE() AS data_ultima_atualizacao,
+  CURRENT_DATE("America/Sao_Paulo") AS data_ultima_atualizacao,
   '{{ var("version") }}' as versao
 FROM
   consorcio AS c
@@ -43,7 +39,7 @@ WHERE
   {% if is_incremental() %}
   AND rdo.data BETWEEN DATE_TRUNC(DATE("{{ var("start_date") }}"), MONTH)
   AND LAST_DAY(DATE("{{ var("end_date") }}"), MONTH)
-  AND rdo.data < DATE_TRUNC(CURRENT_DATE(), MONTH)
+  AND rdo.data < DATE_TRUNC(CURRENT_DATE("America/Sao_Paulo"), MONTH)
   {% endif %}
 GROUP BY
   data,

diff --git a/...nuados_egp_staging/passageiro_pagante.sql → ...nuados_egp/staging/passageiro_pagante.sql b/...nuados_egp_staging/passageiro_pagante.sql → ...nuados_egp/staging/passageiro_pagante.sql
@@ -8,17 +8,14 @@
 )}}
 
 WITH consorcio AS (
-    SELECT
+  SELECT
     id_consorcio,
     modo
   FROM
-    {{ ref("consorcios") }} AS c
-  LEFT JOIN
-    {{ ref("operadoras") }} AS o
-  ON
-    c.id_consorcio_jae = o.id_operadora_jae
+    {{ ref("consorcios") }}
+    -- rj-smtr.cadastro.consorcios
   WHERE
-    consorcio IN ("MobiRio", "Internorte", "Intersul", "Santa Cruz", "Transcarioca")
+    modo IN ("Ônibus", "BRT")
 )
 SELECT
   DATE_TRUNC(data, MONTH) AS data,
@@ -28,7 +25,7 @@ SELECT
   SUM(qtd_buc_1_perna+qtd_buc_2_perna_integracao+
       qtd_buc_supervia_1_perna+qtd_buc_supervia_2_perna_integracao+
       qtd_cartoes_perna_unica_e_demais+qtd_pagamentos_especie) AS quantidade_passageiro_pagante_mes,
-  CURRENT_DATE() AS data_ultima_atualizacao,
+  CURRENT_DATE("America/Sao_Paulo") AS data_ultima_atualizacao,
   '{{ var("version") }}' as versao
 FROM
   consorcio AS c
@@ -41,7 +38,7 @@ WHERE
   {% if is_incremental() %}
   AND rdo.data BETWEEN DATE_TRUNC(DATE("{{ var("start_date") }}"), MONTH)
   AND LAST_DAY(DATE("{{ var("end_date") }}"), MONTH)
-  AND rdo.data < DATE_TRUNC(CURRENT_DATE(), MONTH)
+  AND rdo.data < DATE_TRUNC(CURRENT_DATE("America/Sao_Paulo"), MONTH)
   {% endif %}
 GROUP BY
   data,

diff --git a/...adores_continuados_egp_staging/schema.yml → ...adores_continuados_egp/staging/schema.yml b/...adores_continuados_egp_staging/schema.yml → ...adores_continuados_egp/staging/schema.yml