prefeitura-rio · pixuimpou · Jun 4, 2024 · Jun 3, 2024 · Jun 3, 2024 · Jun 3, 2024
diff --git a/pipelines/br_rj_riodejaneiro_bilhetagem/constants.py b/pipelines/br_rj_riodejaneiro_bilhetagem/constants.py
diff --git a/pipelines/br_rj_riodejaneiro_bilhetagem/flows.py b/pipelines/br_rj_riodejaneiro_bilhetagem/flows.py
diff --git a/pipelines/constants.py b/pipelines/constants.py
diff --git a/pipelines/utils/backup/tasks.py b/pipelines/utils/backup/tasks.py
@@ -725,7 +725,7 @@ def create_request_params(
             except GenericGBQException as err:
                 if "404 Not found" in str(err):
                     log("Table Not found, returning id = 0")
-                    last_captured_id = 801035443
+                    last_captured_id = 0
 
             request_params["query"] = request_params["query"].format(
                 last_id=last_captured_id,

diff --git a/queries/dbt_project.yml b/queries/dbt_project.yml
@@ -224,10 +224,10 @@ models:
       +schema: migracao_br_rj_riodejaneiro_rdo_staging
     br_rj_riodejaneiro_bilhetagem:
       +materialized: incremental
-      +schema: migracao_br_rj_riodejaneiro_bilhetagem
+      +schema: br_rj_riodejaneiro_bilhetagem
     br_rj_riodejaneiro_bilhetagem_staging:
       +materialized: view
-      +schema: migracao_br_rj_riodejaneiro_bilhetagem_staging_dbt
+      +schema: br_rj_riodejaneiro_bilhetagem_staging
     dashboard_bilhetagem_implantacao_jae:
       +materialized: table
       +schema: migracao_dashboard_bilhetagem_implantacao_jae
@@ -238,9 +238,9 @@ models:
       +materialized: view
       +schema: migracao_br_rj_riodejaneiro_stu
     cadastro_staging:
-      +schema: migracao_cadastro_staging
+      +schema: cadastro_staging
     cadastro:
-      +schema: migracao_cadastro
+      +schema: cadastro
     br_rj_riodejaneiro_recursos:
       +materialized: incremental
       +schema: migracao_br_rj_riodejaneiro_recursos

diff --git a/queries/models/br_rj_riodejaneiro_bilhetagem/CHANGELOG.md b/queries/models/br_rj_riodejaneiro_bilhetagem/CHANGELOG.md
@@ -1,8 +1,55 @@
 # Changelog - bilhetagem
 
+## [1.2.1] - 2024-05-20
+
+### Corrigido
+- Altera alias da tabela `linha_sem_ressarcimento` no modelo `transacao.sql` (https://github.com/prefeitura-rio/queries-rj-smtr/pull/317)
+- Corrige select servico no modelo `ordem_pagamento_servico_operador_dia.sql` ((https://github.com/prefeitura-rio/queries-rj-smtr/pull/317)
+
+## [1.2.0] - 2024-05-20
+
+### Alterado
+- Adiciona colunas `servico_jae` e `descricao_servico_jae` nos modelos (https://github.com/prefeitura-rio/queries-rj-smtr/pull/311):
+  - `transacao.sql`
+  - `integracao.sql`
+  - `ordem_pagamento_servico_operador_dia.sql`
+  - `passageiros_hora.sql`
+  -  `gps_validador.sql`
+  -  `gps_validador_van.sql`
+  -  `staging/gps_validador_aux.sql`
+- Adiciona coluna id_servico_jae nos modelos (https://github.com/prefeitura-rio/queries-rj-smtr/pull/311):
+  -  `gps_validador.sql`
+  -  `gps_validador_van.sql`
+  -  `staging/gps_validador_aux.sql`
+
+- Remove coluna `servico` no modelo de `staging/gps_validador_aux.sql` para pegar o dado da tabela de cadastro
+
+## [1.1.0] - 2024-05-16
+
+### Alterado
+- Adiciona tratamento da coluna id_veiculo nos modelos ` transacao.sql` e `gps_validador.sql` (https://github.com/prefeitura-rio/queries-rj-smtr/pull/297)
+- Adiciona coluna `quantidade_total_transacao` nos modelos `ordem_pagamento_consorcio_dia.sql`, `ordem_pagamento_consorcio_operador_dia.sql` e `ordem_pagamento_dia.sql` (https://github.com/prefeitura-rio/queries-rj-smtr/pull/297)
+- Remove validação do modelo `ordem_pagamento_servico_operador_dia.sql` (https://github.com/prefeitura-rio/queries-rj-smtr/pull/297)
+
+## [1.0.3] - 2024-05-03
+
+### Corrigido
+- Removido tratamento de arredondamento nos valores totais (https://github.com/prefeitura-rio/queries-rj-smtr/pull/294):
+  - `bilhetagem.ordem_pagamento_dia`
+  - `bilhetagem.ordem_pagamento_consorcio_operador_dia`
+  - `bilhetagem.ordem_pagamento_consorcio_dia`
+
+### Alterado
+- Alterado cast de float para numeric (https://github.com/prefeitura-rio/queries-rj-smtr/pull/294):
+  - `bilhetagem_staging.staging_ordem_pagamento`
+  - `bilhetagem_staging.staging_ordem_pagamento_consorcio`
+  - `bilhetagem_staging.staging_ordem_pagamento_consorcio_operadora`
+  - `bilhetagem_staging.staging_ordem_rateio`
+  - `bilhetagem_staging.staging_ordem_ressarcimento`
+
 ## [1.0.2] - 2024-04-18
 
-### Modificado
+### Alterado
 - Filtra transações inválidas ou de teste no modelo `transacao.sql` (https://github.com/prefeitura-rio/queries-rj-smtr/pull/275)
   - Transações inválidas:
     - datas anteriores a 2023-07-17
@@ -23,4 +70,4 @@
 
 ### Adicionado
 - Nova view para consultar os dados staging de transações do RioCard capturados pela Jaé: `br_rj_riodejaneiro_bilhetagem_staging/staging_transacao_riocard.sql` (https://github.com/prefeitura-rio/queries-rj-smtr/pull/254)
-- Tabela tratada de transações do RioCard capturados pela Jaé: `transacao_riocard.sql` (https://github.com/prefeitura-rio/queries-rj-smtr/pull/254)
+- Tabela tratada de transações do RioCard capturados pela Jaé: `transacao_riocard.sql` (https://github.com/prefeitura-rio/queries-rj-smtr/pull/254)
diff --git a/queries/models/br_rj_riodejaneiro_bilhetagem/dicionario.sql b/queries/models/br_rj_riodejaneiro_bilhetagem/dicionario.sql
@@ -10,4 +10,4 @@ SELECT
   SAFE_CAST(coluna AS STRING) AS coluna,
   SAFE_CAST(valor AS STRING) AS valor
 FROM
-  {{ source("migracao_br_rj_riodejaneiro_bilhetagem_staging", "dicionario") }}
+  {{ source("br_rj_riodejaneiro_bilhetagem_staging", "dicionario") }}
diff --git a/queries/models/br_rj_riodejaneiro_bilhetagem/gps_validador.sql b/queries/models/br_rj_riodejaneiro_bilhetagem/gps_validador.sql
@@ -17,8 +17,15 @@ SELECT
     datetime_captura,
     id_operadora,
     operadora,
-    servico,
-    id_veiculo,
+    id_servico_jae,
+    -- s.servico,
+    servico_jae,
+    descricao_servico_jae,
+    CASE
+      WHEN modo = "VLT" THEN SUBSTRING(id_veiculo, 1, 3)
+      WHEN modo = "BRT" THEN NULL
+      ELSE id_veiculo
+    END AS id_veiculo,
     id_validador,
     id_transmissao_gps,
     latitude,

diff --git a/queries/models/br_rj_riodejaneiro_bilhetagem/gps_validador_van.sql b/queries/models/br_rj_riodejaneiro_bilhetagem/gps_validador_van.sql
@@ -17,7 +17,10 @@ SELECT
     datetime_captura,
     id_operadora,
     operadora,
-    servico,
+    id_servico_jae,
+    -- s.servico,
+    servico_jae,
+    descricao_servico_jae,
     id_veiculo,
     id_validador,
     id_transmissao_gps,

diff --git a/queries/models/br_rj_riodejaneiro_bilhetagem/integracao.sql b/queries/models/br_rj_riodejaneiro_bilhetagem/integracao.sql
@@ -90,6 +90,9 @@ integracao_rn AS (
     do.id_operadora,
     do.operadora,
     i.id_linha AS id_servico_jae,
+    -- s.servico,
+    l.nr_linha AS servico_jae,
+    l.nm_linha AS descricao_servico_jae,
     i.id_transacao,
     i.sentido,
     i.perc_rateio AS percentual_rateio,
@@ -114,6 +117,14 @@ integracao_rn AS (
     {{ ref("consorcios") }} AS dc
   ON
     i.id_consorcio = dc.id_consorcio_jae
+  LEFT JOIN
+    {{ ref("staging_linha") }} AS l
+  ON
+      i.id_linha = l.cd_linha
+  -- LEFT JOIN
+  --   {{ ref("servicos") }} AS s
+  -- ON
+  --   i.id_linha = s.id_servico_jae
   WHERE i.id_transacao IS NOT NULL
 ),
 integracoes_teste_invalidas AS (

diff --git a/queries/models/br_rj_riodejaneiro_bilhetagem/ordem_pagamento_consorcio_dia.sql b/queries/models/br_rj_riodejaneiro_bilhetagem/ordem_pagamento_consorcio_dia.sql
@@ -28,9 +28,15 @@ SELECT
     o.valor_rateio_credito AS valor_rateio_credito,
     o.qtd_rateio_debito AS quantidade_transacao_rateio_debito,
     o.valor_rateio_debito AS valor_rateio_debito,
-    ROUND(o.valor_bruto + 0.0005, 2) AS valor_total_transacao_bruto,
+    (
+      o.qtd_debito
+      + o.qtd_vendaabordo
+      + o.qtd_gratuidade
+      + o.qtd_integracao
+    ) AS quantidade_total_transacao,
+    o.valor_bruto AS valor_total_transacao_bruto,
     o.valor_taxa AS valor_desconto_taxa,
-    ROUND(o.valor_liquido + 0.0005, 2) AS valor_total_transacao_liquido,
+    o.valor_liquido AS valor_total_transacao_liquido,
     '{{ var("version") }}' AS versao
 FROM
     {{ ref("staging_ordem_pagamento_consorcio") }} o

diff --git a/queries/models/br_rj_riodejaneiro_bilhetagem/ordem_pagamento_consorcio_operador_dia.sql b/queries/models/br_rj_riodejaneiro_bilhetagem/ordem_pagamento_consorcio_operador_dia.sql
@@ -30,9 +30,15 @@ SELECT
     o.valor_rateio_credito AS valor_rateio_credito,
     o.qtd_rateio_debito AS quantidade_transacao_rateio_debito,
     o.valor_rateio_debito AS valor_rateio_debito,
-    ROUND(o.valor_bruto + 0.0005, 2) AS valor_total_transacao_bruto,
+    (
+        o.qtd_debito
+        + o.qtd_vendaabordo
+        + o.qtd_gratuidade
+        + o.qtd_integracao
+    ) AS quantidade_total_transacao,
+    o.valor_bruto AS valor_total_transacao_bruto,
     o.valor_taxa AS valor_desconto_taxa,
-    ROUND(o.valor_liquido + 0.0005, 2) AS valor_total_transacao_liquido,
+    o.valor_liquido AS valor_total_transacao_liquido,
     '{{ var("version") }}' AS versao
 FROM
     {{ ref('staging_ordem_pagamento_consorcio_operadora') }} o

diff --git a/queries/models/br_rj_riodejaneiro_bilhetagem/ordem_pagamento_dia.sql b/queries/models/br_rj_riodejaneiro_bilhetagem/ordem_pagamento_dia.sql
@@ -27,9 +27,15 @@ SELECT
     o.valor_rateio_credito AS valor_rateio_credito,
     o.qtd_rateio_debito AS quantidade_transacao_rateio_debito,
     o.valor_rateio_debito AS valor_rateio_debito,
-    ROUND(o.valor_bruto + 0.0005, 2) AS valor_total_transacao_bruto,
+    (
+      o.qtd_debito
+      + o.qtd_vendaabordo
+      + o.qtd_gratuidade
+      + o.qtd_integracao
+    ) AS quantidade_total_transacao,
+    o.valor_bruto AS valor_total_transacao_bruto,
     o.valor_taxa AS valor_desconto_taxa,
-    ROUND(o.valor_liquido + 0.0005, 2) AS valor_total_transacao_liquido,
+    o.valor_liquido AS valor_total_transacao_liquido,
     '{{ var("version") }}' AS versao
 FROM
     {{ ref('staging_ordem_pagamento') }} o