From b8a61192abdeb1b1c9c9aaef5f86114ac6d4ad17 Mon Sep 17 00:00:00 2001 From: Rafael Carvalho Pinheiro <74972217+pixuimpou@users.noreply.github.com> Date: Wed, 17 Jul 2024 14:42:23 -0300 Subject: [PATCH] [HOTFIX] corrige filtro incremental `integracao_invalida` e `transacao_invalida` (#107) MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit * cria validação da jae com o gtfs * validacao ordem pagamento staging * adiciona operadoras de fretamento * altera aux_servicos_gtfs para ephemeral * altera filtro incremental da integracao_invalida * altera filtro incremental da transacao_invalida * corrige aux_transacao_ordem * corrige validacao ordem_pagamento por servico * cria modelo ordem_pagamento_dia_invalida * cria validacao ordem_pagamento final * altera schema validacao_dados_jae * agenda pipeline de materializacao das validacoes * corrige query viagem_informada * add changelog * adiciona prefixo data nas colunas de vigencia * corrige nome das colunas de vigencia * altera schema da tabela de servicos * add data dbt * corrige typo * altera cast para safe_cast * corrige filtro incremental * registra flows --------- Co-authored-by: mergify[bot] <37929162+mergify[bot]@users.noreply.github.com> --- pipelines/migration/br_rj_riodejaneiro_bilhetagem/flows.py | 2 +- queries/models/validacao_dados_jae/integracao_invalida.sql | 2 +- queries/models/validacao_dados_jae/transacao_invalida.sql | 2 +- 3 files changed, 3 insertions(+), 3 deletions(-) diff --git a/pipelines/migration/br_rj_riodejaneiro_bilhetagem/flows.py b/pipelines/migration/br_rj_riodejaneiro_bilhetagem/flows.py index 6722eeda..0d8d606a 100644 --- a/pipelines/migration/br_rj_riodejaneiro_bilhetagem/flows.py +++ b/pipelines/migration/br_rj_riodejaneiro_bilhetagem/flows.py @@ -2,7 +2,7 @@ """ Flows for br_rj_riodejaneiro_bilhetagem -DBT: 2024-07-17 +DBT: 2024-07-17 2 """ from copy import deepcopy diff --git a/queries/models/validacao_dados_jae/integracao_invalida.sql b/queries/models/validacao_dados_jae/integracao_invalida.sql index 66afe05d..612b13d7 100644 --- a/queries/models/validacao_dados_jae/integracao_invalida.sql +++ b/queries/models/validacao_dados_jae/integracao_invalida.sql @@ -51,8 +51,8 @@ integracao_agg AS ( MIN(intervalo_integracao) AS menor_intervalo FROM {{ ref("integracao") }} - WHERE {% if is_incremental() %} + WHERE {% if partition_list|length > 0 %} data IN ({{ partition_list|join(', ') }}) {% else %} diff --git a/queries/models/validacao_dados_jae/transacao_invalida.sql b/queries/models/validacao_dados_jae/transacao_invalida.sql index e8a82f42..5efbba64 100644 --- a/queries/models/validacao_dados_jae/transacao_invalida.sql +++ b/queries/models/validacao_dados_jae/transacao_invalida.sql @@ -62,8 +62,8 @@ WITH transacao AS ( ON t.id_servico_jae = s.id_servico_jae AND t.data >= s.data_inicio_vigencia AND (t.data <= s.data_fim_vigencia OR s.data_fim_vigencia IS NULL) - WHERE {% if is_incremental() %} + WHERE {% if partition_list|length > 0 %} data IN ({{ partition_list|join(', ') }}) {% else %}