From 44e0a0312b339de135c7ca9b702f1964e24b4724 Mon Sep 17 00:00:00 2001 From: Guilherme Botelho Date: Tue, 20 Aug 2024 12:27:44 -0300 Subject: [PATCH] Hotfix - Corrige modelos sppo_aux_registros_filtrada e sppo_aux_registros_realocacao (#152) MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit * add schedule every_15_minute * cria flow gps 15 min * altera label schedule * remove parametro * altera GPS_SPPO_15_MIN_TREATED_TABLE_ID * add data dbt * cria modelo gps_sppo_15_minutos * altera para prod * add changelogs * altera materialized e filtros * teste var fifteen_minutes * corrige _vars * altera para dev * altera materialized * altera condições where * corrige refs * altera refs * altera materialized * volta materialized para view * altera schedule do flow recaptura_15min * adiciona truncate_minutes * altera materialized para ephemeral * altera para prod * altera default parameters de materialize_gps_15_min * altera default parameters de materialize_gps_15_min * add changelog * corrige digitação * corrige filtros dos modelos sppo_aux_registros_filtrada e sppo_aux_registros_realocacao --------- Co-authored-by: mergify[bot] <37929162+mergify[bot]@users.noreply.github.com> --- pipelines/migration/br_rj_riodejaneiro_onibus_gps/flows.py | 2 +- .../sppo_aux_registros_filtrada.sql | 2 ++ .../sppo_aux_registros_realocacao.sql | 2 ++ 3 files changed, 5 insertions(+), 1 deletion(-) diff --git a/pipelines/migration/br_rj_riodejaneiro_onibus_gps/flows.py b/pipelines/migration/br_rj_riodejaneiro_onibus_gps/flows.py index f48cb34a..01545002 100644 --- a/pipelines/migration/br_rj_riodejaneiro_onibus_gps/flows.py +++ b/pipelines/migration/br_rj_riodejaneiro_onibus_gps/flows.py @@ -2,7 +2,7 @@ """ Flows for br_rj_riodejaneiro_onibus_gps -DBT: 2024-08-16 +DBT: 2024-08-20 """ from copy import deepcopy diff --git a/queries/models/br_rj_riodejaneiro_onibus_gps/sppo_aux_registros_filtrada.sql b/queries/models/br_rj_riodejaneiro_onibus_gps/sppo_aux_registros_filtrada.sql index 4e37cfcc..43b3e047 100644 --- a/queries/models/br_rj_riodejaneiro_onibus_gps/sppo_aux_registros_filtrada.sql +++ b/queries/models/br_rj_riodejaneiro_onibus_gps/sppo_aux_registros_filtrada.sql @@ -40,9 +40,11 @@ gps AS ( ST_GEOGPOINT(longitude, latitude) posicao_veiculo_geo FROM {{ ref('sppo_registros') }} + {% if is_incremental() -%} WHERE data between DATE("{{var('date_range_start')}}") and DATE("{{var('date_range_end')}}") AND timestamp_gps > "{{var('date_range_start')}}" and timestamp_gps <="{{var('date_range_end')}}" + {%- endif -%} ), realocacao as ( SELECT diff --git a/queries/models/br_rj_riodejaneiro_onibus_gps/sppo_aux_registros_realocacao.sql b/queries/models/br_rj_riodejaneiro_onibus_gps/sppo_aux_registros_realocacao.sql index fa1a1131..33529097 100644 --- a/queries/models/br_rj_riodejaneiro_onibus_gps/sppo_aux_registros_realocacao.sql +++ b/queries/models/br_rj_riodejaneiro_onibus_gps/sppo_aux_registros_realocacao.sql @@ -30,10 +30,12 @@ with realocacao as ( where -- Realocação deve acontecer após o registro de GPS e até 1 hora depois datetime_diff(datetime_operacao, datetime_entrada, minute) between 0 and 60 + {% if is_incremental() -%} and data between DATE("{{var('date_range_start')}}") and DATE(datetime_add("{{var('date_range_end')}}", interval 1 hour)) and datetime_operacao between datetime("{{var('date_range_start')}}") and datetime_add("{{var('date_range_end')}}", interval 1 hour) + {%- endif -%} ), -- 2. Altera registros de GPS com servicos realocados gps as (