diff --git a/pipelines/migration/br_rj_riodejaneiro_onibus_gps/flows.py b/pipelines/migration/br_rj_riodejaneiro_onibus_gps/flows.py index f48cb34a..01545002 100644 --- a/pipelines/migration/br_rj_riodejaneiro_onibus_gps/flows.py +++ b/pipelines/migration/br_rj_riodejaneiro_onibus_gps/flows.py @@ -2,7 +2,7 @@ """ Flows for br_rj_riodejaneiro_onibus_gps -DBT: 2024-08-16 +DBT: 2024-08-20 """ from copy import deepcopy diff --git a/queries/models/br_rj_riodejaneiro_onibus_gps/sppo_aux_registros_filtrada.sql b/queries/models/br_rj_riodejaneiro_onibus_gps/sppo_aux_registros_filtrada.sql index 4e37cfcc..43b3e047 100644 --- a/queries/models/br_rj_riodejaneiro_onibus_gps/sppo_aux_registros_filtrada.sql +++ b/queries/models/br_rj_riodejaneiro_onibus_gps/sppo_aux_registros_filtrada.sql @@ -40,9 +40,11 @@ gps AS ( ST_GEOGPOINT(longitude, latitude) posicao_veiculo_geo FROM {{ ref('sppo_registros') }} + {% if is_incremental() -%} WHERE data between DATE("{{var('date_range_start')}}") and DATE("{{var('date_range_end')}}") AND timestamp_gps > "{{var('date_range_start')}}" and timestamp_gps <="{{var('date_range_end')}}" + {%- endif -%} ), realocacao as ( SELECT diff --git a/queries/models/br_rj_riodejaneiro_onibus_gps/sppo_aux_registros_realocacao.sql b/queries/models/br_rj_riodejaneiro_onibus_gps/sppo_aux_registros_realocacao.sql index fa1a1131..33529097 100644 --- a/queries/models/br_rj_riodejaneiro_onibus_gps/sppo_aux_registros_realocacao.sql +++ b/queries/models/br_rj_riodejaneiro_onibus_gps/sppo_aux_registros_realocacao.sql @@ -30,10 +30,12 @@ with realocacao as ( where -- Realocação deve acontecer após o registro de GPS e até 1 hora depois datetime_diff(datetime_operacao, datetime_entrada, minute) between 0 and 60 + {% if is_incremental() -%} and data between DATE("{{var('date_range_start')}}") and DATE(datetime_add("{{var('date_range_end')}}", interval 1 hour)) and datetime_operacao between datetime("{{var('date_range_start')}}") and datetime_add("{{var('date_range_end')}}", interval 1 hour) + {%- endif -%} ), -- 2. Altera registros de GPS com servicos realocados gps as (