Deploying to gh-pages from @ ed33bb0 🚀

prefeitura-rio · Mar 27, 2024 · 6d3e469 · 6d3e469
1 parent b26b05d
commit 6d3e469
Show file tree

Hide file tree

Showing 2 changed files with 12 additions and 6 deletions.
diff --git a/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.html b/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.html
@@ -194,6 +194,7 @@ <h1 class="title">Module <code>pipelines.rj_smtr.br_rj_riodejaneiro_bilhetagem.f
 )
 
 bilhetagem_materializacao_transacao_parameters = {
+    &#34;source_dataset_ids&#34;: [constants.BILHETAGEM_DATASET_ID.value],
     &#34;source_table_ids&#34;: [
         constants.BILHETAGEM_TRANSACAO_CAPTURE_PARAMS.value[&#34;table_id&#34;]
     ],
@@ -221,13 +222,16 @@ <h1 class="title">Module <code>pipelines.rj_smtr.br_rj_riodejaneiro_bilhetagem.f
     labels=[emd_constants.RJ_SMTR_AGENT_LABEL.value],
 )
 
+
+ordem_pagamento_sources_table_ids = [
+    constants.BILHETAGEM_TRANSACAO_CAPTURE_PARAMS.value[&#34;table_id&#34;]
+] + [d[&#34;table_id&#34;] for d in constants.BILHETAGEM_ORDEM_PAGAMENTO_CAPTURE_PARAMS.value]
+
 bilhetagem_materializacao_ordem_pagamento_parameters = {
-    &#34;source_table_ids&#34;: [
-        constants.BILHETAGEM_TRANSACAO_CAPTURE_PARAMS.value[&#34;table_id&#34;]
-    ]
-    + [
-        d[&#34;table_id&#34;] for d in constants.BILHETAGEM_ORDEM_PAGAMENTO_CAPTURE_PARAMS.value
+    &#34;source_dataset_ids&#34;: [
+        constants.BILHETAGEM_DATASET_ID.value for _ in ordem_pagamento_sources_table_ids
     ],
+    &#34;source_table_ids&#34;: ordem_pagamento_sources_table_ids,
     &#34;capture_intervals_minutes&#34;: [
         constants.BILHETAGEM_TRANSACAO_CAPTURE_PARAMS.value[&#34;interval_minutes&#34;]
     ]
@@ -255,6 +259,7 @@ <h1 class="title">Module <code>pipelines.rj_smtr.br_rj_riodejaneiro_bilhetagem.f
 )
 
 bilhetagem_materializacao_integracao_parameters = {
+    &#34;source_dataset_ids&#34;: [constants.BILHETAGEM_DATASET_ID.value],
     &#34;source_table_ids&#34;: [
         constants.BILHETAGEM_INTEGRACAO_CAPTURE_PARAMS.value[&#34;table_id&#34;]
     ],

diff --git a/rj_smtr/flows.html b/rj_smtr/flows.html
@@ -231,6 +231,7 @@ <h1 class="title">Module <code>pipelines.rj_smtr.flows</code></h1>
     timestamp = Parameter(&#34;timestamp&#34;, default=None)
 
     # Parametros Verificação de Recapturas
+    source_dataset_ids = Parameter(&#34;source_dataset_ids&#34;, default=[])
     source_table_ids = Parameter(&#34;source_table_ids&#34;, default=[])
     capture_intervals_minutes = Parameter(&#34;capture_intervals_minutes&#34;, default=[])
 
@@ -255,7 +256,7 @@ <h1 class="title">Module <code>pipelines.rj_smtr.flows</code></h1>
     )
 
     query_logs_output = query_logs.map(
-        dataset_id=unmapped(dataset_id),
+        dataset_id=source_dataset_ids,
         table_id=source_table_ids,
         interval_minutes=capture_intervals_minutes,
         datetime_filter=query_logs_timestamps,