-
Notifications
You must be signed in to change notification settings - Fork 0
/
Copy pathutils.js
221 lines (206 loc) · 9.16 KB
/
utils.js
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
'use strict'
const scraperjs = require('scraperjs')
const assert = require('assert')
const consts = require('./consts')
const periods = consts.periods
const URL_ASISTENCIA_SALA = consts.URL_ASISTENCIA_SALA
const URL_ASISTENCIA_SALA_DETALLE = consts.URL_ASISTENCIA_SALA_DETALLE
const URL_ASISTENCIA_COMISIONES = consts.URL_ASISTENCIA_COMISIONES
// Convert a period into a period id for web scrapping
// (date|num) -> obj
function getPeriodoSala (periodo) {
assert.ok(typeof periodo === 'number' || periodo instanceof Date, '[senadores-asistencia]: El periodo ingresado debe ser un número o una fecha.')
let _period = {}
if (typeof periodo === 'number') {
_period = periods.filter(period => period.legislatura === periodo)
// search directly by period id
if (_period.length > 0) return _period[0]
// search only by year
_period = periods.filter(period => {
return period.desde.getFullYear() <= periodo && periodo <= period.hasta.getFullYear()
})[0]
assert.ok(_period, '[senadores-asistencia]: Periodo de busqueda no encontrado')
console.warn('[senadores-asistencia]: Solo se puede consultar por periodo legislativo. Si para un mismo año existe más de un periodo legislativo, solo se obtendran los resultados del primer periodo encontrado, por lo que jamas se obtendran los periodos posteriores en caso de existir. Prefiera busquedas por fecha o id de legislatura.')
return _period
}
if (periodo instanceof Date) {
// search by date
_period = periods.filter(period => {
return period.desde.getTime() <= periodo.getTime() && periodo.getTime() <= period.hasta.getTime()
})[0]
assert.ok(_period, '[senadores-asistencia]: Periodo de busqueda no encontrado')
return _period
}
}
// Convert a chilean month string into a month number to be used in Date constructor
// (str) -> num
function clMonthToMonth (clMonth) {
assert.equal(typeof clMonth, 'string', `[senadores-asistencia]: No se puede convertir el mes ${clMonth}`)
const months = {
Enero: 0,
Febrero: 1,
Marzo: 2,
Abril: 3,
Mayo: 4,
Junio: 5,
Julio: 6,
Agosto: 7,
Septiembre: 8,
Octubre: 9,
Noviembre: 10,
Diciembre: 11
}
assert.ok(months[clMonth] >= 0 && months[clMonth] < 12, `[senadores-asistencia]: No se puede convertir el mes ${clMonth}`)
return months[clMonth]
}
// Get detailed attendance info
// (obj, obj, obj) => obj
function getDetalleAsistenciaSala (asistenciaGeneral, senador, periodo) {
assert.equal(typeof asistenciaGeneral, 'object', '[senadores-asistencia]: La asistencia general ingresada debe ser un objeto.')
assert.equal(typeof senador, 'object', '[senadores-asistencia]: El senador general ingresada debe ser un objeto.')
assert.equal(typeof periodo, 'object', '[senadores-asistencia]: El periodo general ingresada debe ser un objeto.')
let url = URL_ASISTENCIA_SALA_DETALLE.replace(/:periodo:/, periodo.legislatura)
url = url.replace(/:senador-id:/, senador.id)
return scraperjs.StaticScraper.create()
.get(url)
.scrape($ => {
const detalle = $('table:last-child tr:not(:first-child)').map(function () {
const str = $(this).find('td:last-child a').text()
// console.log(str, periodo)
const data = str.match(/(-{0,1}\d*) ([\s\S]*), [\s\S]* (\d*) de (\w*) de (\d*)/)
const sesion = data[1]
const tipo = data[2]
// año, mes, día
const fecha = new Date(parseInt(data[5]), clMonthToMonth(data[4]), parseInt(data[3]))
const asiste = $(this).find('td:first-child').has('img').length > 0
return {
sesion,
tipo,
fecha,
asiste
}
}).get()
return Object.assign(asistenciaGeneral, { detalle })
})
}
// Get attendance for a single senator to regular room sessions
// (obj, obj, bool) -> obj
function getAsistenciaSala (senador, periodo, incluyeSenador) {
assert.equal(typeof senador, 'object', '[senadores-asistencia]: El senador general ingresada debe ser un objeto.')
assert.equal(typeof periodo, 'object', '[senadores-asistencia]: El periodo general ingresada debe ser un objeto.')
assert.ok(typeof incluyeSenador === 'boolean' || typeof incluyeSenador === 'undefined', '[senadores-asistencia]: La opción \'incluye senador\' debe ser de tipo booleana.')
const url = URL_ASISTENCIA_SALA.replace(/:periodo:/, periodo.legislatura)
// Get general data of attendance
return scraperjs.StaticScraper.create()
.get(url)
.scrape($ => {
let total = $('#main h2').text().match(/(\d*)/g)
total = parseInt(total[total.length - 2])
const trSenador = $('#main table tr[align="left"]:not(:first-child) td:first-child')
.filter(function () {
return $(this).text() === senador.nombre
}).parent()
const asistencia = parseInt(trSenador.find('td a:not([id])').text().trim())
const inasistenciasJustificadas = isNaN(parseInt(trSenador.find('td a[id]').text().trim()))
? 0
: parseInt(trSenador.find('td a[id]').text().trim())
if (incluyeSenador) {
return {
senador,
periodo,
asistencia,
inasistencias: {
total: total - asistencia,
justificadas: inasistenciasJustificadas,
injustificadas: ((total - asistencia) - inasistenciasJustificadas) > 0
? (total - asistencia) - inasistenciasJustificadas
: 0
}
}
}
return {
periodo,
asistencia,
inasistencias: {
total: total - asistencia,
justificadas: inasistenciasJustificadas,
injustificadas: ((total - asistencia) - inasistenciasJustificadas) > 0
? (total - asistencia) - inasistenciasJustificadas
: 0
}
}
}).then(result => {
return getDetalleAsistenciaSala(result, senador, periodo)
})
}
// Get attendance for a single senator to all of his commissions
// (obj, num, bool) -> arr
function getAsistenciaComisiones (senador, periodo, incluyeSenador) {
assert.equal(typeof senador, 'object', '[senadores-asistencia]: El senador general ingresada debe ser un objeto.')
assert.equal(typeof periodo, 'number', '[senadores-asistencia]: El periodo general ingresada debe ser un número.')
assert.ok(typeof incluyeSenador === 'boolean' || typeof incluyeSenador === 'undefined', '[senadores-asistencia]: La opción \'incluye senador\' debe ser de tipo booleana.')
let url = URL_ASISTENCIA_COMISIONES.replace(/:periodo:/, periodo)
url = url.replace(/:senador-id:/, senador.id)
return scraperjs.StaticScraper.create()
.get(url)
.scrape($ => {
const oficiales = $('table').first().find('tr:not(:first-child)').map(function () {
const nombreOficial = $(this).find('td:nth-child(1)').text().trim()
const total = parseInt($(this).find('td:nth-child(2)').text().trim())
const asiste = parseInt($(this).find('td:nth-child(3)').text().trim())
return {
nombre: nombreOficial,
total,
asiste
}
}).get()
const otras = $('table').last().find('tr:not(:first-child)').map(function () {
const nombreOtra = $(this).find('td:nth-child(1)').text().trim()
const reemplazante = parseInt($(this).find('td:nth-child(2)').text().trim())
const asistente = parseInt($(this).find('td:nth-child(3)').text().trim())
return {
nombre: nombreOtra,
reemplazante,
asistente
}
}).get()
if (incluyeSenador) {
return {
senador,
periodo,
oficiales,
otras
}
}
return {
periodo,
oficiales,
otras
}
})
}
// Convert a period into a period id for web scrapping
// (obj|num) -> num
function getPeriodoComisiones (periodo) {
assert.ok(typeof periodo === 'number' || periodo instanceof Date, '[senadores-asistencia]: El periodo ingresado debe ser un número o una fecha.')
if (typeof periodo === 'number') {
assert.ok(periodo <= new Date().getFullYear(), '[senadores-asistencia]: No se puede consultar por un periodo en el futuro')
// if period < 2002 -> it is probably a legislature, so convert into a year for comissions
if (periodo < 2002) {
periodo = periods.filter(period => {
return period.legislatura === periodo
})[0].hasta.getFullYear()
console.warn('[senadores-asistencia]: Solo se puede consultar por año en consultas de comisiones. Si un id de legislatura sucede en más de un año, solo se considerará el primero encontrado.')
}
assert.ok(periodo, '[senadores-asistencia]: Periodo de busqueda no encontrado')
return periodo
}
if (periodo instanceof Date) {
assert.ok(periodo.getFullYear() <= new Date().getFullYear(), '[senadores-asistencia]: No se puede consultar por un periodo en el futuro')
return periodo.getFullYear()
}
}
exports.getPeriodoSala = getPeriodoSala
exports.getAsistenciaSala = getAsistenciaSala
exports.getAsistenciaComisiones = getAsistenciaComisiones
exports.getPeriodoComisiones = getPeriodoComisiones