Merge pull request #12 from enflujo/procesarColectivos

🥝 Procesar colectivos, css, páginas varias
enflujo · Aug 28, 2024 · 1e305b6 · 1e305b6
2 parents 7e3d9ae + 509a5d4
commit 1e305b6
Show file tree

Hide file tree

Showing 72 changed files with 2,107 additions and 1,904 deletions.
diff --git a/aplicaciones/procesador/datos/base_colectivos_y_ambitos_100724.xlsx b/aplicaciones/procesador/datos/base_colectivos_y_ambitos_100724.xlsx
diff --git a/aplicaciones/procesador/fuente/ayudas.ts b/aplicaciones/procesador/fuente/ayudas.ts
@@ -1,6 +1,8 @@
 import { writeFileSync } from 'fs';
 import colores from 'cli-color';
 import { emojify } from 'node-emoji';
+import { ElementoLista } from 'tipos';
+import slugificar from 'slug';
 
 export const logError = colores.red.bold;
 export const logAviso = colores.bold.xterm(214);
@@ -19,6 +21,28 @@ export const guardarJSON = (json: any, nombre: string) => {
   writeFileSync(`../www/estaticos/datos/${nombre}.json`, JSON.stringify(json));
 };
 
+export function procesarLista(valor: string, lista: ElementoLista[]) {
+  if (!valor) return;
+  const slug = valor ? slugificar(`${valor}`) : '';
+  const existe = lista.find((obj) => obj.slug === slug);
+  if (!valor || valor === 'No aplica' || valor === 'undefined' || valor === 'Sin Información' || valor === '(s.f)')
+    return;
+  const nombre = `${valor}`.trim();
+
+  if (!existe) {
+    const objeto: ElementoLista = {
+      nombre: nombre,
+      conteo: 1,
+      slug: slug,
+      relaciones: [],
+      publicaciones: [],
+    };
+    lista.push(objeto);
+  } else {
+    existe.conteo++;
+  }
+}
+
 export function ordenarListaObjetos(lista: any[], llave: string, descendente = false) {
   lista.sort((a, b) => {
     if (a[llave] < b[llave]) return descendente ? -1 : 1;
@@ -28,10 +52,10 @@ export function ordenarListaObjetos(lista: any[], llave: string, descendente = f
 }
 
 export const normalizar = (texto: string): string => {
-  return texto
-    .toLocaleLowerCase()
+  return texto;
+  /* .toLocaleLowerCase()
     .normalize('NFD')
-    .replace(/\p{Diacritic}/gu, '');
+    .replace(/[\u0300-\u036f]/g, ''); */
 };
 
 export const enMinusculas = (texto: string) => texto === texto.toLowerCase();

diff --git a/aplicaciones/procesador/fuente/indicadores.ts b/aplicaciones/procesador/fuente/indicadores.ts
@@ -1,4 +1,3 @@
-import { guardarJSON } from './ayudas';
 import slugificar from 'slug';
 import { Indicador, Subindicador } from 'tipos.js';
 import { getXlsxStream } from 'xlstream';
@@ -35,7 +34,7 @@ export async function procesarIndicadores(archivo: string, hoja: string, lista:
           id: +fila[0], // revisar si es número
           nombre: nombre,
           slug: slug,
-          descripcion: fila[2].trim(),
+          descripcion: fila[2] ? fila[2].trim() : 'no hay descripción',
         };
 
         lista.push(respuesta);
@@ -130,7 +129,6 @@ export async function procesarSubindicadores(
 
       if (!filasPreprocesadas && totalFilas === filasProcesadas) {
         filasPreprocesadas = true;
-        // construirRelacionesDePublicaciones();
       }
 
       resolver(lista);