Skip to content
PageWell
Hackatón Big Data — 5.º semestre ISAEL JAVIER FATAMA GODOYUpdated 2026-11-21

Copy


Hackatón Big Data — 5.º semestre

5 min read Updated 2026-11-21

"Del CSV sucio al indicador: tu primer job Medallion con Spark"

Modalidad individual: cada estudiante entrega un job (Silver + Gold) sobre el kit hackaton-kit/.


1. Idea

El docente entrega un kit con Spark configurado, la capa Bronze, la escritura de capas y la puerta de calidad ya resueltas. Cada estudiante implementa la interfaz MedallionJob:

  • Silver: reglas de calidad que mandan las filas malas a cuarentena con su motivo.
  • Gold: un indicador analítico distinto al de sus compañeros.

2. Reparto de responsabilidades

Pieza Docente (kit) Estudiante
pom.xml, Spark 4.1, Java 17, run.ps1 ✅ —
SparkFactory (local[*], UTC, fix Windows sin winutils) ✅ —
BronzeReader (CSV como texto + _fila, _archivo, _fecha_carga) ✅ —
Reglas (helpers: regla, motivo, vacio, marcarDuplicados, marcarReferencia) ✅ —
OutputWriter (Parquet + CSV por capa) ✅ —
PipelineRunner + puerta de calidad + resumen.json ✅ —
Job de ejemplo resuelto + test de ejemplo ✅ —
validar() → reglas Silver (mín. 4) — ✅
gold() → indicador — ✅
1 test unitario de una regla — ✅
Umbral de calidad justificado + demo de lote bloqueado — ✅

3. Arquitectura

flowchart LR
    subgraph KIT["core/ — kit del docente"]
        A[data/*.csv] --> B[BronzeReader]
        B --> BR[(output/Job/bronze)]
        R[PipelineRunner]
    end
    subgraph EST["jobs/ApellidoNombreJob.java — estudiante"]
        BR --> V["validar()<br/>reglas + try_cast + motivo"]
        G2["gold()<br/>indicador"]
    end
    V --> SV[(silver)]
    V --> Q[(cuarentena)]
    SV --> P{"Puerta de calidad<br/>% rechazo ≤ umbral"}
    P -- sí --> G2 --> GD[(gold)]
    P -- no --> X[BLOQUEADO]
    GD --> J[resumen.json]
    X --> J

Contrato (core/MedallionJob.java):

String nombre();                                  // tabla Gold
List<String> tablas();                            // CSV que usa
Dataset<Row> validar(String tabla, Dataset<Row> datos, Map<String, Dataset<Row>> bronze); // + columna motivo
Dataset<Row> gold(Map<String, Dataset<Row>> silver);

El runner llama a la clase por nombre (.\run.ps1 -Job PerezJuanJob), así que 30 estudiantes trabajan en el mismo repo sin pisarse: un archivo por estudiante en jobs/.


4. Catálogo de retos (uno distinto por estudiante)

Se asignan por sorteo o por orden de elección. Si hay más estudiantes que retos, se repite cambiando la dimensión (por sección, por semestre, por docente).

# Reto (Gold) Tablas Nivel
1 Estudiantes con > 30 % de faltas por curso asistencia, estudiantes ⭐
2 % de aprobados/desaprobados por curso notas, cursos ⭐
3 Promedio ponderado por estudiante y curso (Σ nota·peso) notas ⭐
4 Asistencia semanal por curso (% presentes por semana) asistencia ⭐
5 Tardanzas por estudiante (estado T) y top 10 asistencia, estudiantes ⭐
6 Promedio por sección notas, estudiantes ⭐
7 Carga horaria por docente (cursos, créditos, horas) cursos ⭐
8 Orden de mérito por sección con rank() notas, estudiantes ⭐⭐
9 Nota promedio según rango de asistencia (0-50, 50-70, 70-90, 90-100 %) notas, asistencia ⭐⭐
10 Curso "filtro": mayor tasa de desaprobación notas, cursos ⭐⭐
11 Mejora entre EC1 y EP por estudiante (quién subió más) notas ⭐⭐
12 Estudiantes en riesgo: promedio < 13 y faltas > 20 % notas, asistencia, estudiantes ⭐⭐⭐
13 Distribución de notas por curso en rangos (0-10, 11-13, 14-16, 17-20) notas ⭐
14 Faltas justificadas vs. injustificadas por curso asistencia, cursos ⭐
15 Ranking de docentes por promedio de sus cursos notas, cursos ⭐⭐

Reglas Silver mínimas: 4, una de cada dimensión — completitud, validez, unicidad e integridad referencial (el ejemplo resuelto muestra las cuatro).


5. Checklist del docente (ya hecho en hackaton-kit/)

  • Proyecto Maven independiente, Spark 4.1.2, Java 17+.
  • Funciona en Windows sin Hadoop/winutils.
  • Datos limpio y con-errores copiados del repo principal.
  • Job de ejemplo (EjemploPromedioEvaluacionJob) y test que pasan.
  • PlantillaJob con TODOs.
  • Probar mvn -q test y .\run.ps1 en una PC del laboratorio antes del día (la primera vez Maven descarga ~300 MB: hacerlo con buena red o dejar ~/.m2 precargado).
  • Publicar el kit en un repo del curso; cada estudiante hace fork y entrega por PR o enlace.

6. Cronograma (1 jornada, ~5 h)

Hora Actividad
0:00 – 0:30 Explicación Medallion + demo del kit (limpio → publicado, umbral 0.001 → bloqueado)
0:30 – 0:45 Asignación de retos, clonar y correr el ejemplo
0:45 – 2:15 Silver: reglas + test
2:15 – 2:30 Checkpoint: cada uno muestra su resumen.json
2:30 – 4:00 Gold: indicador
4:00 – 5:00 Demo de 3 min por estudiante (o revisión asíncrona)

7. Entregables (por estudiante)

  1. jobs/ApellidoNombreJob.java y su test.
  2. output/ApellidoNombreJob/resumen.json de la corrida con data/con-errores.
  3. Captura de la corrida bloqueada (-Umbral 0.001).
  4. 3–5 líneas en el PR: reto, reglas, umbral elegido y hallazgo principal.

8. Rúbrica (20 pts, escala vigesimal)

Criterio Pts
El job corre de punta a punta con ambos datasets 4
Reglas Silver: ≥ 4, las 4 dimensiones, motivo claro 5
Gold correcto, usando agregaciones/joins/ventanas (sin collect()) 5
Test de una regla que pasa 2
Puerta de calidad: umbral justificado + demo bloqueada 2
Explicación del hallazgo 2

Bonus (+1 c/u, máx. +2): segundo indicador Gold, gráfico del Gold (Excel/Power BI sobre el CSV), carga del Gold a Oracle reusando job-carga-oracle.


9. Recomendaciones

  • Corre el ejemplo con data/limpio (0 % rechazo) y luego con data/con-errores: el contraste explica solo el valor de Silver.
  • Como los errores están sembrados, puedes verificar rápido la cuarentena de cada estudiante contra lo esperado.
  • Si alguien necesita tocar core/, es una señal de que falta un helper en Reglas: agrégalo tú para todos.