Hackatón Big Data — 5.º semestre
"Del CSV sucio al indicador: tu primer job Medallion con Spark"
Modalidad individual: cada estudiante entrega un job (Silver + Gold) sobre el kit hackaton-kit/.
1. Idea
El docente entrega un kit con Spark configurado, la capa Bronze, la escritura de capas y la puerta de calidad ya resueltas. Cada estudiante implementa la interfaz MedallionJob:
- Silver: reglas de calidad que mandan las filas malas a cuarentena con su motivo.
- Gold: un indicador analítico distinto al de sus compañeros.
2. Reparto de responsabilidades
| Pieza | Docente (kit) | Estudiante |
|---|---|---|
pom.xml, Spark 4.1, Java 17, run.ps1 |
✅ | — |
SparkFactory (local[*], UTC, fix Windows sin winutils) |
✅ | — |
BronzeReader (CSV como texto + _fila, _archivo, _fecha_carga) |
✅ | — |
Reglas (helpers: regla, motivo, vacio, marcarDuplicados, marcarReferencia) |
✅ | — |
OutputWriter (Parquet + CSV por capa) |
✅ | — |
PipelineRunner + puerta de calidad + resumen.json |
✅ | — |
| Job de ejemplo resuelto + test de ejemplo | ✅ | — |
validar() → reglas Silver (mín. 4) |
— | ✅ |
gold() → indicador |
— | ✅ |
| 1 test unitario de una regla | — | ✅ |
| Umbral de calidad justificado + demo de lote bloqueado | — | ✅ |
3. Arquitectura
flowchart LR
subgraph KIT["core/ — kit del docente"]
A[data/*.csv] --> B[BronzeReader]
B --> BR[(output/Job/bronze)]
R[PipelineRunner]
end
subgraph EST["jobs/ApellidoNombreJob.java — estudiante"]
BR --> V["validar()<br/>reglas + try_cast + motivo"]
G2["gold()<br/>indicador"]
end
V --> SV[(silver)]
V --> Q[(cuarentena)]
SV --> P{"Puerta de calidad<br/>% rechazo ≤ umbral"}
P -- sí --> G2 --> GD[(gold)]
P -- no --> X[BLOQUEADO]
GD --> J[resumen.json]
X --> J
Contrato (core/MedallionJob.java):
String nombre(); // tabla Gold
List<String> tablas(); // CSV que usa
Dataset<Row> validar(String tabla, Dataset<Row> datos, Map<String, Dataset<Row>> bronze); // + columna motivo
Dataset<Row> gold(Map<String, Dataset<Row>> silver);
El runner llama a la clase por nombre (.\run.ps1 -Job PerezJuanJob), así que 30 estudiantes trabajan en el mismo repo sin pisarse: un archivo por estudiante en jobs/.
4. Catálogo de retos (uno distinto por estudiante)
Se asignan por sorteo o por orden de elección. Si hay más estudiantes que retos, se repite cambiando la dimensión (por sección, por semestre, por docente).
| # | Reto (Gold) | Tablas | Nivel |
|---|---|---|---|
| 1 | Estudiantes con > 30 % de faltas por curso | asistencia, estudiantes | ⭐ |
| 2 | % de aprobados/desaprobados por curso | notas, cursos | ⭐ |
| 3 | Promedio ponderado por estudiante y curso (Σ nota·peso) | notas | ⭐ |
| 4 | Asistencia semanal por curso (% presentes por semana) | asistencia | ⭐ |
| 5 | Tardanzas por estudiante (estado T) y top 10 | asistencia, estudiantes | ⭐ |
| 6 | Promedio por sección | notas, estudiantes | ⭐ |
| 7 | Carga horaria por docente (cursos, créditos, horas) | cursos | ⭐ |
| 8 | Orden de mérito por sección con rank() |
notas, estudiantes | ⭐⭐ |
| 9 | Nota promedio según rango de asistencia (0-50, 50-70, 70-90, 90-100 %) | notas, asistencia | ⭐⭐ |
| 10 | Curso "filtro": mayor tasa de desaprobación | notas, cursos | ⭐⭐ |
| 11 | Mejora entre EC1 y EP por estudiante (quién subió más) | notas | ⭐⭐ |
| 12 | Estudiantes en riesgo: promedio < 13 y faltas > 20 % | notas, asistencia, estudiantes | ⭐⭐⭐ |
| 13 | Distribución de notas por curso en rangos (0-10, 11-13, 14-16, 17-20) | notas | ⭐ |
| 14 | Faltas justificadas vs. injustificadas por curso | asistencia, cursos | ⭐ |
| 15 | Ranking de docentes por promedio de sus cursos | notas, cursos | ⭐⭐ |
Reglas Silver mínimas: 4, una de cada dimensión — completitud, validez, unicidad e integridad referencial (el ejemplo resuelto muestra las cuatro).
5. Checklist del docente (ya hecho en hackaton-kit/)
- Proyecto Maven independiente, Spark 4.1.2, Java 17+.
- Funciona en Windows sin Hadoop/winutils.
- Datos
limpioycon-errorescopiados del repo principal. - Job de ejemplo (
EjemploPromedioEvaluacionJob) y test que pasan. -
PlantillaJobcon TODOs. - Probar
mvn -q testy.\run.ps1en una PC del laboratorio antes del día (la primera vez Maven descarga ~300 MB: hacerlo con buena red o dejar~/.m2precargado). - Publicar el kit en un repo del curso; cada estudiante hace fork y entrega por PR o enlace.
6. Cronograma (1 jornada, ~5 h)
| Hora | Actividad |
|---|---|
| 0:00 – 0:30 | Explicación Medallion + demo del kit (limpio → publicado, umbral 0.001 → bloqueado) |
| 0:30 – 0:45 | Asignación de retos, clonar y correr el ejemplo |
| 0:45 – 2:15 | Silver: reglas + test |
| 2:15 – 2:30 | Checkpoint: cada uno muestra su resumen.json |
| 2:30 – 4:00 | Gold: indicador |
| 4:00 – 5:00 | Demo de 3 min por estudiante (o revisión asíncrona) |
7. Entregables (por estudiante)
jobs/ApellidoNombreJob.javay su test.output/ApellidoNombreJob/resumen.jsonde la corrida condata/con-errores.- Captura de la corrida bloqueada (
-Umbral 0.001). - 3–5 líneas en el PR: reto, reglas, umbral elegido y hallazgo principal.
8. Rúbrica (20 pts, escala vigesimal)
| Criterio | Pts |
|---|---|
| El job corre de punta a punta con ambos datasets | 4 |
| Reglas Silver: ≥ 4, las 4 dimensiones, motivo claro | 5 |
Gold correcto, usando agregaciones/joins/ventanas (sin collect()) |
5 |
| Test de una regla que pasa | 2 |
| Puerta de calidad: umbral justificado + demo bloqueada | 2 |
| Explicación del hallazgo | 2 |
Bonus (+1 c/u, máx. +2): segundo indicador Gold, gráfico del Gold (Excel/Power BI sobre el CSV), carga del Gold a Oracle reusando job-carga-oracle.
9. Recomendaciones
- Corre el ejemplo con
data/limpio(0 % rechazo) y luego condata/con-errores: el contraste explica solo el valor de Silver. - Como los errores están sembrados, puedes verificar rápido la cuarentena de cada estudiante contra lo esperado.
- Si alguien necesita tocar
core/, es una señal de que falta un helper enReglas: agrégalo tú para todos.