Universidad de Jaén

Menú local

Guía docente 2022-23 - 74012008 - Computación distribuida para la gestión de datos a gran escala

TITULACIÓN: Máster Univ. en Ingeniería informática (74012008)
CENTRO: ESCUELA POLITÉCNICA SUPERIOR (JAÉN)
TITULACIÓN: Doble Máster en Ingeniería informática y Seguridad informática (77612003)
CENTRO: ESCUELA POLITÉCNICA SUPERIOR (JAÉN)
CURSO: 2022-23
ASIGNATURA: Computación distribuida para la gestión de datos a gran escala
GUÍA DOCENTE
1. DATOS BÁSICOS DE LA ASIGNATURA
NOMBRE: Computación distribuida para la gestión de datos a gran escala
CÓDIGO: 74012008 (*) CURSO ACADÉMICO: 2022-23
TIPO: -
Créditos ECTS: 9.0 CURSO: 1 CUATRIMESTRE: SC
WEB: https://platea.ujaen.es
2. DATOS BÁSICOS DEL PROFESORADO
NOMBRE: BARRANCO GARCÍA, MANUEL JOSÉ
IMPARTE: Teoría - Prácticas [Profesor responsable]
DEPARTAMENTO: U118 - INFORMÁTICA
ÁREA: 570 - LENGUAJES Y SISTEMAS INFORMÁTICOS
N. DESPACHO: A3 - 147 E-MAIL: barranco@ujaen.es TLF: 953212923
TUTORÍAS: https://uvirtual.ujaen.es/pub/es/informacionacademica/tutorias/p/61555
URL WEB: http://sinbad2.ujaen.es/?q=es/users/barranco
ORCID: https://orcid.org/0000-0002-2474-1909
 
NOMBRE: PÉREZ GODOY, MARÍA DOLORES
IMPARTE: Teoría - Prácticas
DEPARTAMENTO: U118 - INFORMÁTICA
ÁREA: 570 - LENGUAJES Y SISTEMAS INFORMÁTICOS
N. DESPACHO: A3 - 124 E-MAIL: lperez@ujaen.es TLF: 953212891
TUTORÍAS: https://uvirtual.ujaen.es/pub/es/informacionacademica/tutorias/p/58318
URL WEB: -
ORCID: https://orcid.org/0000-0002-6670-564X
 
NOMBRE: SANTAMARÍA LÓPEZ, JOSÉ
IMPARTE: Teoría - Prácticas
DEPARTAMENTO: U118 - INFORMÁTICA
ÁREA: 035 - ARQUITECTURA Y TECNOLOGÍA DE COMPUTADORES
N. DESPACHO: A3 - 109 E-MAIL: jslopez@ujaen.es TLF: 953212878
TUTORÍAS: https://uvirtual.ujaen.es/pub/es/informacionacademica/tutorias/p/19436
URL WEB: http://wwwdi.ujaen.es/?q=es/jslopez
ORCID: https://orcid.org/0000-0002-2022-6838
 
3. PRERREQUISITOS, CONTEXTO Y RECOMENDACIONES
PRERREQUISITOS:

Ninguno

CONTEXTO DENTRO DE LA TITULACIÓN:

El principal objetivo de la asignatura es introducir al alumno en la arquitectura para la computación distribuida así como en el análisis, diseño y procesamiento de datos a gran escala (BigData).

RECOMENDACIONES Y ADAPTACIONES CURRICULARES:

Conocimientos básicos en:

  • Bases de datos relacionales. SQL.
  • Programación concurrente.

El alumnado que presente necesidades específicas de apoyo educativo, lo ha de notificar personalmente al Servicio de Atención y Ayudas al Estudiante para proceder a realizar, en su caso, la adaptación curricular correspondiente.

 

El alumnado que presente necesidades específicas de apoyo educativo, lo ha de notificar personalmente al Servicio de Atención y Ayudas al Estudiante para proceder a realizar, en su caso, la adaptación curricular correspondiente.
4. COMPETENCIAS Y RESULTADOS DE APRENDIZAJE
código Denominación de la competencia
CB10R Que los estudiantes posean las habilidades de aprendizaje que les permitan continuar estudiando de un modo que habrá de ser en gran medida autodirigido o autónomo.
CB7R Que los estudiantes sepan aplicar los conocimientos adquiridos y su capacidad de resolución de problemas en entornos nuevos o poco conocidos dentro de contextos más amplios (o multidisciplinares) relacionados con su área de estudio
CB9R Que los estudiantes sepan comunicar sus conclusiones y los conocimientos y razones últimas que las sustentan a públicos especializados y no especializados de un modo claro y sin ambigüedades
CET6 Capacidad para diseñar y evaluar sistemas operativos y servidores, y aplicaciones y sistemas basados en computación distribuida.
CET7 Capacidad para comprender y poder aplicar conocimientos avanzados de computación de altas prestaciones y métodos numéricos o computacionales a problemas de ingeniería.
CG1 Capacidad para proyectar, calcular y diseñar productos, procesos e instalaciones en todos los ámbitos de la ingeniería informática.
CG2 Capacidad para la dirección de obras e instalaciones de sistemas informáticos, cumpliendo la normativa vigente y asegurando la calidad del servicio.
CG3 Capacidad para dirigir, planificar y supervisar equipos multidisciplinares.
CG4 Capacidad para el modelado matemático, cálculo y simulación en centros tecnológicos y de ingeniería de empresa, particularmente en tareas de investigación, desarrollo e innovación en todos los ámbitos relacionados con la Ingeniería en Informática.
CG8 Capacidad para la aplicación de los conocimientos adquiridos y de resolver problemas en entornos nuevos o poco conocidos dentro de contextos más amplios y multidisciplinares, siendo capaces de integrar estos conocimientos.
CTI1 Capacidad para trabajar, dirigir y gestionar conflictos en un grupo multidisciplinar y/o un entorno multilingüe.
CTI2 Capacidad para la gestión de la información, manejo y aplicación de las especificaciones técnica y la legislación necesaria para la práctica de la ingeniería.
 
Resultados de aprendizaje
Resultado 4.1R Ser capaz de diseñar la arquitectura de un sistema de altas prestaciones y para la gestión de datos a gran escala.
Resultado 4.2R Estar capacitado para implementar soluciones de programación para la computación distribuida y de altas prestaciones.
5. CONTENIDOS

Arquitecturas: Clusters, grids y clouds. Sistemas de ficheros distribuidos. Bases de datos para bigdata. Procesamiento de bigdata en clusters masivos. Altas prestaciones en clusters.

 

 

Módulo 1. Arquitecturas Distribuidas: Diseño y Explotación.

Tema 1.0. Introducción

Tema 1.1. Arquitecturas para BigData.

Tema 1.2. Análisis y explotación de Rocks Cluster.

Tema 1.3. Arquitecturas para BlockChain.

Tema 1.4. Casos de uso: Ethereum, XRPL, IOTA, etc.

 

Prácticas: 

i) Administración de Rocks Cluster.

ii) Análisis y diseño de soluciones Blockchain.

 

Módulo 2. Bases de datos para BigData. 

Tema 2.0. Introducción a bases de datos No-SQL
Tema 2.1. Concepto y diseño de Bases de Datos No-SQL
Tema 2.2. MongoDB: Métodos database
Tema 2.3. MongoDB: CRUD - Create, Read, Update, Delete.
Tema 2.4. MongoDB: Índices
Tema 2.5. MongoDB: Agregación
Tema 2.6. MongoDB: Replicación
Tema 2.7. MongoDB: Sharding

Practicas: Ejercicios prácticos de instalación y uso de MongoDB

Módulo 3. Sistemas de ficheros distribuidos y procesamiento de datos con Spark. 


Tema 3.1. Big Data (Introducción) 
Tema 3.2. Paradigma Map Reduce 
Tema 3.3. Sistema de ficheros distribuidos: HDFS 
Tema 3.4. Introducción a Spark 
Tema 3.5. Programación con RDDs 
Tema 3.6. Programación con RDDs de pares clave-valor 
Tema 3.7. Profundizando en Spark 
Tema 3.8. Ciencia de datos con Spark: MLlib

Prácticas: Ejercicios prácticos de Spark

Módulo 4. Procesamiento de datos a gran escala con Open MPI.

 
Tema 4.1 Introducción a OpenMPI. Modos de comunicación 
Tema 4.2. Comunicaciones colectivas OpenMPI 
Tema 4.3. Tipos de datos derivados. Grupos, comunicadores y topologías. 
Tema 4.4. Manejo de errores. Ficheros. 
Tema 4.5. Funciones avanzadas. Comunicaciones one-side 

Prácticas: Ejercicios prácticos de OpenMPI

6. METODOLOGÍA Y ACTIVIDADES
 
ACTIVIDADES HORAS PRESEN­CIALES HORAS TRABAJO AUTÓ­NOMO TOTAL HORAS CRÉDITOS ECTS COMPETENCIAS (códigos)
A1 - Clases expositivas en gran grupo
  • M1 - Clases magistrales
  • M2 - Exposición de teoría y ejemplos generales
  • M3 - Actividades introductorias
45.0 67.5 112.5 4.5
  • CB10R
  • CB7R
  • CB9R
  • CET6
  • CET7
  • CG1
  • CG2
  • CG3
  • CG4
  • CG8
  • CTI1
  • CTI2
A2R - Clases en pequeño grupo
  • M4MF - Actividades practicas
  • M5MF - Seminarios
  • M6MF - Laboratorios
  • M7MF - Aulas de informática
  • M8MF - Resolución de ejercicios
  • M9MF - Presentaciones/exposiciones
45.0 67.5 112.5 4.5
  • CB10R
  • CB7R
  • CB9R
  • CET6
  • CET7
  • CG1
  • CG2
  • CG3
  • CG4
  • CG8
  • CTI1
  • CTI2
TOTALES: 90.0 135.0 225.0 9.0  
 
INFORMACIÓN DETALLADA:

En las clases expositivas se explicará el contenido teórico necesario para el desarrollo y solución de las prácticas planteadas, así como para la gestión y control de datos a gran escala.

En las clases en grupos de prácticas se propondrán problemas individuales y en grupo que favorezcan el uso y comprensión de herramientas software para la gestión de BigData.

7. SISTEMA DE EVALUACIÓN
 
ASPECTO CRITERIOS INSTRUMENTO PESO
Asistencia y/o participación en actividades presenciales y/o virtuales Asistencia mínima a clases presenciales Control de asistencia 10.0%
Conceptos teóricos de la materia Dominio de los conocimientos teóricos de la materia Prueba escrita 30.0%
Realización de trabajos, casos o ejercicios Estructura y calidad de los trabajos presentados. Entrega de trabajos 20.0%
Prácticas de laboratorio/campo/uso de herramientas TIC Dominio de los conocimientos prácticos de la materia Entrega de prácticas 40.0%
El sistema de calificación se regirá por lo establecido en el RD 1125/2003 de 5 de septiembre por el que se establece el sistema europeo de créditos y el sistema de calificaciones en la titulaciones universitarias de carácter oficial
INFORMACIÓN DETALLADA:

El sistema de calificación se regirá por lo establecido en el RD 1125/2003 de 5 de septiembre por el que se establece el sistema europeo de créditos y el sistema de calificaciones en la titulaciones universitarias de carácter oficial.

Atendiendo a lo recogido en el art. 13 del Reglamento de Régimen Académico y de Evaluación del alumnado de la Universidad de Jaén, la evaluación de la asignatura será global.

Para evaluar la asignatura, la nota final será la suma de las notas ponderadas de acuerdo a los criterios y pesos especificados en el sistema de evaluación, a partir de las notas parciales correspondientes a Asistencia y participación, Examen teórico, Entrega de prácticas y Entrega de trabajos. La nota global se obtendrá ponderando de acuerdo a los pesos asignados a cada módulo (22,22% para los módulos 1, 2 y 3 y 33,33% para el módulo 4) excepto para la Entrega de trabajos, cuya evaluación será global. La nota final deberá ser igual o superior a 5 para superar la asignatura.

La nota obtenida por el alumno durante el periodo lectivo (nota correspondiente a la asistencia y participación en clase, entrega de trabajos y entrega de prácticas de laboratorio) se mantendrá para las convocatorias oficiales del mismo curso.

A través de las diferentes pruebas los alumnos deberán mostrar sus capacidades para modelar y diseñar arquitecturas especializadas para Big Data, así como comprender y utilizar tecnologías y herramientas tanto de almacenamiento como de procesamiento de datos masivos.

La evaluación del trabajo teórico, prácticas, asistencia y trabajo autónomo inciden en los resultados de aprendizaje de la asignatura (4.1R y 4.2R) y permite mejorar en el nivel de alcance de las competencias CB7R, CB9R, CB10R, CET6, CET7, CG1, CG2, CG3, CG4, CG8, CTI1 y CTI2.

8. DOCUMENTACIÓN / BIBLIOGRAFÍA
ESPECÍFICA O BÁSICA:
  • Build the best data center facility for your business. Edición: 1st printing. Autor: Alger, Douglas. Editorial: Indianapolis, Indiana : Cisco Press, 2012  (C. Biblioteca)
  • MongoDB in action [Recurso electrónico]. Edición: -. Autor: Banker, Kyle. Editorial: Shelter Island, NY : Manning, 2012  (C. Biblioteca)
  • Big data for dummies [Recurso electrónico]. Edición: -. Autor: -. Editorial: Hoboken, NJ : John Wiley & Sons, Inc., 2013  (C. Biblioteca)
  • Learning Spark [Recurso electrónico] : lightening fast data analysis. Edición: First edition. Autor: Karau, Holden. Editorial: Sebastopol, CA : O'Reilly Media, [2015]  (C. Biblioteca)
GENERAL Y COMPLEMENTARIA:
  • Unix and Linux system administration handbook. Edición: 4th ed. Autor: -. Editorial: Upper Saddle River (New Jersey) : Prentice Hall, 2011  (C. Biblioteca)
  • MongoDB and Python [Recurso electrónico]. Edición: -. Autor: O'Higgins, Niall. Editorial: Sebastopol, Calif. : O'Reilly, 2011  (C. Biblioteca)
  • The definitive guide to MongoDB [Recurso electrónico] : the noSQL database for cloud and desktop com. Edición: -. Autor: Plugge, Eelco, 1986-. Editorial: [S.l.] : Apress, c2010 (New York, N.Y. : Distributed to the book trade worldwide by Springer-Verlag New York)  (C. Biblioteca)
  • Big data : la revolución de los datos masivos. Edición: -. Autor: Mayer-Schönberger, Viktor. Editorial: Madrid : Turner, 2013  (C. Biblioteca)
  • Machine learning with Spark [Recurso electrónico] : create scalable machine learning applications to. Edición: -. Autor: Pentreath, Nick. Editorial: Birmingham, UK : Packt Publishing, 2015  (C. Biblioteca)
  • Using MPI: portable parallel programming with the message-passing interface. Edición: -. Autor: Gropp, William. Editorial: Massachusetts: The MIT Press, cop. 1999  (C. Biblioteca)
  • High performance Linux clusters with OSCaliforniaR, Rocks, openMosix, and MPI Joseph D. Sloan.. Edición: First edition.. Autor: Sloan, Joseph D. (Joseph Donald), 1950-. Editorial: O'Reilly  (C. Biblioteca)
  • Blockchain David Arroyo Guardeño, Jesús Díaz Vico y Luis Hernández Encinas.. Edición: -. Autor: Arroyo Guardeño, David. Editorial: Editorial CSIC  (C. Biblioteca)
  • Decoding Blockchain for Business [electronic resource] : Understand the Tech and Prepare for the Blockchain Future by Stijn Van Hijfte.. Edición: 1st ed. 2020.. Autor: Van Hijfte, Stijn. author.. Editorial: Apress  (C. Biblioteca)
9. CRONOGRAMA

El cronograma podrá sufrir modificaciones pero siempre se desarrollará según los horarios publicados en la página web de la Escuela. 

 

A1

A2R

T.A.

 

Semana 1

6

0

9

Tema 1.0.- Introducción. // Tema 1.1.- Arquitectura para BigData. // Tema 1.2.- Análisis y explotación de Rocks Cluster

Semana 2 

3

3

9

Tema 1.3.- Arquitecturas para BlockChain. // Tema 1.4.- Casos de uso: Ethereum, XRPL, IOTA. // Práctica 1.1.- Introducción a Rocks Cluster. 

Semana 3.

0

6

9

Práctica 1.2.- Administración de Rocks Cluster I. Práctica 1.3.- Administración de Rocks Cluster II. Práctica 1.4.- Análisis y diseño de soluciones BlockChain I. 

Semana 4.

3

3

9

Práctica 1.5.- Análisis y Diseño de soluciones BlockChain II. // Tema 2.0.- Introducción a bbdd No-SQL. // Tema 2.1. Concepto y diseño de Bases de Datos No-SQL. // Práctica 2.1. Practica 1 - MongoDB

Semana 5.

3

3

9

Tema 2.2. MongoDB: Métodos database. // Tema 2.3. MongoDB: CRUD - Create, Read, Update, Delete. // Práctica 2.2. Práctica 2 - MongoDB

Semana 6.

3

3

9

Tema 2.4. MongoDB: Índices. // Tema 2.5. MongoDB: Agregación. // Práctica 2.3. Práctica 3 - MongoDB

Semana 7.

3

3

9

Tema 2.6. MongoDB: Replicación. // Tema 2.7. MongoDB: Sharding. //  Práctica 2.4. Práctica 4 - MongoDB

Semana 8.

3

3

9

Tema 3.1. Big Data (Introducción) // Tema 3.2. Paradigma Map Reduce //  Tema 3.4. Introducción a Spark. // Tema 3.5. Programación con RDDs. // Práctica 3.1. Práctica 1 - Spark.

Semana 9.

3

3

9

Tema 3.3. Sistema de ficheros distribuidos: HDFS // Tema 3.5. Programación con RDDs //  Tema 3.6. Programación con RDDs de pares clave-valor // Práctica 3.2. Práctica 2 - Spark

Semana 10.

3

3

9

Tema 3.7. Profundizando en Spark // Tema 3.8. Ciencia de datos con Spark: Mllib // Práctica 3.3. Práctica 3 - Spark // Práctica 3.4. Práctica 4 - Spark // Práctica 3.5. Práctica 5 – Spark

Semana 11.

3

3

9

Tema 4.1 Introducción a OpenMPI. Modos de comunicación// Práctica 4.1. Práctica 1 - OpenMPI //  --

Semana 12.

3

3

9

Tema 4.2. Comunicaciones colectivas OpenMPI // Práctica 4.2. Práctica 2 - OpenMPI

Semana 13.

3

3

9

Tema 4.3. Tipos de datos derivados. Grupos, comunicadores y topologías. // Práctica 4.3. Práctica 3 - OpenMPI

Semana 14.

3

3

9

Tema 4.4. Manejo de errores. Ficheros. // Práctica 4.4. Práctica 4 - OpenMPI

Semana 15.

3

3

9

Tema 4.5. Funciones avanzadas. Comunicaciones one-side // Práctica 4.5. Práctica 5 - OpenMPI

 

45

45

135

 

 

10. ESCENARIO MULTIMODAL O MIXTO

Dependiendo del número de alumnos matriculados y de la disponibilidad de espacios para impartir las clases teóricas y prácticas respetando las medidas sanitarias exigidas, se podrán crear subgrupos de alumnos que asistan presencialmente de forma alterna. Durante las clases, el profesor abrirá una videoconferencia de manera que los alumnos que no se encuentren físicamente en el aula, puedan asistir de forma virtual y se aplicarán los mismos cambios de Metodología, Actividades y Evaluación que se detallan en el escenario No Presencial. 

En caso de que no sea necesario crear subgrupos y en la medida en que la situación socio-sanitaria lo permita, se seguirá la modalidad presencial. 

11. ESCENARIO NO PRESENCIAL

Cambios en metodología

Se añadirán actividades no presenciales, síncronas y asíncronas con el fin de desarrollar las mismas competencias consideradas en la metodología con escenario presencial, concretamente:

  • Impartición de clases virtuales mediante videoconferencia.
  • Utilización en las clases de una pizarra virtual 
  • Tutorías on-line, mediante correo electrónico o videoconferencia.

Cambios en actividades formativas

Se añaden actividades no presenciales síncronas y asíncronas, concretamente:

  • Durante las clases, a petición del profesor, el alumno rellenará cuestionarios, enviará correos electrónicos, etc., para justificar la asistencia y participación en clase.
  • Para la realización de las prácticas, se ofrecerán los enlaces para descargar las herramientas que resulten necesarias. El alumno deberá disponer de un equipo informático en el cual pueda instalar dichas herramientas.

Cambios en la evaluación

El examen final escrito pasará a realizarse de forma online.

Para la realización de las pruebas examinatorias, el alumno deberá contar con webcam y micrófono, pudiendo requerirse su activación en cualquier momento de la realización de dichas actividad evaluables.

EN CUALQUIER CASO SE PROHIBE LA GRABACIÓN DE LAS CLASES REALIZADAS EN MODALIDAD NO PRESENCIAL O SEMIPRESENCIAL.

 

CLÁUSULA DE PROTECCIÓN DE DATOS (evaluación on-line)

Responsable del tratamiento: Universidad de Jaén, Campus Las Lagunillas, s/n, 23071 Jaén

Delegado de Protección de Datos:dpo@ujaen.es

Finalidad: Conforme a la Ley de Universidades y demás legislación estatal y autonómica vigente, realizar los exámenes correspondientes a las asignaturas en las que el alumno o alumna se encuentre matriculado. Con el fin de evitar fraudes en la realización del mismo, el examen se realizará en la modalidad de video llamada, pudiendo el personal de la Universidad de Jaén contrastar la imagen de la persona que está realizando la prueba de evaluación con los archivos fotográficos del alumno en el momento de la matrícula. Igualmente, con la finalidad de dotar a la prueba de evaluación de contenido probatorio de cara a revisiones o impugnaciones de la misma, de acuerdo con la normativa vigente, la prueba de evaluación será grabada.

Legitimación: cumplimiento de obligaciones legales (Ley de Universidades) y demás normativa estatal y autonómica vigente.

Destinatarios: prestadores de servicios titulares de las plataformas en las que se realicen las pruebas con los que la Universidad de Jaén tiene suscritos los correspondientes contratos de acceso a datos.

Plazos de conservación: los establecidos en la normativa aplicable. En el supuesto en concreto de las grabaciones de los exámenes, mientras no estén cerradas las actas definitivas y la prueba de evaluación pueda ser revisada o impugnada.

Derechos: puede ejercitar sus derechos de acceso, rectificación, cancelación, oposición, supresión, limitación y portabilidad remitiendo un escrito a la dirección postal o electrónica indicada anteriormente. En el supuesto que considere que sus derechos han sido vulnerados, puede presentar una reclamación ante el Consejo de Transparencia y Protección de Datos de Andalucía www.ctpdandalucia.es

Cláusula grabación de clases PROTECCIÓN DE DATOS DE CARÁCTER PERSONAL

Responsable del tratamiento: Universidad de Jaén, Paraje Las Lagunillas, s/n; Tel.953 212121; www.ujaen.es

Delegado de Protección de Datos (DPO): TELEFÓNICA, S.A.U. ; Email: dpo@ujaen.es

Finalidad del tratamiento: Gestionar la adecuada grabación de las sesiones docentes con el objetivo de hacer posible la enseñanza en un escenario de docencia multimodal y/o no presencial.

Plazo de conservación: Las imágenes serán conservadas durante los plazos legalmente previstos en la normativa vigente.

Legitimación: Los datos son tratados en base al cumplimiento de obligaciones legales (Ley Orgánica 6/2001, de 21 de diciembre, de Universidades) y el consentimiento otorgado mediante la marcación de la casilla habilitada a tal efecto.

Destinatarios de los datos (cesiones o transferencias): Toda aquella persona que vaya a acceder a las diferentes modalidades de enseñanza.

Derechos: Ud. podrá ejercitar los derechos de Acceso, Rectificación, Cancelación, Portabilidad, Limitación del tratamiento, Supresión o, en su caso, Oposición. Para ejercitar los derechos deberá presentar un escrito en la dirección arriba señalada dirigido al Servicio de Información, Registro y Administración Electrónica de la Universidad de Jaén, o bien, mediante correo electrónico a la dirección de correo electrónico. Deberá especificar cuál de estos derechos solicita sea satisfecho y, a su vez, deberá acompañarse de la fotocopia del DNI o documento identificativo equivalente. En caso de que actuara mediante representante, legal o voluntario, deberá aportar también documento que acredite la representación y documento identificativo del mismo. Asimismo, en caso de considerar vulnerado su derecho a la protección de datos personales, podrá interponer una reclamación ante el Consejo de Transparencia y Protección de Datos de Andalucía www.ctpdandalucia.es