Hadoop Grundlagen

Big-Data-Plattformen wie Apache Hadoop bilden die technologische Basis für die Verarbeitung, Speicherung und Analyse großer Datenmengen. In diesem Seminar erhalten Sie einen fundierten und praxisnahen Einstieg in das Hadoop-Ökosystem sowie in dessen zentrale Architektur- und Verarbeitungskonzepte.

Sie lernen die Kernkomponenten HDFS, YARN und MapReduce kennen und erwerben anschließend einen Überblick über weitere zentrale Dienste wie Hive, Spark, HBase, Kafka und ZooKeeper. Zahlreiche praxisorientierte Übungen ermöglichen es Ihnen, typische Anwendungsfälle nachzuvollziehen und erste Erfahrungen im Umgang mit Hadoop-Umgebungen zu sammeln. Das Seminar schafft damit eine solide Grundlage für den Einsatz von Hadoop in Data-Engineering-, Analytics- und Big-Data-Projekten.

Zielgruppe:

• Anwendungsentwickler:innen
• Administrator:innen
• Systemintegrator:innen
• IT-Architekt:innen
• IT-Consultants
• Data Engineers
• Data Scientists

Voraussetzung:

Teilnahme am Seminar "Unix/Linux Grundlagen für Einsteiger" (BS-01) oder vergleichbare Kenntnisse

Ziele/Nutzen des Seminars:

Nach dem Seminar können Sie

• die wichtigsten Komponenten des Hadoop-Ökosystems einordnen und erklären
• typische Einsatzszenarien für Hadoop bewerten
• grundlegende Aufgaben in einer Hadoop-Umgebung durchführen
• einschätzen, welche Big-Data-Probleme sich mit Hadoop lösen lassen
• Hadoop-basierte Plattformen im Zusammenspiel mit weiteren Big-Data-Technologien verstehen

Inhalte:

• Einführung in das Hadoop-Ökosystem
• Überblick über Cloudera und den Cloudera Manager
• Hadoop-Kernkomponenten: HDFS, YARN und MapReduce
• Hive und der Hive Metastore
• Dateiformate: Parquet, Avro und ORC
• Apache Spark und Spark SQL
• ZooKeeper
• HBase
• Sqoop
• Kafka