Apache Spark Grundlagen

Apache Spark ist ein leistungsfähiges Framework zur verteilten Verarbeitung großer Datenmengen und zählt zu den zentralen Technologien im Big-Data-Umfeld. In diesem Seminar lernen Sie die Funktionsweise, die zugrundeliegenden Konzepte sowie die Architektur von Spark-Applikationen kennen.

Sie erhalten einen kompakten Überblick über die wichtigsten Spark-Komponenten und setzen das erlernte Wissen direkt in praktischen Übungen um. Dabei entwickeln Sie Ihre ersten Spark-Jobs in Python, arbeiten mit Spark Core für parallele Verarbeitung und analysieren Daten effizient mit Spark SQL.

Darüber hinaus lernen Sie die relevanten Konfigurationsparameter für die Ausführung von Spark-Jobs auf lokalen Systemen sowie in Hadoop- bzw. YARN-Clustern kennen. Abgerundet wird das Seminar durch eine Einführung in die erweiterten Bibliotheken für Streaming, Machine Learning und Graph-Verarbeitung.

Zielgruppe:

• Anwendungsentwickler:innen
• Data Engineers
• Data Scientists
• Systemintegrator:innen
• IT-Architekt:innen
• IT-Consultant:innen

Voraussetzung:

Teilnahme an den Seminaren "Python Programmierung" (P-PYTH-01) und "Hadoop Grundlagen" (HADOOP-01) oder vergleichbare Kenntnisse.

Ziele/Nutzen des Seminars:

Nach dem Seminar können Sie

• Apache Spark und seine zentralen Komponenten sicher einordnen
• Spark-Applikationen in Python entwickeln und ausführen
• den Aufbau und die Architektur einer Spark-Anwendung verstehen
• Spark-Jobs konfigurieren und in verschiedenen Umgebungen betreiben
• erste eigene Spark-Lösungen für datenintensive Anwendungen umsetzen

Inhalte:

• Einführung in Apache Spark
• Spark Core - Grundlagen der parallelen Verarbeitung
• Spark-Architektur
• Spark SQL
• Administration und Konfiguration
• Spark Streaming
• MLlib (Machine Learning Library)
• GraphX: Graph- und Netzwerkverarbeitung