Apache Airflow

Apache Airflow ist eines der führenden Workflow-Orchestrierungsframeworks für Datenverarbeitung, Analytics und Cloud-Automatisierung. Dieses zweitägige Seminar vermittelt Ihnen die Grundlagen von Airflow, zeigt Best Practices und Anti-Patterns im produktiven Betrieb und führt Sie in moderne DevOps-Methoden rund um CI/CD, Linting, Deployment und Testing ein. In zahlreichen Übungen lernen Sie, eigene DAGs aufzubauen, Container-Workloads zu orchestrieren und typische Fehlerquellen zu erkennen. Am Nachmittag des zweiten Tages ist ein offener Hands-on-Block vorgesehen, um direkt mit Kunden-Use-Cases zu arbeiten. Der Fokus liegt auf praktischen, realen Szenarien sowie "Do's and Don'ts" aus dem professionellen Einsatz von Airflow.

Zielgruppe:

Das Seminar richtet sich an Data Engineers, Data Scientists, Cloud- und DevOps-Engineers, ETL-/DWH-Spezialisten, IT-Architekten und Entwickler mit Daten- oder Integrationsfokus.

Voraussetzung:

Grundlegende IT-Kenntnisse, Basiswissen in Python empfehlenswert, Kubernetes-Grundlagen hilfreich, aber nicht zwingend notwendig

Ziele/Nutzen des Seminars:

• die Architektur von Apache Airflow verstehen
• eigene DAGs sicher entwickeln, testen und deployen
• Scheduling, Dependencies und XComs korrekt einsetzen
• Verschiedene Operators für Workloads nutzen
• Logging, Monitoring und Fehlerstrategien sicher anwenden
• DevOps-Best-Practices für Airflow anwenden (Linting, Testing, GitOps)
• typische Fehler (Don'ts) erkennen und vermeiden
• Deployment von Airflow-DAGs sicher automatisieren
• Hands-on an eigenen Kunden-Use-Cases arbeiten

Inhalte:

• Grundlagen und Architektur von Apache Airflow
• DAG-Entwicklung in Python
• Operators und Sensoren (PythonOperator, BashOperator)
• Scheduling (Cron, Presets, Catchup, Backfill)
• Abhängigkeiten und Task Flow
• XCom und Datenaustausch
• Jinja Templates und Macros
• Fehlerstrategien (Retries, SLAs)
• Monitoring und Logging in der Airflow UI
• Linting und Qualitätsprüfung von DAGs
• Testing von Airflow Workflows
• Deployment und CI/CD für DAGs
• Versionsverwaltung und Best Practices
• Umgang mit Secrets und Konfiguration
• Anti-Patterns und typische Fehlerquellen
• Ressourcenmanagement und Parallelism