Azure Data Lake Storage Experten in Deutschland

Architektur und Betrieb von Data Products für den Betrieb im Bereich erneuerbare Energien, einschließlich Windturbinen-, Netz-Mess- und Wetterdaten. Aufbau skalierbarer ETL/ELT-Pipelines in Azure Databricks mit Delta Lake (Bronze/Silver/Gold-Schichten) und Verarbeitung von Daten in verschiedenen Formaten, darunter strukturierte und semi-strukturierte Daten. Mitwirkung an einem Data-Quality-Framework mit Tabellen- und Spaltendokumentation, Ausreißererkennung und Vollständigkeitsmetriken für alle Datensätze innerhalb eines Data Products. Zusätzlich Implementierung eines DORA-KPI-Dashboards in Databricks, das für alle Data Products genutzt wird. Optimierung der CI/CD-Prozesse in Azure DevOps zur Vereinfachung der Bereitstellung über Entwicklungs-, Test- und Produktionsumgebungen hinweg.

Technology stack: Azure Databricks, PySpark, SQL, Delta Lake, Unity Catalog, Azure Data Lake, APIs, Dremio, Azure DevOps, YAML, Git, Databricks Workflows, Application Insights, Terraform, OpenAI API, Codex, LLM-assisted workflows

Verantwortlich für die technische Vision und Produktstrategie eines souveränen KI-Start-ups mit Fokus auf europäische Dateninfrastruktur und Compliance. Leitung eines funktionsübergreifenden Teams aus 7 Mitarbeitenden in den Bereichen Entwicklung, KI-Entwicklung und Betrieb in einer vollständig dezentralen Arbeitsumgebung.

• Definition der Produkt- und Technologieroadmap des Unternehmens, einschließlich KI-gestützter Lösungen mit integrierten Zahlungsdiensten
• Entwicklung skalierbarer Plattformarchitekturen mit Schwerpunkt auf Datensouveränität, Sicherheit und europäischer Regulierungskonformität
• Vorantreiben der praktischen Entwicklung über den gesamten Stack hinweg sowie Etablierung von Best Practices in der Softwareentwicklung und DevOps-Workflows
• Steigerung der Entwicklerproduktivität durch Mentoring, architektonische Beratung und Entscheidungen zur Auswahl von Werkzeugen
• Gestaltung der langfristigen technischen Strategie, um das Unternehmen für nachhaltiges Wachstum zu positionieren

• Beratung von Unternehmen beim Aufbau, bei der Migration und Optimierung von BI- und Reporting-Landschaften (Power BI, SQL, Python, ETL)

• 5 Kundenprojekte in Immobilien und Finanzen seit 05/2025: Übernahme und Stabilisierung bestehender Reports, Automatisierung wiederkehrender Standard- und Managementberichte, Aufbau von Cashflow-Modellen

• Angebots- und Machbarkeitsbewertungen für BI- und Reporting-Projekte

• Einsatz von KI-gestützter Entwicklung (Claude Code), um Automatisierung, Tooling sowie Web-/App-Entwicklung zu beschleunigen

• Individuelles ERP-System

• Problem: Die Kernprozesse eines Kunden liefen über verstreute, voneinander getrennte Excel-Dateien ohne zentrale Datenspeicherung – fehleranfällig, schwer skalierbar und nicht durchgängig auswertbar.

• Vorgehen: Geschäftsprozesse und Anforderungen aufgenommen, Daten modelliert und iterativ gemeinsam mit dem Fachteam entwickelt.

• Umsetzung: Ein maßgeschneidertes, webbasiertes ERP-System mit zentraler Datenbank, rollenbasierten Modulen und automatisiertem Reporting aufgebaut – umgesetzt mit KI-gestützter Entwicklung in Claude Code.

• Zeiterfassungs-App

• Ausgangssituation: Zeiterfassung auf Basis einer überladenen, makrolastigen Excel-Vorlage – wartungsintensiv, nur für einen Nutzer und fehleranfällig.

• Umsetzung: Alle Funktionen und VBA-Makros in eine eigenständige Web-App mit zentraler Datenspeicherung, Mehrbenutzerfähigkeit und automatisiertem Reporting überführt.

• Cashflow-Modellierung

• Ausgangssituation: Das bestehende Cashflow-Modell deckte nur Bestandsinvestitionen ab; Projektentwicklungen fehlten in der Steuerung.

• Umsetzung: Das CF-Modell aufgebaut und erweitert, um Cashflows aus Projektentwicklungen einzubeziehen.

• Optimierung: Bestehende CF-Modelle geprüft und optimiert sowie die KPI-Ausgaben für Reporting und Steuerung erweitert.

• Leitung der strategischen Softwareentwicklung von Fusionsalgorithmen für präzises Objekt-Tracking, Trajektorienvorhersage und Umgebungsmodellierung auf Basis multimodaler Sensordaten (u. a. Kamera, LiDAR, Radar, GNSS, IMU)
• Entwicklung und Implementierung von Navigationsalgorithmen für autonome Fahrzeuge, einschließlich Pfadplanung, Hindernisvermeidung und Sensorfusion aus visuellen, inertialen und distanzbasierten Sensorquellen
• Automatisierung des Extraktions- und Trainingsprozesses mit CI/CD
• Entwicklung und Optimierung von Datenpipelines und -prozessen in Microsoft Azure mithilfe von Apache Spark, Databricks und PySpark
• Entwicklung und Optimierung von Embedded-Software für automotive Steuergeräte
• Entwicklung von latenzkritischer Software für Echtzeitsteuerungen in robotischen Systemen mit RTOS (freeRTOS, SAFERTOS)
• Verwendung der Vector-Toolchain (CANdela, Davinci, CANoe) für Konfiguration und Diagnose
• Optimierung bestehender Datenpipelines und -prozesse (ETL, Data Warehouse, SQL)
• Entwicklung und Training von Machine-Learning-Modellen mithilfe von PyTorch
• Entwicklung Deep-Learning-basierter Objekterkennungs- und VisualSLAM-Algorithmen, trainiert auf kombinierten Daten aus Kamera-, LiDAR- und IMU-Sensorik
• Implementierung von Computer-Vision-Algorithmen zur Objekterkennung und -klassifikation in Robotersystemen auf Basis von OpenCV und YOLO unter Nutzung synchronisierter Bild- und Tiefendaten
• Implementierung verhaltensbasierter Steuerungssysteme für autonome Roboter mittels ROS2 Behavior Trees
• Durchführung von Tests, Freigabe und Einführung der Sensorfusionsalgorithmen in die Produktionsprogramme der Automobilbranche
• Einhaltung geeigneter Softwareentwicklungsprozesse und Sicherheitsstandards zur Gewährleistung hoher Datenqualität (MISRA, ISO 26262, ASPICE)

Aufgaben: Design und Betrieb von End-to-End-Cloud-Datenplattformen für Enterprise-Kunden in Verlag und Finanzwesen, inkl. Infrastruktur-Automatisierung, Pipeline-Entwicklung, Monitoring und Datenqualität.

Tätigkeiten:

• Aufbau mehrschichtiger Datenarchitekturen auf Databricks (Apache Spark, Delta Lake), BigQuery und GCP
• Vollautomatisierung der Cloud-Infrastruktur mit Terraform über 3 Umgebungen (DEV/STG/PRD)
• Entwicklung automatisierter Datenpipelines mit Python, dbt und GCP-Services für verschiedene Datenquellen
• Aufbau von Monitoring- und Alerting-Systemen für die Echtzeit-Überwachung der Plattform
• Implementierung von Datenversionierung und Qualitätschecks auf jeder Schicht
• Design automatisierter Test- und Deployment-Pipelines in GitLab und Bitbucket

Erfolge:

• 2× Produktions-Datenverarbeitungskapazität, Spike-Reaktionszeit von Minuten auf ≤15 s reduziert, Serverfehler ≈ 0
• 3.000 Zeilen manuelle Konfiguration durch ein wiederverwendbares Automatisierungsmodul für 7 Kundendomains ersetzt, Konfigurationsfehler auf 0
• Vollständige Datenplattform end-to-end geliefert bei ~10 €/Monat Infrastrukturkosten
• 7 Datenbanktabellen migriert mit 0 nachgelagerten Problemen
• 100 % offengelegte Credentials entfernt, externe Vendor-Abhängigkeit eliminiert
• Integration von 3 Teams in 1 Sprint geliefert

Kunden: CARIAD, AUDI AG

• Aufbau und Bereitstellung von Enterprise-MLOps-Pipelines mit Azure Machine Learning und Databricks. Reduzierte die Release-Zyklen für Modelle um 95 Prozent, von vier Wochen auf zwei Tage, durch automatisierte CI/CD-Workflows.
• Auslieferung von cloudnativen DevOps-Plattformen für ADAS-Programme mit Azure-Datendiensten, Kubernetes und Terraform-basierter Infrastrukturbereitstellung.
• Entwurf von High-Availability-Architekturen mit automatischem Failover. Senkte die Systemausfallzeit um 85 Prozent für geschäftskritische Energy-Trading-Plattformen.
• Entwicklung und Integration von KI-Agents und Enterprise-Chatbots mit LangChain, AutoGPT und GPT-Modellen. Ermöglichte autonome Workflows und automatisierte Abläufe auf Basis von Entscheidungen.
• Reduzierung der Cloud-Infrastrukturkosten um 40 Prozent durch Autoscaling-Strategien, Nutzung von Spot-Instanzen und richtliniengesteuerte Ressourcenverwaltung über Azure und AWS hinweg.
• Zusammenarbeit mit Data Scientists, ML Engineers, Produktmanagern und Führungskräften, um groß angelegte Lösungen für Automotive und Energie zu liefern.
• Implementierung von GitOps-gesteuerten CI/CD-Pipelines für die Softwareauslieferung im Automotive-Bereich für über 500 Ingenieure in verteilten Produktteams.
• Entwurf und Betrieb von Kubernetes-Plattformen auf Azure AKS. Verbesserte die Bereitungsstabilität und reduzierte Rollback-Vorfälle um 70 Prozent.
• Implementierung von Observability- und Monitoring-Stacks mit Prometheus, Grafana und Azure Monitor. Erreichte 99,9 Prozent Serviceverfügbarkeit.

Python, SQL, PySpark, Databricks, Databricks SQL, Delta Lake, dbt, Azure Data Lake Storage, Azure Machine Learning, Azure DevOps, Power BI, Git, MLflow

• Entwicklung, Validierung und Optimierung von Predictive-Analytics- und Klassifikationsmodellen mit Python (pandas), SQL und modernen ML-Frameworks.
• Durchführung von Datenanalysen, Feature Engineering, Modellvalidierung, Cross-Validation und Stabilitätsanalysen, um eine robuste Modellqualität und Performance sicherzustellen.
• Kommunikation von Modellannahmen, Ergebnissen, Unsicherheiten und Grenzen an Fachbereiche, Management und technische Stakeholder.
• Aufbau skalierbarer Daten- und Machine-Learning-Workflows in cloudbasierten Analytics-Umgebungen mit Databricks und Microsoft Azure.

Ich bin ein erfahrener Data Engineer mit Spezialisierung auf End-to-End Data Integration, Cloud-DWH-Architekturen und hochwertige, gesteuerte Datenprodukte.

Ich habe folgende Projekte und Einsätze als Freelancer umgesetzt.

• Data Migration des CRM-Systems für AL-FA Objekt Service Gmbh
• Microsoft Software Resales Partnership

Ich suche freiberufliche Rollen wie: Freelance Data Engineer Cloud Data Warehouse Architect Data Modeling & Architecture Consultant MDM & Data Governance Specialist BI & Analytics Developer

Technische Schwerpunkte

• Data Engineering & Integration: SQL Server/SSIS, Informatica PowerCenter/IDQ, Talend, Kafka, Azure Data Factory – Delta/CDC/ELT-Patterns, robuste Pipelines, Monitoring/Recovery, Data Lineage & Impact Analysis, Medallion Architecture mit Bronze/Silver/Gold-Layern
• DWH & Cloud: Azure SQL / Data Lake / Synapse, AWS Redshift/S3, on-prem SQL/Oracle – skalierbare Data Marts mit starkem Kosten-Nutzen-Fokus.
• Data Modeling: Atomic (Inmon) und Dimensional (Kimball), Data Vault (Linstedt), Domain-Driven Design, klare Herkunft & Verträge.
• MDM & Governance: Informatica MDM, IBM MDM, Stewardship-Prozesse, Data-Quality-Regeln, Survivorship/XREF, Katalog/Glossar, SIF/BES/REST-Publikation.
• Analytics/BI: Power BI, SSAS, Cognos – geschäftsreife, wartbare Datenprodukte.

• Datastage 11.7, dbt, Oracle 19, Python 3.12 / PySpark 3.5, Azure GitHub, Azure DevOps, Automic
• Entwicklung von Migrations-Jobs zur Übertragung der Daten aus dem Collection-DWH in den neuen Risk Mart sowie Entwicklung von ETL-Strecken zur Migration historischer Daten vom alten Mart in den neuen Risk Mart.
• Speicherung der Silver Layer auf Hadoop und der Gold Layer in Oracle.
• Übersetzung von DataStage-Jobs in dbt zur Veröffentlichung von Berichtsdaten in der Google Cloud auf eine PostgreSQL-Datenbank.
• Erstellung und Optimierung komplexer SQL-Abfragen zur Datenextraktion aus einem Data Vault unter Berücksichtigung der Historisierung in den Point-in-Time-Tabellen.
• Erstellung von Oracle-Tabellendefinitionen (DDL) und Anpassung bestehender Stored Procedures.
• Versionierung der Änderungen in GitHub und Deployment über das CI/CD-Portal.
• Umbau von DataStage-Langläufer-Jobs in Python unter Einsatz von PySpark zur Reduzierung der Serverlast.
• Migration von SAS-Skripten nach PL/SQL einschließlich Neuentwicklung von Verteilungsfunktionen ohne direktes Äquivalent in Oracle.
• Entwicklung von Automic-Jobs zur Ausführung von DataStage-Strecken und Python-Skripten (PySpark-Jobs), die die Befüllung der SME- und Institutional-Risk-Tabellen im Risk Mart steuern und fachliche Berechnungen ausführen.
• Teilnahme am agilen Prozess, einschließlich der Erstellung von User Stories, Schätzungen und Planung in Azure DevOps.
• Bearbeitung von Azure DevOps-Tickets und enge Zusammenarbeit mit Testern und Fachbereichen zur Fehleranalyse und -behebung.

• Beratung bei der Nutzung von Analyse- und BI-Tools und Diensten im Microsoft Azure-Stack (z. B. MS Fabric, Synapse Workspaces und dedizierte SQL-Pools, SQL Database, PostgreSQL, Snowflake, Databricks, Data Factory, SSIS, Analysis Services, Function Apps, Power BI, ML)
• Selbstständiger Entwurf von Analyselösungen mit Python, SQL etc.
• Entwurf und Implementierung von ETLs und Datenpipelines
• Erstellung und Pflege von APIs
• Selbstständige Anwendung von CI/CD, Testing und Versionskontrolle
• Modellierung von Daten
• Modellentwicklung und Modelloptimierung
• Anomalieerkennung mit KI
• Predictive Analytics

Verwendete Technologien:

• Snowflake
• Fabric
• Azure Synapse Analytics
• Azure DataFactory
• Azure Data Lake
• Azure DevOps
• Databricks
• Spark
• CI/CD
• SQL Database
• Python
• Power Platform

• Rolle: Software-Ingenieur & Angewandter Mathematiker (Mathematische Optimierung für Terminplanung; Dauer: 1 Monat; Teamzusammenstellung: Team von 2, remote; Technologien: JuMP, Julia, Pluto, Svelte, JavaScript, TypeScript, JetBrains Space, Terraform, Nomad)

• Rolle: Software-, Cloud- & Web-Ingenieur (Aufbau eines skalierbaren Data-Science-Rechenclusters von Grund auf; Dauer: 11 Monate; Teamzusammenstellung: Team von 1, vor Ort; Technologien: Terraform, Kubernetes, k8s ingress, k8s services, k8s RBAC, k8s networking, k3s, etcd, S3, DNS, Zertifikate, Julia, Pluto, JavaScript, Tailwind, Astro, npm, Parcel, Preact, MUI, JWT, AWS SQS, AWS RDS, Python, GitLab, GitHub)

• Rolle: KI- & Web-Ingenieur (Individueller ChatGPT-Dienst; Dauer: 1 Monat; Teamzusammenstellung: Team von 2, remote; Technologien: Python, Poetry, LangChain, Tailwind, ChatGPT API, Flask, FastAPI)

• Rolle: Architekt & Dateningenieur (Einrichtung und Befüllung eines zentralen Data Lakes; Dauer: 9 Monate; Teamzusammenstellung: Team von 5, remote; Technologien: Infrastructure-as-Code, AWS CDK, Python, Boto3, PySpark, AWS Glue, IAM, S3, ECS, Fargate, Lambda, Apache Hudi, DeltaLake, Databricks, GitHub, Jira, Miro)

• Rolle: Software-Ingenieur (PoC zur Migration von scikit-decide nach Julia; Dauer: 1 Monat; Teamzusammenstellung: Team von 2, remote; Technologien: Python, Julia, GitHub)

• Entwurf und Bereitstellung von Best Practices für Datenmodellierung mit dbt, einschließlich Changing Dimensions, Umgang mit spät eintreffenden Daten und Tests
• Entwurf des Ingestion-Flows von anderen Systemen nach S3 und Redshift
• Entwurf und Implementierung neuer Partitionen für Dagster und inkrementelles Laden mit dbt
• Übersetzung von fachlichen Anforderungen in technische Architekturen
• Einarbeitung und Anleitung von Junior-Teammitgliedern

• Wartung und Weiterentwicklung einer Siebel CRM Service & Marketing Implementierung (Siebel 23.1, Opentext, OBIEE, Informatica).

• Lead-Architekt für die Gestaltung und Umsetzung des Data Lake und der ETL-Pipeline mit dem AWS-Stack
• Leistungsoptimierung der Datenaufnahme der ETL-Pipeline
• Entwicklung der Datenvalidierung mit Great Expectations
• Leitung der Datenmigration für zwei Quellsysteme
• Datenmodellierung in AWS Redshift

MLOps

• Implementierung der Modell-Inferenz mit mlflow und AWS SageMaker
• Feature Engineering für die laufenden ML-Modelle (Recommender Engineer, Clustering)
• Implementierung von Model Registry und Artifactory mit mlflow
• Historisierung und Profiling der Eingabedaten mit AWS Glue Crawler und AWS Data Catalog
• Feature Importance mit mlflow

Tech. Stack: Python 3, AWS Glue, AWS Step Function, AWS Lambda, AWS EventBridge, AWS IAM Role, AWS SageMaker, AWS EC2, AWS Glue Crawler, AWS CloudWatch, MLFlow, ETL, Data Lake, GitHub Action, Terraform, Jenkins, Ansible Playbooks (Infrastructure as Code), CI/CD, GitLab, SQL, PySpark, Scrum, Agile, Jira, Big Data, VSCode, DBeaver, MSSQL, MySQL, Grafana, Docker, Linux, Bash, MapReduce, Datenmodellierung (ORM), Pandas, YAML, SQL-Alchemy