Azure Data Factory Experten in München

• Entwicklung eines KI-gestützten Projektorganisationstools für ein Tiefbauunternehmen, das Projekt-, Aufgaben-, Ausschreibungs-, Terminund Dokumentendaten intelligent über einen Knowledge-Graphenverknüpft.
• Implementation von KI-Funktionen zur Dokumentenanalyse, Informationsextraktion, kontextbezogenen Assistenz und sprachbasierten Datenerfassung auf Basis von Microsoft Azure AI, wodurch administrative Aufwände reduziert, Informationen schneller zugänglich gemacht und Projektteams bei Entscheidungen unterstützt werden.
• Technologie-Stack: Python, React, TypeScript, FastAPI, Claude Code, Codex, Graphify, PostgreSQL, Microsoft Azure AI Foundry, Azure OpenAI, Azure AI Speech, Azure AI Document Intelligence, Microsoft Graph, Microsoft Entra ID, Docker, Git, CI/CD.

• Leitete die Modernisierung des Enterprise-Reportings durch die Migration von Legacy-SSRS-Reporting-Lösungen nach Power BI und unterstützte dabei über 500 Anwender bei voller Einhaltung von GDPR/DSGVO.
• Entwarf und optimierte Power-BI- und Microsoft-Fabric-Semantikmodelle mit Star Schema, dimensionaler Modellierung, fortgeschrittenem DAX und Performance-Optimierungstechniken und reduzierte so die Abfrage-Latenz um 25 %.
• Lieferte über 20 Executive- und operative Dashboards mit KPI-Scorecards, Drill-through, Bookmarks und Row-Level Security und steigerte die Reporting-Effizienz um 20 %.
• Ermöglichte Self-Service-Analytics durch gesteuerte Power-BI-Datasets, Dataflows und Gateway-Architektur und erhöhte die Nutzung durch fachlich gesteuerte Reports um 35 %.
• Konfigurierte für ein Sales-Dataset mit über 50 Millionen Zeilen eine inkrementelle Aktualisierung und Query Folding und reduzierte die täglichen Refresh-Zeiten um 85 %.
• Implementierte automatisierte ETL/ELT-Pipelines mit Azure Data Factory, Microsoft Fabric und Snowflake und verkürzte die Bereitstellungszeiten für Reports durch Workflow-Automatisierung um 40 %.
• Trieb Initiativen zur Modernisierung der Analytics-Landschaft mit Microsoft Fabric voran, darunter Lakehouse-Architektur, OneLake-Integration und der Aufbau einer zentralen Datenplattform, wodurch sich die Datenlatenz von 2 Stunden auf 20 Minuten reduzierte.
• Übersetzte fachliche Anforderungen von über 15 Stakeholdern in skalierbare Power-BI-Semantikmodelle und Dashboards, verbesserte die Reporting-Konsistenz und reduzierte Ad-hoc-Reporting-Anfragen um 25 %.
• Setzte Microsoft Copilot und generative KI-Tools ein, um SQL-Entwicklung, DAX-Erstellung, technische Dokumentation und Testaktivitäten zu beschleunigen, und reduzierte den Entwicklungsaufwand um etwa 15 Stunden pro Woche.

• Entwickelte und pflegte analytische Reporting-Lösungen für Kunden, um Umsatztrends, Leistungsfaktoren, Risiken und Optimierungspotenziale zu identifizieren und datengetriebene Entscheidungen in Sales, Finance, Product, Data Engineering und Controlling zu unterstützen.
• Definierte und analysierte Kundentrends und Leistungskennzahlen, um Ursachen für Abweichungen, Anomalien und neue Risiken in verschiedenen Geschäftsbereichen zu identifizieren und umsetzbare Empfehlungen abzuleiten.
• Entwickelte und verantwortete analytische Datenmodelle und Reporting-Layer, um Skalierbarkeit, Performance und analytische Robustheit für Executive- und Operational-Reporting in verschiedenen Geschäftsbereichen sicherzustellen.
• Plante, verfolgte und setzte Projekte um und stellte dabei durch strenge Validierungs- und Abgleichsprozesse die Einhaltung von Zeitplänen, Datenqualität, Konsistenz, Lieferergebnissen, Zuverlässigkeit und Datenqualitätsstandards sicher.
• Erhöhte die analytische Reife durch die Formalisierung analytischer Workflows, die Dokumentation von Datenprozessen und Standard Operating Procedures (SOPs) sowie durch Schulungen zur Förderung von Self-Service-Analytics und zur Verankerung einer datengetriebenen Kultur in operativen und fachlichen Teams.
• Übernahm die Verantwortung für die End-to-End-Roadmap von der Anforderungserhebung und Datensammlung über Transformation und die Entwicklung robuster Business-Logiken bis hin zum Data Storytelling und zur Übergabe an Stakeholder.
• Übersetzte Komplexität in strukturierte Klarheit, indem Anforderungen und Geschäftsprozesse in analytische Empfehlungen überführt wurden, um die Abstimmung zwischen nicht-technischen und technischen Stakeholdern sicherzustellen.
• Führte fortgeschrittene SQL-basierte Analysen komplexer Geschäftsdaten durch, um Trends, Zusammenhänge und Möglichkeiten zur Leistungsverbesserung aufzudecken.
• Trieb Prozessautomatisierung und Effizienzsteigerungen voran, indem Python, SQL-Optimierung und KI-gestützte Tools genutzt wurden, um Verarbeitungszeiten zu reduzieren und die Zuverlässigkeit analytischer und operativer Workflows zu erhöhen.
• Standardisierte KPI-Definitionen und Reporting-Logiken, um Konsistenz und Vertrauen in Reporting-Lösungen sicherzustellen.
• Entwickelte Dashboards und Analysen zur Prozessüberwachung, um Ineffizienzen, Engpässe und Compliance-Abweichungen in End-to-End-Geschäftsprozessen zu identifizieren und umsetzbare Empfehlungen für Prozessverbesserung und Automatisierung abzuleiten.

• End-to-end-Datenpipelines (Batch & Streaming) mit Python, SQL und Apache Spark sowie Databricks auf AWS entworfen und umgesetzt und dabei die ETL-Latenz um 40 % reduziert.
• Serverless, ereignisgesteuerte Ingestion-Pipelines mit AWS Lambda und SQS entwickelt und so die Echtzeitverfügbarkeit der Daten für nachgelagerte Analysen sichergestellt.
• Google Cloud Platform (GCP)-Services wie BigQuery und Dataflow genutzt, um Cloud-übergreifende Data-Warehousing- und Analytics-Integrationen zu steuern.
• Erfahrung mit DMS (CDC, Full Load) und Airflow für skalierbare Automatisierung und Orchestrierung von Datenpipelines.
• Datenpipelines mit Databricks und Airflow verwaltet und angepasst. Automatisierung mit Docker, Kubernetes und Terraform.
• Datenqualitätsprüfungen mit dbt automatisiert, um Transformationen zu modularisieren und eine produktionsreife Data Lineage sicherzustellen, wodurch die Zuverlässigkeit um 30 % verbessert wurde.
• Mit Compliance-Teams zusammengearbeitet, um die Einhaltung von GDPR und SOC2 sicherzustellen. Junior Engineers betreut und bei der Refaktorierung der Architektur für mehr Skalierbarkeit mitgewirkt.
• Dashboards in Power BI erstellt und gepflegt, um umsetzbare Einblicke zu liefern.

• Lead-Architekt für die Gestaltung und Umsetzung des Data Lake und der ETL-Pipeline mit dem AWS-Stack
• Leistungsoptimierung der Datenaufnahme der ETL-Pipeline
• Entwicklung der Datenvalidierung mit Great Expectations
• Leitung der Datenmigration für zwei Quellsysteme
• Datenmodellierung in AWS Redshift

MLOps

• Implementierung der Modell-Inferenz mit mlflow und AWS SageMaker
• Feature Engineering für die laufenden ML-Modelle (Recommender Engineer, Clustering)
• Implementierung von Model Registry und Artifactory mit mlflow
• Historisierung und Profiling der Eingabedaten mit AWS Glue Crawler und AWS Data Catalog
• Feature Importance mit mlflow

Tech. Stack: Python 3, AWS Glue, AWS Step Function, AWS Lambda, AWS EventBridge, AWS IAM Role, AWS SageMaker, AWS EC2, AWS Glue Crawler, AWS CloudWatch, MLFlow, ETL, Data Lake, GitHub Action, Terraform, Jenkins, Ansible Playbooks (Infrastructure as Code), CI/CD, GitLab, SQL, PySpark, Scrum, Agile, Jira, Big Data, VSCode, DBeaver, MSSQL, MySQL, Grafana, Docker, Linux, Bash, MapReduce, Datenmodellierung (ORM), Pandas, YAML, SQL-Alchemy

• Ablösung einer Java Anwendung und der Oracle DB zur Beladung des internen System WerWasWo mittels SSIS.
• Entwicklung von SSIS Paketen zum Laden von Textdateien in die Datenbank (SQL Server)
• Entwicklung eines Datenbankprojektes zum Deployment auf verschiedenen Servern
• Entwicklung von Queries zum Monitoring der Beladungsläufe
• Entwicklung eines PowerShell Skriptes zum automatisierten Bereitstellen der SSDT – Projekte.
• Oracle, SQL Developer, Microsoft SQL-Server 2022 on Prem, SQL Server Management Studio v21, Visual Studio 2022, SSIS, SSDT, PowerShell.

• Entwurf, Entwicklung und Pflege vollständiger ETL-Pipelines für eine skalierbare und zuverlässige Datenintegration
• Unterstützung bei Datenqualitätsprüfungen, Tests und Migrationen
• Entwicklung und Pflege von dbt-Modellen für strukturierte, modulare und wiederverwendbare Datentransformationen
• Einsatz von KI-gestützter Entwicklung, um ETL-Jobs und die Codequalität zu verbessern
• Entwicklung von CI/CD-Pipelines für die automatisierte Bereitstellung

• Entwicklung und Validierung eines Datenmodells und einer ESG-Bewertungspipeline
• GenAI-Governance

• Projekt: SAP-Migration (ECC zu S/4HANA) – US-basierte interne Analytics-Lösung zur Verwaltung von Finanz- und Personal-Performance-Insights für über 10.000 Nutzer in Nord- und Südamerika.
• Leitete die Cloud-Migration von einem Legacy-Data-Warehouse zu Azure Data Lake und Databricks und steigerte so die Systemskalierbarkeit um 40% sowie reduzierte manuelle Eingriffe um 60%.
• Übernahm die End-to-End-Produktverantwortung für 3 cross-funktionale Agile-Teams mit der SAFe-Methodik und Azure DevOps.
• Entwarf und implementierte Datenpipelines mit Azure Data Factory, wodurch die Datenübernahme um 30% schneller wurde und Datenfehler um 25% sanken.
• Definierte die Produkt-Roadmap, den Backlog und Sprint-Ziele in Zusammenarbeit mit Stakeholdern und sicherte, dass 95% der Ergebnisse den Geschäftserwartungen entsprachen.
• Verwaltete den Produkt-Backlog und priorisierte die Feature-Entwicklung basierend auf Stakeholder-Bedürfnissen, was zu einer 25% Steigerung der Sprint-Velocity und einer Sprint-Abschlussquote von 100% führte.
• Moderierte Agile-Zeremonien (Sprint-Planning, Reviews, Retrospektiven), die die Zusammenarbeit im Team verbesserten und die Lieferzeiten um 20% verkürzten.
• Führte Anforderungsaufnahme und -analyse durch, verbesserte die Datenqualität und die Ausrichtung an den Geschäftszielen und steigerte so die Migrationseffizienz um 25%.
• Arbeitete eng mit Geschäftsverantwortlichen zusammen, wodurch die Zeit zur Streitbeilegung um 15% sank und die Ausrichtung am Geschäftswert gestärkt wurde.
• Erstellte KPI-Dashboards zur Messung der Produktakzeptanz und Plattformstabilität, was die Stakeholder-Zufriedenheit um 20% steigerte.

• Entwarf und implementierte eine fortschrittliche, agentenbasierte RAG-Pipeline mit LangChain und LangGraph zur strukturierten Datenauslesung aus PDFs, unter Nutzung von Tools, Zustandsverwaltung und OpenAI LLMs (GPT-4), um Genauigkeit zu steigern und komplexe Dokumentstrukturen zu bewältigen.
• Entwickelte einen Google-KI-Agenten zur Extraktion strukturierter Informationen aus PDF-Dokumenten und deployte den Agenten auf Vertex AI.
• Entwarf Datenpipelines mit Azure Data Factory und Databricks, um Daten aus Azure Blob Storage zu laden, mit PySpark zu verarbeiten und über Linked Services in Azure SQL Database zu schreiben.
• Containerisierte KI-Agenten und -Services mit Docker für konsistente lokale Entwicklung und Bereitstellung.
• Nutze PySpark und Dask für Datenbankabfragen in Verbindung mit Azure Blob Storage und Document Storage.
• Erstellte einen ReAct-Agenten, der strukturierte Daten aus PDF-Dokumenten extrahiert, indem er Tools nutzt und Azure Document Intelligence integriert.
• Trug zum Projekt zur Validierung von CPO-Rechnungen bei, indem ich Databricks einsetzte, um bestehende CDRs zu finden und die Gesamtkosten zu berechnen.
• Entwickelte einen konversationalen KI-Agenten (Chatbot) mit FastAPI-Backend, integrierte RAG für präzise Tarifextraktion und setzte den Service mit Azure Container Apps um.
• Verwendete Tools: Azure, Azure OpenAI, Azure Document Intelligence, Azure Blob Storage, Google ADK, Google Cloud, Vertex AI, Gemini, Databricks, LangChain, LlamaIndex Ollama, Docker, PySpark, Azure SQL, Azure Data Factory, Azure AI Agent, Microsoft SQL Server

• Entwickelte Energieschätzmodelle, um den Stromlade- und Wasserstoffbetankungsbedarf an Lade- und Tankstellen für Logistik-Lkw in Deutschland zu ermitteln.
• Schätzte die zukünftige Güterverkehrsnachfrage in Deutschland mithilfe eines hausinternen Verkehrsbedarfsmodells.
• Entwarf ein Netzwerk aus Stromlade- und Wasserstofftankstellen auf Basis der Ergebnisse des Verkehrsmodells und unterstützte so die datenbasierte Infrastrukturplanung.

• Datenextraktion aus PostgreSQL mit dem Talend ETL-Tool entwickelt
• SQL/PL-SQL-Skripte und -Views nach Bedarf für den ETL-Prozess entwickelt
• Das GIT-Repository zusammen mit dem bestehenden CI/CD-Prozess für Test- und Produktionsbereitstellungen verwendet
• Mehrere komplexe ETL-Jobs erstellt und aktualisiert, um Tarifdaten für den Input-Pool in SQLite-Dateien abzubilden
• Quelldaten über eine H2-Datenbank extrahiert und für MT- und Fahrkartenautomaten in SQLite transformiert
• Eng mit Anforderungsingenieuren und Datenmanagern in einem agilen Umfeld zusammengearbeitet