Delta Lake Experten in Deutschland

• In diesem Projekt wurden Informationsdaten extrahiert, um das Verfassen von Berichten für ein Unternehmen zu unterstützen, das geopolitische, globale und kommerzielle Informationen bereitstellt. Die Daten wurden aus verschiedenen Quellen gesammelt (Interviewtranskripte, Online-Daten, interne Dokumente) und anschließend zu einer Wissensbasis zusammengeführt. Diese bildete die Grundlage für ein komplexes RAG-System, das anhand eines Golden Dataset evaluiert wurde. Agenten wurden eingesetzt, um widersprüchliche Informationen und sich gegenseitig bestätigende Aussagen zu finden sowie das generierte Wissen wieder zu speichern.

Verwendet: Python, RAG, LangGraph, LangChain, deepeval, MCP

• Leitete die Modernisierung des Enterprise-Reportings durch die Migration von Legacy-SSRS-Reporting-Lösungen nach Power BI und unterstützte dabei über 500 Anwender bei voller Einhaltung von GDPR/DSGVO.
• Entwarf und optimierte Power-BI- und Microsoft-Fabric-Semantikmodelle mit Star Schema, dimensionaler Modellierung, fortgeschrittenem DAX und Performance-Optimierungstechniken und reduzierte so die Abfrage-Latenz um 25 %.
• Lieferte über 20 Executive- und operative Dashboards mit KPI-Scorecards, Drill-through, Bookmarks und Row-Level Security und steigerte die Reporting-Effizienz um 20 %.
• Ermöglichte Self-Service-Analytics durch gesteuerte Power-BI-Datasets, Dataflows und Gateway-Architektur und erhöhte die Nutzung durch fachlich gesteuerte Reports um 35 %.
• Konfigurierte für ein Sales-Dataset mit über 50 Millionen Zeilen eine inkrementelle Aktualisierung und Query Folding und reduzierte die täglichen Refresh-Zeiten um 85 %.
• Implementierte automatisierte ETL/ELT-Pipelines mit Azure Data Factory, Microsoft Fabric und Snowflake und verkürzte die Bereitstellungszeiten für Reports durch Workflow-Automatisierung um 40 %.
• Trieb Initiativen zur Modernisierung der Analytics-Landschaft mit Microsoft Fabric voran, darunter Lakehouse-Architektur, OneLake-Integration und der Aufbau einer zentralen Datenplattform, wodurch sich die Datenlatenz von 2 Stunden auf 20 Minuten reduzierte.
• Übersetzte fachliche Anforderungen von über 15 Stakeholdern in skalierbare Power-BI-Semantikmodelle und Dashboards, verbesserte die Reporting-Konsistenz und reduzierte Ad-hoc-Reporting-Anfragen um 25 %.
• Setzte Microsoft Copilot und generative KI-Tools ein, um SQL-Entwicklung, DAX-Erstellung, technische Dokumentation und Testaktivitäten zu beschleunigen, und reduzierte den Entwicklungsaufwand um etwa 15 Stunden pro Woche.

Architektur und Betrieb von Data Products für den Betrieb im Bereich erneuerbare Energien, einschließlich Windturbinen-, Netz-Mess- und Wetterdaten. Aufbau skalierbarer ETL/ELT-Pipelines in Azure Databricks mit Delta Lake (Bronze/Silver/Gold-Schichten) und Verarbeitung von Daten in verschiedenen Formaten, darunter strukturierte und semi-strukturierte Daten. Mitwirkung an einem Data-Quality-Framework mit Tabellen- und Spaltendokumentation, Ausreißererkennung und Vollständigkeitsmetriken für alle Datensätze innerhalb eines Data Products. Zusätzlich Implementierung eines DORA-KPI-Dashboards in Databricks, das für alle Data Products genutzt wird. Optimierung der CI/CD-Prozesse in Azure DevOps zur Vereinfachung der Bereitstellung über Entwicklungs-, Test- und Produktionsumgebungen hinweg.

Technology stack: Azure Databricks, PySpark, SQL, Delta Lake, Unity Catalog, Azure Data Lake, APIs, Dremio, Azure DevOps, YAML, Git, Databricks Workflows, Application Insights, Terraform, OpenAI API, Codex, LLM-assisted workflows

Ich habe eine KI-gestützte Multi-Tenant-Plattform auf Azure entworfen und entwickelt, die SAP-Prozessaufzeichnungen in technische Dokumentation, Präsentationen und automatisierte Tests umwandelt und dabei über 15.000 Prozessaufzeichnungen für Unternehmenskunden wie Würth verarbeitet. Ich war verantwortlich für die Architektur, die produktiven Releases und das DevOps-Setup. Außerdem habe ich ein Multi-Tenant-System mit SSO und rollenbasierter Zugriffskontrolle auf Azure entworfen. MCP Server mit dynamischer OAuth-Authentifizierung implementiert.

Hauptaufgaben:

• Sprint-Planung und Feature-Vorbereitung
• Design der Multi-Tenant-Plattform-Architektur (FastAPI, SQLAlchemy, PostgreSQL Row-Level Security für Tenant-Isolation)
• Entwicklung von KI-Pipelines mit Prefect für Transkription (Azure Speech API), Dokumentengenerierung und SAP-Screen-Recording-Analyse (Claude, gpt-4-mini)
• Design und Implementierung eines MCP-Servers, um Tenant-Wissen für LLM-Clients (Claude) bereitzustellen, mit asynchronem Retrieval und Reranking
• Implementierung von LLM-Kosten-Tracking, Rate Limiting und Client-Pooling für Anthropic/OpenAI/Azure-OpenAI-Endpunkte
• Einrichtung von CI/CD: Docker-Images in Azure Container Registry, GitHub Actions, Azure Static Web Apps, Alembic-Migrationen in Containern
• Verwaltung von Produktions-Deployments und Durchführung von Live-Datenmigrationen für Unternehmenskunden
• Definition von Engineering-Standards und Architekturmustern für das Team

Umgebung: Azure / Azure Foundry / Python / FastAPI / Prefect / React / PostgreSQL

• Titel der Arbeit: Entwurf einer semantischen Schicht für Enterprise Analytics und KI-Integration.
• Architektur für eine semantische Schicht im Enterprise-Analytics-Umfeld entworfen, die Datensatzsuche, Beziehungsabbildung und geregelten Zugriff auf Berichtsdaten verbessert hat.
• Workflows zur Schema-Erkennung und SQL-Generierung für über 400 Datenprodukte erstellt, um komplexe Datenstrukturen in nutzbare Analyseobjekte umzuwandeln.
• Rollenbasierte Zugriffskontrolle, Row-Level Security und Abfragevalidierung implementiert, um Datenqualität, geregelten Zugriff und verlässliche Nutzung von Enterprise-Reporting-Datensätzen sicherzustellen.

• Idee, Design und erste Implementierung eines Dienstes, der öffentlich verfügbare Daten aggregiert, um Preise für bestimmte Objektarten zu schätzen
• Sammlung von Daten aus verschiedenen Quellen und deren Normalisierung. Einbettung der Daten mit SentenceTransformer und Training von Gradient-Boosting-Modellen
• Implementierung eines Webdienstes, der
• beliebigen Text von Benutzern einliest
• ihn ergänzt, wenn Teile der Daten fehlen
• ein lokales LLM-Modell verwendet, um die Daten für die Vorhersage aufzubereiten
• die Daten einbettet und eine Vorhersage vom Gradient-Boosting-Modell abruft
• ein LLM-Modell verwendet, um einen Bericht zur Benutzeranfrage einschließlich Erklärungen zu erstellen
• Stack: BigQuery, Vertex AI, Cloud Run (GCP), Python, Terraform, DBT, SentenceTransformer, Qwen
• Kleinere SEO-Optimierungen
• Weitere Entwicklungen folgen...

Aufgaben: Design und Betrieb von End-to-End-Cloud-Datenplattformen für Enterprise-Kunden in Verlag und Finanzwesen, inkl. Infrastruktur-Automatisierung, Pipeline-Entwicklung, Monitoring und Datenqualität.

Tätigkeiten:

• Aufbau mehrschichtiger Datenarchitekturen auf Databricks (Apache Spark, Delta Lake), BigQuery und GCP
• Vollautomatisierung der Cloud-Infrastruktur mit Terraform über 3 Umgebungen (DEV/STG/PRD)
• Entwicklung automatisierter Datenpipelines mit Python, dbt und GCP-Services für verschiedene Datenquellen
• Aufbau von Monitoring- und Alerting-Systemen für die Echtzeit-Überwachung der Plattform
• Implementierung von Datenversionierung und Qualitätschecks auf jeder Schicht
• Design automatisierter Test- und Deployment-Pipelines in GitLab und Bitbucket

Erfolge:

• 2× Produktions-Datenverarbeitungskapazität, Spike-Reaktionszeit von Minuten auf ≤15 s reduziert, Serverfehler ≈ 0
• 3.000 Zeilen manuelle Konfiguration durch ein wiederverwendbares Automatisierungsmodul für 7 Kundendomains ersetzt, Konfigurationsfehler auf 0
• Vollständige Datenplattform end-to-end geliefert bei ~10 €/Monat Infrastrukturkosten
• 7 Datenbanktabellen migriert mit 0 nachgelagerten Problemen
• 100 % offengelegte Credentials entfernt, externe Vendor-Abhängigkeit eliminiert
• Integration von 3 Teams in 1 Sprint geliefert

Python, SQL, PySpark, Databricks, Databricks SQL, Delta Lake, dbt, Azure Data Lake Storage, Azure Machine Learning, Azure DevOps, Power BI, Git, MLflow

• Entwicklung, Validierung und Optimierung von Predictive-Analytics- und Klassifikationsmodellen mit Python (pandas), SQL und modernen ML-Frameworks.
• Durchführung von Datenanalysen, Feature Engineering, Modellvalidierung, Cross-Validation und Stabilitätsanalysen, um eine robuste Modellqualität und Performance sicherzustellen.
• Kommunikation von Modellannahmen, Ergebnissen, Unsicherheiten und Grenzen an Fachbereiche, Management und technische Stakeholder.
• Aufbau skalierbarer Daten- und Machine-Learning-Workflows in cloudbasierten Analytics-Umgebungen mit Databricks und Microsoft Azure.

• Ablösung einer Java Anwendung und der Oracle DB zur Beladung des internen System WerWasWo mittels SSIS.
• Entwicklung von SSIS Paketen zum Laden von Textdateien in die Datenbank (SQL Server)
• Entwicklung eines Datenbankprojektes zum Deployment auf verschiedenen Servern
• Entwicklung von Queries zum Monitoring der Beladungsläufe
• Entwicklung eines PowerShell Skriptes zum automatisierten Bereitstellen der SSDT – Projekte.
• Oracle, SQL Developer, Microsoft SQL-Server 2022 on Prem, SQL Server Management Studio v21, Visual Studio 2022, SSIS, SSDT, PowerShell.

• Sammeln und Analysieren von Anforderungen in enger Zusammenarbeit mit den Fachbereichen, um datengesteuerte Lösungen und skalierbare PowerBI Reporting Infrastrukturen zu entwickeln.
• Durchführung detaillierter Fehleranalysen und Optimierungen bestehender semantischer und Datenmodelle, um eine robuste Datenarchitektur und hohe Datenqualität sicherzustellen und das PowerBI Reporting zu verbessern.
• Entwicklung und Implementierung skalierbarer ETL-Prozesse zur Datenaufbereitung und -integration.
• Aufbau eines Wikis für Tabellen- und View-Beschreibungen sowie PowerBI PowerQuery- und KPI-Dokumentationen, um ein einheitliches Verständnis der Datenstrukturen und Kennzahlen zu gewährleisten.

• Beratung bei der Nutzung von Analyse- und BI-Tools und Diensten im Microsoft Azure-Stack (z. B. MS Fabric, Synapse Workspaces und dedizierte SQL-Pools, SQL Database, PostgreSQL, Snowflake, Databricks, Data Factory, SSIS, Analysis Services, Function Apps, Power BI, ML)
• Selbstständiger Entwurf von Analyselösungen mit Python, SQL etc.
• Entwurf und Implementierung von ETLs und Datenpipelines
• Erstellung und Pflege von APIs
• Selbstständige Anwendung von CI/CD, Testing und Versionskontrolle
• Modellierung von Daten
• Modellentwicklung und Modelloptimierung
• Anomalieerkennung mit KI
• Predictive Analytics

Verwendete Technologien:

• Snowflake
• Fabric
• Azure Synapse Analytics
• Azure DataFactory
• Azure Data Lake
• Azure DevOps
• Databricks
• Spark
• CI/CD
• SQL Database
• Python
• Power Platform

• Optimierung der Datenarchitektur (Medallion) für eine bessere Entkopplung der Verarbeitungsschritte sowie höhere Transparenz und Reproduzierbarkeit
• Technische Qualitätssicherung der Datenverarbeitung in Databricks durch Einführung von Schema Enforcement, Datenqualitätschecks und strukturierter Datenarchitektur
• Pipeline-Orchestrierung mit Azure Data Factory
• Professionalisierung und Automatisierung des Entwicklungs- und Deploymentprozesses durch Integration von Git und GitHub Actions
• Fachliche Führung des Data Engineering Teams (3 Mitarbeitende)
• Leitung von Workshops zur Optimierung und Stabilisierung der Datenplattform und des Entwicklungsprozesses
• Aufnahme und Priorisierung neuer Anfragen, Pflege des Produktbacklogs
• Technologien: Microsoft Azure (Data Lake, Data Factory), Databricks, Apache Spark (PySpark), Python, SQL, Git, Confluence, Power BI, Power Apps, Dataverse, MS SharePoint, Mural

• Konzeption und Implementierung von KI-Agenten in der AWS-Cloud
• Kontinuierliche Abstimmung mit Stakeholdern
• Zusammenarbeit mit DevOps
• Technologien: Git, CI/CD (GitHub Actions), Python/ML, Streamlit, Deno/TypeScript, AWS SAM, AWS Bedrock, AWS Lambda, AWS DynamoDB, AWS S3, AWS EventBridge usw.

• Entwurf und Umsetzung der agentischen KI-Architektur für eine unternehmensweite Plattform zur sicheren Bereitstellung von LLM-basierten Agenten
• Design und Implementierung von End-to-End RAG-Pipelines aus multiplen Quellen: Dokumentenaufbereitung, Chunking-Strategien für heterogene Dokumenttypen, Embedding, Retrieval mit Re-Ranking und robuste Prompt-Orchestrierung
• Modulares Context-Engineering-Framework mit Skill-Architektur, Kontext-Isolation und dynamischer Ressourcenverwaltung; Human-in-the-Loop-Kontrolle für Enterprise-Tool-Integrationen
• Aufbau der CI/CD-Pipeline, Test-Strategie, Tracing sowohl auf Software-Seite als auch automatisierte LLM- und Agenten-Evaluierungen, Red Team Testing und Tracing sowie Übergabe in reproduzierbaren Betrieb (ISO27001 und SOC2 konform)