Data Lake Experten in Deutschland

• Optimierung der Datenarchitektur (Medallion) für eine bessere Entkopplung der Verarbeitungsschritte und bessere Transparenz und Reproduzierbarkeit

• Technische Qualitätssicherung der Datenverarbeitung in Databricks durch Einführung von Schema Enforcement, Datenqualitätschecks und strukturierter Datenarchitektur

• Pipeline-Orchestrierung mit Azure Data Factory

• Professionalisierung und Automatisierung des Entwicklungs- und Deploymentprozesses durch Integration von Git und GitHub Actions

• Fachliche Führung des Data Engineering Teams (3 Mitarbeitende)

• Leitung von Workshops zur Optimierung und Stabilisierung der Datenplattform und des Entwicklungsprozesses

• Aufnahme und Priorisierung neuer Anfragen, Pflege des Produktbacklogs

• Technologien: Microsoft Azure (Data Lake, Data Factory), Databricks, Apache Spark (PySpark), Python, SQL, Git, Confluence, Power BI, Power Apps, Dataverse, MS Sharepoint, Mural

Ich bin ein erfahrener Data Engineer mit Spezialisierung auf durchgängige Datenintegration, Cloud-DWH-Architekturen und hochwertige, gut gesteuerte Datenprodukte.

Als Freiberufler habe ich die folgenden Projekte und Aufträge umgesetzt.

• Datenmigration eines CRM-Systems für AL-FA Objekt Service Gmbh
• Partnerschaft für den Weiterverkauf von Microsoft-Software

Ich suche freiberufliche Aufgaben wie: Freelance Data Engineer Cloud Data Warehouse Architect Data Modeling & Architecture Consultant MDM & Data Governance Specialist BI & Analytics Developer

Technische Schwerpunkte

• Data Engineering & Integration: SQL Server/SSIS, Informatica PowerCenter/IDQ, Talend, Kafka, Azure Data Factory – Delta/CDC/ELT-Muster, robuste Pipelines, Überwachung/Wiederherstellung, Datenherkunft und Auswirkungsanalyse, Medallion-Architektur mit Bronze/Silver/Gold-Schichten
• DWH & Cloud: Azure SQL / Data Lake / Synapse, AWS Redshift/S3, On-Premises SQL/Oracle – skalierbare Data Marts mit starkem Fokus auf Kosten und Nutzen.
• Datenmodellierung: Atomare (Inmon-) und dimensionale (Kimball-)Modelle, Data Vault (Linstedt), Domain-Driven Design, klare Datenherkunft und Verträge.
• MDM & Governance: Informatica MDM, IBM MDM, Stewardship-Prozesse, Datenqualitätsregeln, Survivorship/XREF, Katalog/Glossar, SIF/BES/REST-Veröffentlichung.
• Analytics/BI: Power BI, SSAS, Cognos – businessfähige und wartbare Datenprodukte.

• Umsetzung / Neustrukturierung diverser digitaler Payment-Anwendungsfälle
• Leitung und Management des Projektes, einschließlich Zeitplanung, Ressourcenplanung, Budgetierung
• Implementierung der Verbuchungsprozesse im SAP in den Nebenbüchern und Verarbeitung der Kontoauszüge für die Rechnungskontrolle
• Definition des zukünftigen Betriebs und der Betriebsprozesse
• Zusammenarbeit mit Stakeholdern, um Geschäftsanforderungen zu definieren und sicherzustellen, dass die Projektlösungen diesen entsprechen
• Identifizierung und Management von Projektrisiken und -problemen, einschließlich der Entwicklung von Risikominderungs- und Problemlösungsstrategien
• Förderung der Benutzerakzeptanz durch effektive Kommunikation, Schulung und Supportstrategien
• Beratung bei der praxisnahen Umsetzung von diversen DSGVO-Rechtsprechungen in die IT- und Geschäfts-Prozesse

• Architektur und Bereitstellung einer privaten Cloud-Datenplattform auf VMware vSphere mit Integration von Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr sowie Entwicklung von Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry.
• Leitung der Migration von Oracle Exadata zu Greenplum, Neugestaltung von Datenmodellen, Optimierung der Speicherung, Implementierung von RabbitMQ mit Debezium für CDC und Bereitstellung einer VectorDB für Generative AI.
• Entwicklung und Durchführung eines Multi-Cloud-Migrations-PoC über AWS, Azure und GCP, Definition von KPIs für Durchsatz, Latenz und Kosteneffizienz, Durchführung umfangreicher Datentransfers, Validierung von Analyse- und Streaming-Workloads sowie Erstellung umfassender Architektur-Empfehlungen.
• Bewertung bestehender On-Premises-Infrastrukturen und Entwicklung moderner cloudnativer Datenplattformen mit Greenplum und containerisierten Microservices sowie Beratung zu Skalierbarkeit, Disaster Recovery und Hochverfügbarkeit.

Multi-Agenten-Plattform zur Dokumentenerstellung

Problem:

Aus einem einzelnen Prompt ein gut recherchiertes, strukturiertes und mit Quellen belegtes Dokument erstellen und dabei die Kontrolle beim Nutzer belassen: Jeder Schritt kann geprüft, korrigiert oder erneut aufgerufen werden, bevor das System fortfährt.

Architektur:

Ein Multi-Agenten-System, das von einer zentralen Steuerung koordiniert wird. Mehr als 20 spezialisierte pydantic-ai-Subagenten (Verstehen, Strukturieren, Planen, Recherchieren, Schreiben, Zusammenstellen, Querverweise prüfen, Glossar, Zitate, Referenztabelle und mehr) geben Ergebnisse anhand eines gemeinsamen, in Postgres gespeicherten Plans (asyncpg) weiter. Eine Runner-Schicht weist jede Aufgabe anhand ihres Namens einem Agenten zu. Mechanische Schritte wie Formatierung, Inhaltsverzeichnis und Abbildungsverzeichnis werden durch deterministischen Code statt durch LLM-Aufrufe erledigt. Der Anbieter (Anthropic oder OpenAI) wird über eine Konfiguration festgelegt, und Antworten werden über Server-Sent Events gestreamt.

Hosting & Infrastruktur:

Ein zustandsloser Container läuft als Scaleway Serverless Container in einem privaten Netzwerk mit verwaltetem PostgreSQL, Objektspeicher für fertige Dokumente und Assets sowie zentraler Protokollübertragung (Loki / Scaleway Cockpit). Bereitstellung mit OpenTofu-Modulen und Deployment über GitLab CI; die Nutzung wird pro API-Schlüssel abgerechnet.

Mein Beitrag und wichtige Entscheidungen:

• Zentrale Entscheidungssteuerung: Ein Zufriedenheitsklassifikator wandelt die Freitext-Rückmeldung des Nutzers in eine Entscheidung um (weiterarbeiten, fortfahren, abbrechen oder eine frühere Aufgabe überarbeiten). Eine Middleware wendet sie auf den Plan an. Der Plan kann zu früheren Aufgaben zurückspringen und die darauffolgenden Schritte erneut ausführen.
• Parallele Recherche und Texterstellung: Die Planung erstellt einen Plan, aus dem ein Recherche-Design-Agent einzelne Rechercheaufgaben und ein Schreib-Design-Agent einzelne Schreibaufgaben erstellt, die jeweils mit der benötigten Recherche verknüpft sind. Jede Aufgabe wird in einem eigenen Agenten mit eigenem Gesprächsverlauf ausgeführt.
• Selbstprüfung und Einbindung des Menschen: Nach jedem Schritt prüft ein Agent für kritisches Denken das Ergebnis. Bevor der Plan fortgesetzt wird, kann der Nutzer eine Kritik annehmen, überarbeiten oder Fragen dazu stellen.
• MCP-Integrationen: Zwei entfernte MCP-Server für die Websuche und die interne Dokumentensuche sind über pydantic-ai angebunden, mit Wiederholungsversuchen und Timeouts für lang laufende Tool-Aufrufe. Klassifikator-Agenten entscheiden für jede Aufgabe, ob eine Websuche nötig ist. Ein kleines Modell fasst rohe Suchergebnisse zu strukturierten Erkenntnissen zusammen, bevor sie die Schreibagenten erreichen.

Nutzungsabrechnung:

Kunden authentifizieren sich mit einem API-Schlüssel, der über einen Schlüsselverwaltungsdienst geprüft wird. Der Verbrauch wird in Credits abgerechnet, berechnet anhand der Token-Nutzung pro Modell zuzüglich eines Aufschlags. Bei ausgeschöpftem Kontingent wird HTTP 429 zurückgegeben.

• Kunde — Podimo ApS (Podcast- und Hörbuch-Streaming): Aufbau der Finanz-Reporting-Ebene auf BigQuery + dbt + Airflow, einschließlich der zentralen Umsatztransaktions-Faktentabellen für das Finanzreporting.
• API-Automatisierung: Konzeption und Aufbau einer BigQuery → Airflow → Microsoft Dynamics 365 Business Central REST-API-Pipeline zur Automatisierung der Buchung von Verkaufsrechnungen, mit Idempotenz und Synchronisierung von Stammdaten zwischen den Systemen.
• Umsetzung: Alleiniger Engineer im Projekt — von den Anforderungen über Modellierung und Orchestrierung bis zur Kommunikation mit dem Finanzteam des Kunden.

• Leitung der Discovery-Phase und des POC für die Migration von Shopware zu Shopify Plus in den EMEA-Märkten, einschließlich Bewertung der Plattformtauglichkeit, der technischen Architektur sowie der Multi-Brand- und Multi-Country-Funktionen anhand der Geschäftsanforderungen.
• Entwicklung einer Referenzarchitektur für die Shopify-Plus-Implementierung mit Headless-Frontend-Patterns (Vue.js, Nuxt.js), CMS-Integration (Magnolia) und Azure-Middleware (APIM, Functions, Logic Apps, Service Bus) für 11 EMEA-Märkte.
• Definition der Migrationsstrategie durch Analyse des Datenmappings, des Cutover-Ansatzes und von Deployment-Patterns ohne Ausfallzeit mit Varnish-Caching, GitOps-Pipelines und CI/CD-Orchestrierung über sechs Anbieter-Teams hinweg.
• Entwicklung eines Multi-Tenant-Governance-Modells für Shopify Plus mit zentraler Administration, lokaler Anpassung der Storefronts und Compliance-Kontrollen (GDPR, Datenresidenz).
• Entwicklung eines Prototyps für KI-gestützte Suchoptimierung (LLM.txt, JSON-LD), um die Auffindbarkeit von Produkten in Google-AI-Ergebnissen zu verbessern und Chancen für die Performance nach dem Launch aufzuzeigen.
• Definition der EMEA-Expansions-Roadmap für 15+ Märkte durch strategische Workshops mit dem C-Level, einschließlich Identifikation des schrittweisen Rollouts, marktspezifischer Konfigurationen und des Ressourcenbedarfs.
• Tech Stack: React, Nuxt.js, Vue.js, Magnolia CMS, Shopware, Shopify Plus, Azure (APIM, Functions, Logic Apps, Service Bus, Front Door), Varnish, SAP, MS Dynamics, Docker, Kubernetes, GitHub Actions, PostgreSQL, Kafka

• Task Engineering: Bewertung von Coding Agents.
• Asset-Erstellung: Aufbau realistischer Aufgabenumgebungen mit Datensätzen und Dateien auf Deutsch. Entscheidend ist dabei, dass diese Assets in der Zielsprache bleiben, um den Umgang mit mehreren Sprachen wirklich zu messen.
• Prompting & Translation: Finden von Fehlerstellen, an denen die KI nicht funktioniert, auf Deutsch.
• Implementierung & Verifikation: Unterstützung bei der Entwicklung robuster Lösungen (Referenzimplementierungen) und Schreiben sehr zuverlässiger, deterministischer Verifizierungs-Skripte (mit rubric-basierten Bewertungen nur dann, wenn es unbedingt nötig ist).
• Kalibrierung & Ausführung: Auswertung von Ausführungslogs und Kalibrierung des Aufgabenschwierigkeitsgrads (Easy bis Very Hard) mit Standard-Terminal-Bench-Run-Konfigurationen gegen verschiedene Modellstufen (Haiku, Opus).
• Qualitätssicherung: Mitarbeit in einem strengen, 4-stufigen menschlichen Qualitätskontrollprozess (Erstellung, menschliche Prüfung, Kalibrierungsprüfung und Audit) zusammen mit automatisierten LLM-basierten Checks, um Fairness, grammatikalische Korrektheit und Benchmark-Integrität sicherzustellen.
• Linguistische Prüfung: Überprüfung von KI-Benchmark-Aufgaben in Hindi, Arabisch, Japanisch, Chinesisch, Tschechisch und Türkisch.

PMO- & Projektorganisations-Blueprint für Restrukturierung

Erneuerbare Energien / Solar Equipment

Technologien / Methoden: PMO-Setup, KPI-Tracking, Projektorganisation, Jira, Confluence

• Maßnahmen zur verbesserten Management-Steuerung während ei...

Procure Ai entwickelt eine Beschaffungsplattform mit Tools zur Optimierung von Einkauf und Lieferantenmanagement. Sie bietet Echtzeitanalysen, Einsparpotenziale und automatisierte Workflows. Ein gemeinsames Datenmodell integriert und ergänzt Daten aus mehreren ERP- und E-Procurement-Systemen, darunter Ivalua, SAP, Coupa, WPS und Jaggaer.

06/2025 – HEUTE:

• Konzeption und Entwicklung einer neuen KI-nativen Beschaffungsplattform mit Dokumentenintelligenz, einer Agenten-Orchestrierungsebene auf Basis von Mastra und LLM-basierter Workflow-Automatisierung für Anwendungsfälle in den Bereichen Lieferantenmanagement, Intake und Kategorienmanagement
• Agentenbasierte Entwicklungs-Workflows im gesamten Entwicklungsteam eingeführt, die LLM-gestützte Codegenerierung und automatisierte Reviews ermöglichen und die Durchlaufzeit sich wiederholender Entwicklungsaufgaben messbar verkürzen
• Migration des Design Systems von Material UI zu shadcn/ui mit Tailwind, um die Konsistenz zu verbessern und den Aufwand für die Frontend-Entwicklung zu verringern
• Weiterhin direkt an Frontend-, Backend- und KI-Funktionen mitgearbeitet, während das Engineering-Team von 10 auf 20+ Engineers wuchs: Recruiting, Onboarding, 1:1-Gespräche und Mentoring

06/2020 – 06/2025:

• Als erster Engineer nach den beiden Gründern eingestiegen; gemeinsam mit dem CTO die Plattformarchitektur und Produktvision von Grund auf gestaltet und die Plattform auf 10 Unternehmenskunden ausgebaut
• Die Fullstack-Entwicklung von Funktionen für die zentrale Beschaffungsplattform geleitet, mit Schwerpunkt auf Anwendungsfällen in den Bereichen Analytics, Suche und autonome Verhandlungen: MVP-Umfang festgelegt, technische Entscheidungen an den Kundenergebnissen ausgerichtet und Arbeiten eingestellt, die keinen Mehrwert brachten
• Eine feldbasierte Konfigurationsanforderung für autonome Verhandlungen hinterfragt und stattdessen einen knotenbasierten Regel-Editor entwickelt, der der Denkweise von Category Managern mit Bedingungen und Verzweigungen entspricht; später auch für andere Workflow- und Entscheidungskonfigurationen wiederverwendet
• Mandantenfähige Authentifizierung und fein abgestufte Autorisierung auf Basis von Organisationseinheiten entwickelt und umgesetzt
• Eine mandantenfähige Admin-Anwendung zur Verwaltung von Kundeninstallationen in verschiedenen Umgebungen konzipiert und entwickelt, einschließlich Konfiguration, Feature Flags und i18n
• Ein eigenes, auf Material UI basierendes Design System erstellt und gepflegt, das im gesamten Produkt zum Einsatz kommt
• CI/CD-Pipeline und vollständige QA-Suite eingerichtet und gepflegt (Linting sowie Unit-, Integrations- und E2E-Tests)
• Einen Release-Prozess für mehrere Umgebungen mit Helm und Helmfile konzipiert und umgesetzt; Verantwortung für Infrastructure as Code in AWS und Azure übernommen
• Neue Tools und Frameworks recherchiert und erprobt; Make-or-Buy-Entscheidungen getroffen, um Entwicklungsgeschwindigkeit, Kosten und langfristige Wartbarkeit in Einklang zu bringen
• Das Engineering-Team von 4 auf 10+ Engineers vergrößert, Engineers betreut und eine Kultur der Eigenverantwortung, Code-Reviews und schrittweisen Auslieferung aufgebaut

Technologien: TypeScript, JavaScript, React, Node.js, Fastify, GraphQL, GraphQL Codegen, GraphQL Mesh, GraphQL Yoga, Hasura, Apollo Client, REST, CubeJS, PostgreSQL, Prisma, Elasticsearch, Meilisearch, Typesense, Kafka, Avro, Karapace, Kubernetes, Docker, Terraform, OpenTofu, Helm, Helmfile, GitLab CI, Keycloak, Better-Auth, OpenFGA, Nx, Vite, Vitest, Playwright, Testing Library, Storybook, Chromatic, Material UI, shadcn/ui, Tailwind, React Flow, recharts, i18next, Backstage, Grafana, Sentry, Zod, Claude Code, Codex, Mastra, Vercel AI SDK, Vercel AI Elements, AWS, Azure

• Beratung von Unternehmen beim Aufbau, bei der Migration und Optimierung von BI- und Reporting-Landschaften (Power BI, SQL, Python, ETL)

• 5 Kundenprojekte in Immobilien und Finanzen seit 05/2025: Übernahme und Stabilisierung bestehender Berichte, Automatisierung wiederkehrender Standard- und Managementberichte, Aufbau von Cashflow-Modellen

• Erstellung von Angeboten und Durchführbarkeitsbewertungen für BI- und Reporting-Projekte

• Einsatz KI-gestützter Entwicklung (Claude Code) zur Beschleunigung von Automatisierung, Tooling sowie Web- und App-Entwicklung

• Individuelles ERP-System

• Problem: Die Kernprozesse eines Kunden liefen über verstreute, voneinander getrennte Excel-Dateien ohne zentrale Datenspeicherung – fehleranfällig, schwer skalierbar und nicht durchgängig analysierbar.

• Vorgehen: Erfassung der Geschäftsprozesse und Anforderungen, Modellierung der Daten und iterative Entwicklung gemeinsam mit dem Fachte‍am.

• Umsetzung: Entwicklung eines maßgeschneiderten, webbasierten ERP-Systems mit zentraler Datenbank, rollenbasierten Modulen und automatisiertem Reporting – umgesetzt mit KI-gestützter Entwicklung in Claude Code.

• Zeiterfassungs-App

• Ausgangspunkt: Die Zeiterfassung basierte auf einer übergroßen, makrolastigen Excel-Vorlage – wartungsintensiv, nur für einen Benutzer geeignet und fehleranfällig.

• Umsetzung: Migration sämtlicher Funktionen und VBA-Makros in eine eigenständige Web-App mit zentraler Datenspeicherung, Unterstützung mehrerer Benutzer und automatisiertem Reporting.

• Cashflow-Modellierung

• Ausgangspunkt: Das bestehende Cashflow-Modell umfasste nur Bestandsinvestitionen; Projektentwicklungen wurden bei der Steuerung nicht berücksichtigt.

• Umsetzung: Aufbau und Erweiterung des CF-Modells um Cashflows aus Projektentwicklungen.

• Optimierung: Prüfung und Optimierung bestehender CF-Modelle sowie Erweiterung der KPI-Ausgaben für Reporting und Steuerung.

• Aufbau einer Datenintegrationsplattform für Hoch-, Mittel- und Niederspannungs-Assets zur kontextuellen Analyse von Zeitreihen mit Stammdaten aus dem SCADA-Leitsystem (IEC 60870 104), INIS und SAP.
• Verantwortung für Architektur und Implementierung der Lösung sowie Sparringpartner für den Product Owner.
• Einsatz von Kotlin, Spring Boot, Maven, TimescaleDB, PostgreSQL, liquibase, Elements IoT, Docker, Kubernetes, Grafana, Python, Jupyter und verschiedenen API-Gateways.

• Definition und Aufbau der Themenbereiche
• Aufbau Governance-Modell für die Abteilung mit den Verantwortungsbereichen
• IT-Strategie, Projektmanagement, Prozessmanagement sowie Qualitäts- und Nachhaltigkeitsmanagement
• Ausarbeiten Kommunikationsstrategie in den Konzern
• Erstellen IT-Strategie
• Design von Templates, Guidelines und Prozessen für einheitliches Arbeiten
• Aufnahme strategischen Leitplanken und Gruppierung laufender Projekte – Ableitung Roadmap für strategische Planung
• Review laufende Projekte
• Erstellen Kalkulation Staffing-Mengengerüst
• Definition von Stellenprofilen

Konzeption und Entwicklung einer Azure-basierten KI- und Datenplattform, die verteilte Projektdokumente in durchsuchbares, strukturiertes Wissen für einen Enterprise-KI-Assistenten überführt. Kombination aus inkrementeller Dokumentverarbeitung, hybrider Keyword-/Vektorsuche, Wissensgraph-Extraktion und konversationeller KI für Microsoft Teams und Microsoft 365 Copilot. Implementierung von Python-Pipelines zur Verarbeitung von PDF-, Word-, Outlook- und Textdateien; Lifecycle-Management für Azure Cosmos DB; Azure AI Search; Azure AI Foundry und Azure OpenAI; identitätsbewusste Suche mit Microsoft Entra ID; Projektberechtigungen; eines TypeScript-Agenten mit Microsoft Agents SDK; Pulumi-Infrastruktur; robustem Scheduling sowie Werkzeugen für Wiederholungen und Diagnosen. Technologie-Stack: Python, TypeScript, FastAPI, Pydantic, Azure AI Foundry, Azure OpenAI, Azure AI Search, Azure Cosmos DB, Blob/Table Storage, Container Apps/Jobs, Service Bus, Key Vault, Entra ID, Docker, Pulumi, pytest, Microsoft Teams und Microsoft 365 Copilot.