
PySpark Experten in Berlin
erstellen, in wenigen Minuten per KI vermitteltBeauftragen Sie Experten, die große Datensätze verarbeiten, Spark-SQL-Workflows entwerfen und Machine-Learning-Pipelines mit Python, Cloud-Speicher und Orchestrierungstools produktiv setzen. FRATCH findet schnell und präzise den passenden geprüften und verfügbaren Freelancer.
Lerne FRATCH Experten in Berlin kennen, die kürzlich PySpark eingesetzt haben
William N.
Letzte Position:
Power-BI-Lösungsarchitekt/-Ingenieur & KI-Berater bei AVERDUNG GmbH
- Neugestaltung der BI-Infrastruktur des Unternehmens: Ablösung einer fragmentierten Landschaft aus manuell gepflegten Excel-Lösungen und CSV-Importen durch eine zentralisierte Power-BI-Umgebung mit einem einheitlichen Datenmodell als unternehmensweiter Single Source of Truth
- Konsolidierung zuvor isolierter Reporting-Logiken in einem zentralen semantischen Modell – Eliminierung redundanter Dateien, manueller Datenübergaben und widersprüchlicher Kennzahlen zwischen den Fachbereichen
- Forecasting & Planung: Konzeption und Umsetzung einer unternehmensweiten Liquiditätsplanung in Power BI – von der fachlichen Logik bis zum vollautomatisierten, datenquellengetriebenen Planungsmodell als Ersatz für den bisherigen manuellen Excel-Prozess; ermöglicht rollierende Forecasts und laufend aktuelle Cashflow-Transparenz für die Geschäftsführung
- Optimierung bestehender Power-BI-Dashboards hinsichtlich Performance, Struktur und analytischem Mehrwert mittels AI-nativem Ansatz
- Analyse und Verbesserung des Datenmodells inkl. Datenqualitätsanalysen, Datenbereinigung und konsistenter Modellierung über Star Schema, DAX und Power Query
- Incident- & Anomalieanalyse: Identifikation, Untersuchung und Erklärung von Datenanomalien inkl. Root-Cause-Analyse und konkreten Handlungsempfehlungen
- KI-Lösungsarchitektur: Anbindung von Business Central und Power BI an LangDock via MCP (Model Context Protocol) für KI-gestützte Datennutzung
- Aufbau eines historischen Datenlayers als Basis für Trend- und Zeitreihenanalysen
- KI-gestützte Automatisierung: Konzeption und Entwicklung von KI-Skills, -Agenten, -Loops und -Prozessen zur automatisierten Analyse und Interpretation von Reports
- Automatisierter Reporting-Workflow: Einrichtung eines geplanten, automatisierten E-Mail-Versands KI-generierter Analysen und Empfehlungen an Stakeholder
- Erhebung und Dokumentation fachlicher Anforderungen sowie Abstimmung mit Fachbereichen und IT im Rahmen von Requirements Engineering / Product-Owner-Tätigkeiten
- Herunterbrechen der Gesamtanforderungen in klar definierte Arbeitspakete und Tasks
- Definition, Priorisierung und Steuerung von Meilensteinen über den gesamten Projektlebenszyklus
Tools: POWER BI, M365, Copilot Studio, MIRO, Microsoft Business Central, Microsoft Fabric, Claude AI, ChatGPT, LangDock, MS VS Code
Vili D.
Letzte Position:
Technischer Leiter, Data Engineer bei Mercedes-Benz Consulting
Optimierung der Datenarchitektur (Medallion) für eine bessere Entkopplung der Verarbeitungsschritte und bessere Transparenz und Reproduzierbarkeit
Technische Qualitätssicherung der Datenverarbeitung in Databricks durch Einführung von Schema Enforcement, Datenqualitätschecks und strukturierter Datenarchitektur
Pipeline-Orchestrierung mit Azure Data Factory
Professionalisierung und Automatisierung des Entwicklungs- und Deploymentprozesses durch Integration von Git und GitHub Actions
Fachliche Führung des Data Engineering Teams (3 Mitarbeitende)
Leitung von Workshops zur Optimierung und Stabilisierung der Datenplattform und des Entwicklungsprozesses
Aufnahme und Priorisierung neuer Anfragen, Pflege des Produktbacklogs
Technologien: Microsoft Azure (Data Lake, Data Factory), Databricks, Apache Spark (PySpark), Python, SQL, Git, Confluence, Power BI, Power Apps, Dataverse, MS Sharepoint, Mural
Alexander Z.
Letzte Position:
Senior Data Solutions Engineer bei VMware Inc.
- Architektur und Bereitstellung einer privaten Cloud-Datenplattform auf VMware vSphere mit Integration von Greenplum MPP, Apache Kafka, Kubernetes und Apache Solr sowie Entwicklung von Echtzeit-Ingestion-Pipelines mit Kafka Connect und Schema Registry.
- Leitung der Migration von Oracle Exadata zu Greenplum, Neugestaltung von Datenmodellen, Optimierung der Speicherung, Implementierung von RabbitMQ mit Debezium für CDC und Bereitstellung einer VectorDB für Generative AI.
- Entwicklung und Durchführung eines Multi-Cloud-Migrations-PoC über AWS, Azure und GCP, Definition von KPIs für Durchsatz, Latenz und Kosteneffizienz, Durchführung umfangreicher Datentransfers, Validierung von Analyse- und Streaming-Workloads sowie Erstellung umfassender Architektur-Empfehlungen.
- Bewertung bestehender On-Premises-Infrastrukturen und Entwicklung moderner cloudnativer Datenplattformen mit Greenplum und containerisierten Microservices sowie Beratung zu Skalierbarkeit, Disaster Recovery und Hochverfügbarkeit.
Hamza K.
Letzte Position:
Wissenschaftlicher Forschungsmitarbeiter im Gesundheitssektor (ehrenamtlich) bei n/a
- Tätigkeit als technischer Berater zur Optimierung mehrschichtiger Ensemble-Modelle, die ResNet, CNN-BiGRU-Attention und XGBoost kombinieren.
- Begleitung der Implementierung eines Logistic-Regression-Meta-Learners zur Lösung von Problemen mit unausgeglichenen Klassen; dabei wurden 92.86% Genauigkeit und 0.9644 AUC bei den Datensätzen PTB-XL und Chapman-Shaoxing erreicht.
Mahboobeh S.
Letzte Position:
Senior Analytics Engineer bei Jadoosoft
Als unabhängiger BI-Berater für eine FinTech-SaaS-Plattform tätig, Aufbau und Wartung des gesamten Microsoft-Azure- und Fabric-Analytics-Stacks hinter einem mandantenfähigen Buchhaltungsprodukt, mit dem Geschäftsinhaber ihre eigene finanzielle Entwicklung verfolgen.
- Zusammenarbeit mit Finanz-Stakeholdern, um komplexe Buchhaltungsabläufe in Echtzeit-BI-Dashboards (P&L, Cash Flow, Balance Sheet) zu übersetzen und 2000+ Geschäftsinhabern zu ermöglichen, Cashflow und finanzielle Gesamtsituation einfach zu verfolgen.
- Entwicklung von 10+ interaktiven Dashboards, die jedem Geschäftsinhaber eine personalisierte Echtzeitübersicht über die eigene Vertriebsleistung, die Überfälligkeit von Forderungen und die Betriebskosten bieten.
- Sicherstellung einer strengen Data Governance durch die Implementierung dynamischer Row-Level Security (RLS) mit DAX, um die Daten jedes Geschäftsinhabers innerhalb des gemeinsamen mandantenfähigen Modells zu isolieren.
- Wartung und Erweiterung einer Azure-ELT-Pipeline (Azure Data Factory, Azure SQL Database, Azure Synapse) zur automatisierten Datenaufnahme und -transformation.
- Mitwirkung an der teamweiten Plattformmigration von Azure zu Microsoft Fabric zur Optimierung der Lizenzkosten für die Kapazität.
- Konzeption und Implementierung einer Microsoft-Fabric-ELT-Pipeline (Lakehouse, Pipelines, PySpark) zur automatisierten Datenaufnahme und -transformation als Ersatz für die vorherige Azure-Pipeline.
- Modellierung der bereinigten Daten in einem Star Schema innerhalb des Data Warehouse mit T-SQL als Grundlage für das Power BI Semantic Model.
- Einsatz von KI-Tools, einschließlich Copilot und Claude, als Entwicklungspartner entlang der gesamten ELT-Pipeline, von der Datenaufnahme bis zu KPI-Reporting und Visualisierung.
- Unterstützung agiler Bereitstellungsprozesse mit Jira zur Nachverfolgung von Entwicklungsaufgaben und Confluence zur Pflege technischer und projektbezogener Dokumentation.
Haseeb Z.
Letzte Position:
Senior Data Scientist bei WPP MEDIA
- Enterprise-Retrieval-Augmented-Generation-(RAG)-Anwendungen mit LangChain, LangGraph, Vektordatenbanken, Embeddings und Open-Source-LLMs entworfen und bereitgestellt, die über vLLM auf GCP-GPU-Infrastruktur betrieben wurden.
- Agentic-AI-Workflows mit LangGraph entwickelt, inklusive Planung, Schlussfolgern, Tool-Ausführung, persistenter Speicherung, Sitzungsverwaltung und Human-in-the-Loop-Freigabemechanismen.
- LLM-gestützte Automatisierungssysteme entwickelt, die BigQuery, SQL-Pipelines und externe Werbe-APIs wie Meta, TikTok, Amazon, Snapchat, Google und Pinterest integrieren und manuelle operative Abläufe reduzieren.
- Multi-Agent-AI-Systeme für Enterprise-Analytics- und Entscheidungsunterstützungs-Workflows entworfen, die autonome Aufgabenausführung und intelligente Dateninteraktionen ermöglichen.
- Retrieval-Optimierungsstrategien umgesetzt, darunter Multi-Retriever-Architekturen, semantische Suche, Kontextoptimierung und Query-Verbesserungstechniken, wodurch die Relevanz der Antworten um etwa 40 % verbessert wurde.
- Strukturierte Prompting-Strategien, Function-Calling-Schemata und Validierungs-Workflows entwickelt, um die Zuverlässigkeit von mehrstufigen LLM-Anwendungen zu verbessern.
- Skalierbare AI-Services mit Python, FastAPI, Cloud Run, Pub/Sub, BigQuery, Docker und cloud-nativen Bereitstellungsarchitekturen entworfen.
Wolfram K.
Letzte Position:
AI / Machine Learning Engineer (Projects & Applied AI) bei UNIVERSITÉ PARIS 1 PANTHEON-SORBONNE & LIORA
- Entwickelte und implementierte ein hybrides Empfehlungssystem (Content-Based + Collaborative Filtering)
- Baute End-to-End-ML-Pipelines inklusive Datenverarbeitung, Feature Engineering, Modelltraining und Bewertung
- Entwickelte RAG-basierte LLM-Systeme mit LangChain und Vektordatenbanken für semantische Suche und Wissensabruf
- Etablierte MLOps-Workflows mit MLflow für Experiment-Tracking, Versionierung und Deployment-Bereitschaft
- Implementierte Deep-Learning-Modelle (Computer Vision & Klassifikation) mit PyTorch und TensorFlow
Muzamal A.
Letzte Position:
Data Scientist / KI-Berater bei HelmX
- KI- und Data-Science-Lösungen geliefert, darunter LLM-basierte Chatbots und Datenpipelines, wodurch die operative Effizienz verbessert wurde.
- An Produktfunktionen mitgearbeitet, messbare Wirkung erzielt und starke Kundenbeziehungen gepflegt.
Raphael M.
Letzte Position:
Gründer / Quant-Entwickler bei Market Maker
- Entwicklung von Krypto-Quant-Strategien, automatisierte Handelsausführung, Onchain-Daten-Client (Ethereum / Solana)
- Entwicklung von Daten- und Handelsarchitekturen für die Bereitstellung von Liquidität
Jan K.
Letzte Position:
Datenexperte bei Fertigung
Unnikuttan V.
Letzte Position:
Geschäftsführer (Mitgründer) bei AathmaSignals
- Verantwortlich für Investorenakquise und Partnerschaftsentwicklung als Gründungs-Geschäftsführer, Aufbau des Business Case und der technischen Story, um Erstfinanzierung und strategische Partner im Bereich Digital Health zu gewinnen
- Konzeption von Multi-Agenten-KI-Systemen für autonome Biosignalanalysen, Orchestrierung von LLM-basierten Reasoning-Pipelines mit fachspezifischem medizinischen Kontext zur Unterstützung intelligenter, klinischer Entscheidungsfindung
Tushar R.
Letzte Position:
Wissenschaftlicher Mitarbeiter/Masterarbeit bei Otto-von-Guericke Universität Magdeburg
- Durchgeführte qualitative und quantitative Analysen der gewonnenen Ergebnisse, Kategorisierung von Themen, Bewertung von Methoden und Beurteilung der Studienqualität und -zuverlässigkeit.
- Erstellte Forschungsberichte und Evidenzzusammenfassungen, um wichtige Trends, Lücken und Chancen für akademische Betreuer oder funktionsübergreifende Teams zu kommunizieren.
- Präsentierte Ergebnisse durch klar strukturierte Visualisierungen, Tabellen und narrative Zusammenfassungen, um Entscheidungsprozesse zu unterstützen und zukünftige Forschungsrichtungen zu steuern.
Mohamed G.
Letzte Position:
Lead / Principal Cloud-, KI- & Sicherheitsarchitekt bei Freiberufler / CC Conceptualise GmbH
Durchgeführte Projekte:
Projekt: RWE – Aufbau einer konzernweiten Zero-Trust-Cybersecurity-Architektur (CITADEL) Rolle: Senior Enterprise Cybersecurity-Architekt / Zero-Trust-Architekt Unternehmen: RWE AG Beschreibung: Konzeption und Umsetzung der strategischen Cybersecurity-Zielarchitektur CITADEL bei RWE, basierend auf dem Zero-Trust-Architekturprinzip und ausgerichtet an regulatorischen Anforderungen wie NIS2, ISO 27001 und konzernweiten Security-Governance-Vorgaben. Ziel war der Aufbau einer messbaren, auditierbaren und skalierbaren Sicherheitsarchitektur mit starkem Fokus auf Identity Governance, Compliance-Transparenz und operative Steuerbarkeit. Aufgaben & Erfolge:
- Zero-Trust-Architekturdesign: Entwicklung einer unternehmensweiten Zero-Trust-Referenzarchitektur (Identity, Device, Network, Application, Data) inkl. Trust-Zonen, Kontrollpunkten und Durchsetzungsmechanismen gemäß NIS2.
- Identity & Access Governance (IGA): Design und Einführung von IGA-Governance-Strukturen inkl. Rollenmodellen, Rezertifizierungsprozessen, Segregation of Duties (SoD) und Lifecycle-Management für Identitäten und Zugriffe.
- Security Governance & KPIs: Definition und Implementierung von Security-KPIs und Metriken zur Steuerung von Zero-Trust-Reifegrad, Identitätsrisiken und Compliance-Erfüllung auf Management-Ebene.
- Compliance & Reporting: Aufbau standardisierter Compliance-Reports und Dashboards zur Unterstützung interner Audits, externer Prüfungen und regulatorischer Nachweispflichten (u. a. NIS2).
- Architektur- & Stakeholder-Alignment: Enge Abstimmung mit Enterprise Architecture, IT-Betrieb und Fachbereichen zur Integration der CITADEL-Architektur in bestehende IT- und Security-Landschaften.
- Strategische Sicherheitsberatung: Beratung von Programmen und Projekten hinsichtlich Zero-Trust-Konformität, Identity-Zentrierung und regulatorischer Anforderungen im Energie- und KRITIS-Umfeld. Technologien & Methoden: Zero Trust Architecture, NIS2, Identity Governance & Administration (IGA), IAM, RBAC, SoD, Entra ID, Sailpoint, Zscaler, Terraform / IaC, Policy as Code, Security KPIs, Compliance Reporting, NIS2, NIST 2.0, ISO 27001, Enterprise Security Architecture, Governance Frameworks, Risk & Control Management
Projekt: Aufbau einer skalierbaren AI Workbench Plattform auf Microsoft Azure Rolle: Cloud-Architekt und -Ingenieur Unternehmen: Siemens Energy Beschreibung: Konzeption, Entwicklung und Betrieb einer sicheren, modularen Cloud-Infrastruktur zur Unterstützung von Data Science, Machine Learning und KI-Anwendungen für verschiedene Engineering-Teams bei Siemens Energy. Aufgaben & Erfolge:
- Cloud-Architektur: Entwurf und Implementierung einer Infrastructure-as-Code-Lösung (Terraform) zur automatisierten Bereitstellung von Azure-Ressourcen (Resource Groups, Storage Accounts, Cosmos DB, Application Insights, Netzwerk, PostgreSQL Flexible Server, Azure Container Apps, Azure Container Registry).
- Developer Portal: Um Self-Service und die Befähigung von Entwicklern, Data Scientists und KI/ML-Ingenieuren zu ermöglichen, wurde Backstage mit benutzerdefinierten Frontend- und Backend-Plugins (Node.js, TypeScript, React.js, PostgreSQL, Container-Apps) verwendet.
- Rollenbasierte Zugriffskontrolle: Umsetzung von Azure RBAC, um Engineering-Gruppen (z. B. AI Engineers) gezielten Zugriff (z. B. Storage Blob Data Contributor, Reader) auf relevante Ressourcen zu ermöglichen.
- Datenplattform-Engineering: Aufbau und Konfiguration einer mehrstufigen Storage-Landschaft (Raw, Curated, Vektordaten) inkl. automatisierter Container-Erstellung und Zugriffssteuerung für fortgeschrittene Analyse- und KI-Workloads.
- DevOps-Integration: Anbindung von Azure DevOps für CI/CD-Pipelines zur automatisierten Bereitstellung, Überwachung und Einhaltung von Sicherheitsstandards.
- Sicherheit & Compliance: Implementierung von Private Endpoints, Netzwerkrichtlinien und Managed Identities zur Sicherstellung von Datenschutz und regulatorischer Konformität.
- Zusammenarbeit: Enge Abstimmung mit interdisziplinären Teams zur Ausrichtung der Cloud-Infrastruktur an geschäftlichen und technischen Anforderungen und zur Förderung der digitalen Transformation bei Siemens Energy. Technologien: Azure, Terraform, Azure DevOps, Cosmos DB, Application Insights, Azure Storage, Private Endpoints, Azure Synapse, Azure Machine Learning, Azure Entra ID, RBAC, Backstage, Node.js, React.js, PostgreSQL, Python (Automatisierung), Git
Projekt: Aufbau einer skalierbaren Data Plattform POC auf Azure Kubernetes Service (AKS) Rolle: Cloud-Architekt und -Ingenieur Unternehmen: Hannover Rück SE Beschreibung: Entwicklung und Bereitstellung einer modularen, containerisierten KI-Plattform auf Microsoft Azure zur Unterstützung von Data Engineering und Data Science Teams bei der Hannover Rück SE. Die Plattform basiert auf AKS und integriert JupyterHub, Spark, Kafka, Airflow sowie eine zentrale Benutzeroberfläche zur Verwaltung. Ziel war es, eine wiederverwendbare, sichere Umgebung für datengetriebene Anwendungen und Experimente bereitzustellen. Aufgaben & Erfolge:
- Cloud- und Plattformarchitektur: Aufbau einer Kubernetes-basierten Infrastruktur mittels Terraform und Helm, unterstützt durch Azure Container Registry (ACR) für die Bereitstellung containerisierter Komponenten.
- Workbench-Design: Integration von JupyterHub (Bitnami Helm Chart), Spark-Cluster, Kafka-Streaming, Apache Airflow und Redpanda in ein konsistentes System mit rollenbasierter Steuerung.
- DevOps-Automatisierung: Entwicklung von PowerShell-Skripten und CI/CD-Prozessen für Image-Vorbereitung, Chart-Deployment und Secrets-Management mit Helm.
- Self-Service & Skalierbarkeit: Ermöglichung einer standardisierten, reproduzierbaren Bereitstellung für Data Science Umgebungen auf Mandantenbasis. Katalog und Entwicklerportal wurden über Backstage mit einer benutzerdefinierten Integration mit Azure DevOps bereitgestellt, um Pipelines auszulösen und zu überwachen (Node.js, TypeScript, React.js, Spotify Backstage mit Custom Plugins, gehostet auf AKS).
- Netzwerk & Sicherheit: Einsatz privater Endpunkte, Netzwerkrichtlinien, Key Vault und RBAC zur Sicherstellung von Sicherheit und Governance-Vorgaben im Versicherungskontext.
- Interdisziplinäre Zusammenarbeit: Enge Abstimmung mit Data Scientists, DevOps-Teams und Security Offices zur Integration von Anforderungen in Design und Betrieb. Technologien: Azure, AKS, Helm, Terraform, Azure Container Registry, PowerShell, Apache Spark, JupyterHub, Airflow, Kafka, Redpanda, Azure Key Vault, Azure Monitor, RBAC, Kubernetes Secrets, Backstage, Node.js, React.js, PostgreSQL
Projekt: Data & AI Plattform Engineer Unternehmen: Allianz Technology Beschreibung:
- Befähigung und Unterstützung der Nutzer der Allianz Data Platform (ADP) – insbesondere Data Engineers, Data Scientists und Machine Learning Engineers – zur optimalen Nutzung der Plattform auf Basis von Azure Synapse und Azure Machine Learning, um ihre geschäftlichen Ziele effizient zu erreichen.
- Beratung zu Architektur, Best Practices und effizientem Einsatz der ADP für End-to-End-Anwendungsfall-Pipelines – von der Datenaufnahme über Datenverarbeitung bis hin zu Softwarebereitstellung und Feedbackschleifen.
- Erklärung von Vor- und Nachteilen vorgeschlagener Plattformlösungen gegenüber internen und externen Stakeholdern, um fundierte Entscheidungen zu ermöglichen.
- Definition und Implementierung von Best Practices (insbesondere in PySpark) sowie kontinuierliche Verbesserung des ADP-Stacks und der finalen Produktionsumgebung.
- Identifikation und Umsetzung von Optimierungsmöglichkeiten zur Steigerung von Leistung, Zuverlässigkeit und Automatisierung der Plattform.
- Erstellung technischer Dokumentation sowie interner Ankündigungen und Blogbeiträge, um Neuerungen, Funktionen und Best Practices der ADP zu kommunizieren.
Projekt: OneTenant – Post-Merger Azure & M365 Consolidation Rolle: Projektleiter / Azure Workstream Lead Unternehmen: Alliance Healthcare Deutschland / GEHE
- Post-Merger Tenant-Konsolidierung: Migration und Zusammenführung von zwei bestehenden Microsoft-Tenants in einen neuen Ziel-Tenant im Rahmen eines M&A-Projekts, inkl. Azure, Entra ID (Azure AD) und Microsoft 365.
- End-to-End-Migrationssteuerung: Planung, Koordination und Durchführung von Cloud-to-Cloud- und On-Prem-to-Cloud-Migrationen unter Berücksichtigung von Business Continuity, regulatorischen Anforderungen (u. a. Datenschutz, IT-Compliance) und Cutover-Strategien.
- Azure Plattform-Setup: Design, Aufbau und Härtung der neuen Azure-Landing-Zone inkl. Subscription-Struktur, Netzwerk-Topologie, Identity-Architektur, Security-Baseline und Governance-Framework (RBAC, Policies, Blueprints).
- IAM & Security-Integration: Konsolidierung und Neustrukturierung von Entra ID (Azure AD), Rollenmodellen, Conditional Access, Privileged Identity Management (PIM) und Identity-Governance für eine sichere Post-Merger-Zielarchitektur.
- Microsoft 365 Migration: Durchführung der mandantenübergreifenden M365-Migration (Exchange Online, OneDrive, SharePoint, Teams) mit AvePoint Fly, inkl. Benutzer-, Daten- und Berechtigungsübernahme.
- Problem- & Cutover-Management: Identifikation, Priorisierung und Lösung technischer und organisatorischer Risiken während der Migrationswellen, inkl. Go-Live-Vorbereitung und Hypercare-Phase.
- Stakeholder- & Programmsteuerung: Enge Abstimmung mit IT, Security, Compliance, Business Units und externen Migrationspartnern zur Sicherstellung einer stabilen und revisionssicheren Post-Merger-IT-Plattform.
- Service Transition: Überführung von Applikationen, Plattformen und Betriebsmodellen in eine konsolidierte Zielorganisation.
- Kommunikation: Steuerung internationaler Projektteams in Deutsch und Englisch in einem unternehmenskritischen Post-Merger-Transformationsprogramm.
- Technologien: Azure Cloud: Aufbau und Betrieb einer M&A-fähigen Cloud-Plattform mit Azure Networking, Compute, Storage, Entra ID, Security Center und Governance-Services; Microsoft 365 & AvePoint Fly: Tenant-to-Tenant Migration von Collaboration-, Mail- und Identitätsdaten.
Projekt: Aufbau einer Azure KI & Analytics Plattform für Single Risk Reporting Unternehmen: Hannover Rück SE
- Entwickelte eine skalierbare und leistungsstarke Azure Data & AI Analytics Plattform für das Single Risk Reporting.
- Implementierte die Infrastruktur automatisiert mit Infrastructure as Code (IaC) mittels Tools wie PowerShell/Bicep.
- Entwickelte und optimierte Datenpipelines für die Verarbeitung und Validierung großer Datenmengen.
- Setzte eine Self-Hosted Integration Runtime auf, um eine sichere Verbindung zu SAP-Systemen zu gewährleisten.
- Integrierte die aufbereiteten Daten in MicroStrategy und erstellte interaktive Dashboards und Berichte für datenbasierte Entscheidungen.
- Sicherstellte Datenschutzkonformität und Sicherheitsanforderungen durch rollenbasierte Zugriffskontrolle und Compliance-Maßnahmen. Technologien: Azure Synapse Analytics, Azure Machine Learning, RAG, LLMs, Infrastructure as Code (IaC), Azure Data Pipelines, Self-Hosted Integration Runtime, SAP, MicroStrategy
Integrations-Engineering Azure / CI/CD Unternehmen: Mercedes-Benz Tech Innovation Tätigkeiten & Verantwortlichkeiten:
- Systemanalyse & Anforderungsdefinition: Bewertung geplanter Systemlandschaften zur Identifikation von Integrations- und Sicherheitsanforderungen.
- Integrationsarchitektur & Design: Definition und Umsetzung von Anforderungen zur Integration von Microsoft Dynamics 365 in bestehende Azure-basierte Infrastrukturen.
- Architektur & Infrastruktur: Aufbau sicherer, skalierbarer Azure Landing Zones, Design von Cloud-Architekturen und Implementierung von Infrastructure-as-Code (IaC) mittels Bicep, YAML und PowerShell.
- Entwicklung von KI-Lösungen: Design & Implementierung einer RAG-Lösung (Retrieval Augmented Generation) auf Basis von Azure OpenAI, Azure AI Search, Cosmos DB, Data Lake und Azure Machine Learning Workspace.
- Programmierung & Services: Entwicklung und Integration von Lösungen mit C#, TypeScript, PowerShell und X++ sowie Einsatz von Azure Functions, Azure Logic Apps, Power Platform und weiteren Services.
- API-Management: Verwaltung und Sicherstellung des sicheren Datenflusses durch Azure API Management und Implementierung von RESTful APIs.
- DevSecOps: Aufbau und Betrieb sicherer DevSecOps-Pipelines in Azure DevOps und GitHub, inklusive automatisierter Security- und Compliance-Checks.
- Fehlerbehebung & Optimierung: Identifizierung, Analyse und Behebung von Integrationsproblemen in Echtzeit sowie kontinuierliche Optimierung von Prozessen für Performance und Effizienz.
- Dokumentation & Wissenstransfer: Erstellung umfassender technischer Dokumentation (inkl. IaC) sowie Schulung von Teammitgliedern und Endanwendern. Eingesetzte Technologien & Tools: Microsoft Azure (Landing Zones, Data Lake, API Management, Logic Apps, Functions, Cosmos DB, Machine Learning Workspace), Microsoft Dynamics 365 Finance & Operations (ERP in der Public Cloud), C#, TypeScript, PowerShell, YAML, Bicep, Azure DevOps, GitHub Actions, Security- und Compliance-Tools.
Projekt: Sirius: Weiterentwicklung von Single Risk Solution Unternehmen: Hannover Rück SE
- Weiterentwicklung des Systems: Verbesserung der bestehenden Module für die Erfassung, Verarbeitung und Administration von Policydaten.
- Integration neuer Features: Einführung neuer Funktionen, die den aktuellen geschäftlichen Anforderungen entsprechen.
- Optimierung der Benutzererfahrung: Verbesserung der Interaktion zwischen Benutzern und System, insbesondere durch Anpassungen in der UI/UX.
- Datenverwaltung: Entwicklung von Lösungen für die Verwaltung und Konsistenz von Single-Risk-Daten, inklusive automatisierter Validierung und Berichterstattung.
- Sicherstellung der Skalierbarkeit: Optimierung der Software-Architektur, um zukünftige Anforderungen und eine wachsende Datenmenge zu unterstützen.
- Technologien: Azure DevOps, C# und .NET Core, Angular, RabbitMQ
Projekt: Cloud Native Anwendung für Security und Compliance Management Unternehmen: Münchener Rückversicherungs-Gesellschaft AG
- Das Projekt entwickelt eine interne cloud-native Webanwendung für das Sicherheits- und Compliance-Management in der Azure Cloud.
- Architekturkonzeption, Prototyping, POC, MVP und vollständige Produktentwicklung. Bereitstellung der Azure-Infrastruktur.
- Aufbau von CI/CD-Pipelines mit Azure DevOps. Azure Cloud Verwaltung.
- Azure DevOps, Azure AD, App-Registrierung und Sicherheit. Entwicklung von Diensten in .NET Core.
- Selbstverwaltung und Onboarding von Anwendungen auf der Plattform über Spotify Backstage mit benutzerdefinierten Plugins zur Integration mit Azure DevOps und zur Automatisierung von Richtlinienbereitstellung und Überwachungstools.
- IaC mit YAML und Bicep / ARM-Vorlagen. SQL Server DB, App Services, Functions.
- Microsoft Graph API, Single Sign-On, Azure AD Services. Betrieb und Sicherheitsüberwachung der Dienste.
Projekt: Semis Rollout Unternehmen: GEA Gruppe
- OTSec - PSec Projektkombination aus Azure DevOps Pipeline, Terraform, Kubernetes, CAF.
Projekt: Entwicklung einer Cloud Native Data Platform Unternehmen: Carl Zeiss Digital Innovation GmbH Teil des Teams der Gesundheitsdatenplattform
- Konzeption, Prototyping, POC, MVP und Full-Product-Entwicklung. Bereitstellung von Azure-Infrastruktur, Sicherheit und Compliance, Serverless-Architektur, CI/CD und Qualitätssicherung.
- Terraform IaC und Bash-Scripting. TypeScript und Node.js für Azure Functions.
- Verwendung von Azure API Management, Azure Functions, Azure FHIR APIs, Azure Data Lake, DICOM, Azure Health Services, Azure Cosmos DB
Srikar K.
Letzte Position:
Anwendungsentwickler bei Vavili Technologies
- War als Full-Stack-Entwickler entscheidend an der Entwicklung von templeswiki.com beteiligt und erstellte und optimierte mehrere Seiten und Microservices, um ein responsives und benutzerfreundliches Erlebnis sicherzustellen.
- Entwickelte einen interaktiven Chatbot mit Natural Language Processing (NLP), um die Nutzerinteraktion zu verbessern und die Kundenkommunikation in der Anwendung zu vereinfachen.
- Baute eine robuste ETL-Pipeline mit Python auf, um mehrsprachige Labels zu erstellen und so eine nahtlose Übersetzung von Inhalten zu ermöglichen.
- Leitete das QA-Team, erstellte einen umfassenden Testplan, um die reibungslose Funktion der Anwendung gründlich zu prüfen, und entwickelte gleichzeitig ein internes Tool zur Anwesenheitsdokumentation, um die Effizienz zu steigern.
Apoorv S.
Letzte Position:
KI-Interviewer
- Einen KI-Forschungsassistenten mit RAG, LangChain, LangGraph und OpenAI-LLMs sowie integrierter Vektorsuche entwickelt.
Entdecke mehr als 15.000 Top-Freelancer
Statistiken von Experten, die PySpark einsetzen
Aggregiert aus den beruflichen Profilen passender Freelancer.
Berufserfahrung
12 Jahre (Deutschland: 14 Jahre)

Positionsdauer
2,2 Jahre (Deutschland: 2,8 Jahre)

Positionen pro Freelancer
7 (Deutschland: 10)

Häufigste Fachbereiche
Informationstechnologie (IT), Business Intelligence, Produktentwicklung

Häufigste Branchen
Informationstechnologie (IT), Bildung, Professionelle Dienstleistungen

Fokus der Zertifizierungen
Informationstechnologie (IT), Business Intelligence, Produktentwicklung
Bachelor-Abschluss oder höher
94% (Deutschland: 96%)
Master-Abschluss oder höher
71% (Deutschland: 74%)
Doktortitel
6% (Deutschland: 14%)

Zertifizierungen pro Freelancer
3 (Deutschland: 4)

Häufigste Sprachen
Englisch, Deutsch, Spanisch

Sprechen zwei oder mehr Sprachen
84% (Deutschland: 96%)
Basierend auf unserem Profilpool, Stand 29 Okt 2026.
Tagessatzverteilung
Das Diagramm zeigt, wie sich die Tagessätze der Experten in dieser Technologie in Berlin verteilen, basierend auf aktuellen Verträgen auf unserer Plattform. Jeder Balken deckt eine Tagessatzspanne ab – seine Höhe zeigt, welcher Anteil der Experten innerhalb dieser Spanne abrechnet.
Durchschnittssätze von Experten in Berlin, die PySpark einsetzen
Die Tagessätze basieren auf aktuellen Verträgen und enthalten keinen FRATCH-Aufschlag.
Der durchschnittliche Tagessatz ist der Mittelwert aller Tagessätze aus aktuellen Verträgen vergleichbarer Freelancer auf unserer Plattform.
Der Median-Tagessatz ist der mittlere Wert aller Tagessätze – die Hälfte der vergleichbaren Freelancer verlangt weniger, die andere Hälfte mehr. Anders als der Durchschnitt wird er von Ausreißern kaum beeinflusst.
Berechnet auf Basis der Tagessätze unserer Freelancer, Stand 29 Okt 2026. Die tatsächlichen Tagessätze können je nach Dienstalter, Erfahrung, Fachkenntnissen, Projektkomplexität und Auftragsdauer variieren.
Branchenfokus der PySpark Experten
Sieh, in welchen Branchen unsere gematchten Freelancer am häufigsten tätig sind — jede Zahl wird live aus den Freelancern auf FRATCH berechnet.
- Informationstechnologie (IT) (89%)
- Bildung (47%)
- Professionelle Dienstleistungen (47%)
- Gesundheitswesen (37%)
- Automotive (32%)
- Energie (32%)
- Bank- und Finanzwesen (32%)
- Fertigung (32%)
Bitte beachte, dass Freelancer in mehreren Branchen tätig sein können, daher überschneiden sich die Prozentwerte.
Über die Technologie
Verteilte Datenverarbeitung
PySpark ist die Python-Schnittstelle für Apache Spark und wurde entwickelt, um Daten in verteilten Rechenumgebungen zu transformieren und zu analysieren. Unternehmen nutzen es für Batch-Verarbeitung, Datenaufbereitung, ETL-Pipelines und Analysen im großen Maßstab, wenn eine einzelne Maschine nicht ausreicht.
Spark-Ökosystem
Starke Spezialisten arbeiten mit Spark DataFrames, Spark SQL, Structured Streaming und dem robusten Ausführungsmodell dahinter. Außerdem verbinden sie PySpark mit Python-Bibliotheken wie pandas und scikit-learn und nutzen je nach Architektur Delta Lake, Hive, Parquet und Cloud-Objektspeicher.
Typische Ergebnisse
- Batch- und inkrementelle Datenpipelines
- Jobs zur Aufnahme und Transformation von Data-Lake-Daten
- Spark-SQL-Modelle für Analytics-Teams
- Streaming-Workloads mit Kafka oder Cloud-Messaging
- Aufbereitung von Merkmalen für Machine Learning
Wann Expertise wichtig ist
Unternehmen holen sich meist freiberufliche PySpark-Expertise ins Haus, wenn Pipelines langsam, teuer oder schwer zu warten sind. Ein Spezialist kann Partitionierung, Joins, Caching, Dateiformate und Cluster-Einstellungen prüfen und anschließend ein experimentelles Notebook in einen getesteten und überwachbaren Produktionsworkflow überführen. Berliner Teams profitieren außerdem von Fachleuten, die vor Ort oder remote in englisch- und deutschsprachigen Umgebungen zusammenarbeiten können.
Angrenzende Fähigkeiten
PySpark-Arbeit steht selten für sich allein. Nützliches ergänzendes Wissen umfasst Python-Paketierung, SQL, Linux, Git, Docker, Kubernetes, Airflow, Kafka und Cloud-Dienste wie AWS, Azure oder Google Cloud. Erfahrung mit Datenqualitätsprüfungen, Datenherkunft, Zugriffskontrollen und CI/CD hilft dabei, Spark-Jobs in zuverlässige Betriebsprozesse einzubinden.
Qualitätsmerkmale
Achten Sie auf Spezialisten, die Ausführungspläne erklären können und zeigen, wie sie mit Datenverzerrungen, Schemaänderungen, Wiederholungsversuchen und verspätet eintreffenden Daten umgegangen sind. Gute Fachleute trennen Transformationslogik von Infrastruktur, testen Sonderfälle und überwachen das Laufzeitverhalten in der Produktion. Sie sollten Spark außerdem mit SQL-Warehouses, pandas oder anderen verteilten Tools vergleichen, statt jede Arbeitslast als Spark-Problem zu behandeln.
Häufig gestellte Fragen
Schnelle Antworten auf die Fragen, die rund um PySpark am häufigsten aufkommen.
PySpark wird verwendet, um große Datensätze über einen Spark-Cluster hinweg zu verarbeiten, zu transformieren und zu analysieren. Typische Projekte umfassen Data-Lake-Pipelines, Batch-Reporting, Streaming-Aufnahme und die Aufbereitung von Merkmalen für Machine Learning.
PySpark verteilt die Arbeit auf mehrere Maschinen, während pandas Daten normalerweise in einem einzelnen Python-Prozess verarbeitet. pandas ist für kleinere Datensätze und interaktive Analysen oft einfacher; Spark wird nützlich, wenn Datenvolumen, Parallelität oder die Integration in Pipelines einen verteilten Ansatz erfordern.
PySpark bietet programmgesteuerte Kontrolle für komplexe Transformationen, individuelle Python-Logik und gemischte Batch- oder Streaming-Workflows. Ein SQL-Warehouse kann für kontrollierte relationale Analysen einfacher sein. Die richtige Wahl hängt daher von Datenvolumen, Latenz, den Fähigkeiten des Teams und der bestehenden Architektur ab.
Ein starker PySpark-Spezialist bringt normalerweise Kenntnisse in Python, SQL und Datenmodellierung mit. Wissen über Airflow, Kafka, Cloud-Speicher, Delta Lake, Docker, Kubernetes, Tests und Überwachung ist wertvoll, wenn sich die Arbeit auf den Produktivbetrieb erstreckt.
Das erforderliche Niveau hängt vom Umfang ab. Für eine fokussierte Transformation reicht möglicherweise ein Spezialist, der Spark-Jobs schreiben und testen kann. Eine Plattformmigration oder ein Streaming-System erfordert dagegen Erfahrung mit Cluster-Design, Performance-Tuning, Bereitstellung und operativem Support.
Ja. PySpark-Projekte eignen sich oft gut für die Remote-Zusammenarbeit, da Code, Datenverträge und Pipeline-Bereitstellungen digital verwaltet werden. Teams in Berlin sollten Zugriffsrechte, Review-Abläufe, Arbeitszeiten und die erwartete Sprache für Dokumentation und Meetings – Englisch oder Deutsch – abstimmen.
Fragen Sie, wie der Spezialist mit Partitionierung, Joins, Datenverzerrungen, Schemaänderungen und fehlgeschlagenen Jobs umgeht. Ein fähiger PySpark-Experte sollte Ausführungspläne, Tests, Überwachung, Kostenkontrolle und eine klare Übergabedokumentation besprechen können, statt nur Notebook-Ausgaben zu zeigen.
Ein kleiner Datensatz oder eine einfache Transformation lässt sich möglicherweise besser mit SQL, pandas oder einem Warehouse-nativen Tool verarbeiten. PySpark bringt zusätzliche Komplexität durch Cluster und Bereitstellung mit und ist daher nicht automatisch die beste Option, wenn eine einfachere Lösung die Anforderungen an Latenz, Skalierung und Zuverlässigkeit erfüllt.
Der durchschnittliche Stundensatz von Freelancern in Berlin, Deutschland, die PySpark in ihren letzten Projekten eingesetzt haben, liegt bei 93 €, was einem Tagessatz von etwa 740 € bei einem 8-Stunden-Tag entspricht.
Von den Freelancern in Berlin, Deutschland, die PySpark in ihren letzten Projekten eingesetzt haben, haben 94% mindestens einen Bachelor-Abschluss, 71% mindestens einen Master-Abschluss und 6% einen Doktortitel.
Freelancer in Berlin, Deutschland, die PySpark in ihren letzten Projekten eingesetzt haben, haben im Durchschnitt 12 Jahre Berufserfahrung; ein einzelnes Projekt dauert typischerweise etwa 2,2 Jahre.
Die häufigsten Sprachen unter Freelancern in Berlin, Deutschland, die PySpark in ihren letzten Projekten eingesetzt haben, sind Englisch (100%), Deutsch (84%) und Spanisch (16%).
Die häufigsten Industrien unter Freelancern in Berlin, Deutschland, die PySpark in ihren letzten Projekten eingesetzt haben, sind Informationstechnologie (IT) (89%), Bildung (47%) und Professionelle Dienstleistungen (47%).
Die häufigsten Bereiche unter Freelancern in Berlin, Deutschland, die PySpark in ihren letzten Projekten eingesetzt haben, sind Informationstechnologie (IT) (100%), Business Intelligence (84%) und Produktentwicklung (84%).
Hauptstandorte der FRATCH Experten, die kürzlich PySpark eingesetzt haben
Unsere Freelancer und Interim-Experten sind in der gesamten DACH-Region zuhause — verfügbar vor Ort in den wichtigsten Wirtschaftszentren oder komplett remote. Wähle einen Standort und entdecke passende Spezialisten, lokale Markteinblicke und aktuelle Verfügbarkeiten.
Länder:
Kostenlose Demo vereinbaren
Kontaktiere uns und das FRATCH-Team meldet sich innerhalb von 4 Stunden bei dir.
Möchtest du lieber direkt mit uns in Kontakt treten?
Wir haben immer Zeit für einen Anruf oder eine E-Mail!

München
Köln
Frankfurt
Düsseldorf