Jan Krol-Datenexperte

• Entwicklung und Implementierung einer standardisierten Big-Data-Architektur für konzernweite Plattformservices im Transport- und Logistikbereich auf Azure
• Automatisierte Lösungen mit Infrastructure as Code (Terraform, Ansible)
• Vorstellung und Diskussion von Teilprojektarchitekturen auf Azure
• Umsetzung von Echtzeit-Daten-Streaming mit Apache Kafka und Monitoring-Lösungen
• Beratung zur Azure-Plattformstrategie und Referenzarchitekturen
• Entwicklung von Mechanismen zur proaktiven Beseitigung von Schwachstellen in Azure- und Kubernetes-Clustern
• Konzeption von Container-Orchestrierungsplattformen mit Kubernetes CI/CD
• Erstellung von Benutzer- und Berechtigungskonzepten nach Konzernvorgaben
• Betrieb operativer Services im agilen Team

Services: Azure Purview, Azure Synapse Analytics, Azure Data Factory, Azure Databricks, Terraform, GitLab Runner, Azure DevOps

• Begleitung interner E-Commerce-Produktteams bei der Entwicklung, Implementierung und Wartung leistungsstarker Datenverarbeitungs- und Integrationssysteme
• Migration bestehender Datendienste, Pipelines und Assets in eine neue ereignisbasierte Serverless-Architektur
• Entwicklung und Ausführung von Lambda-Funktionen und PySpark-Jobs
• Entwurf von Architektur und Integration mit Kafka für Echtzeit-Verarbeitung und -Analyse von Ereignisdaten
• Implementierung von PySpark-Transformationen, Filtern und Aggregationen
• Sicherstellung einer effizienten und zuverlässigen Anbindung an Kafka, Konfiguration der Sicherheitseinstellungen und Integration mit anderen Komponenten
• Einrichtung umfangreicher Test- und Monitoring-Mechanismen
• Bereitstellung eines leistungsstarken, skalierbaren Ereignissystems zur datengetriebenen Entscheidungsfindung

Services: AWS Glue, Apache Spark, Data Catalog, S3, Athena, Redshift, Lambda, ECS, Step Functions

• Führte die Entwicklung einer robusten Datenstrategie und eines Governance-Frameworks an, um die Datenverarbeitungskapazitäten zu optimieren und zu verbessern
• Baute eine ausgefeilte Datenmanagement-Plattform auf Databricks
• Entwarf und implementierte eine effiziente Ingestionsplattform für den Daten-Hub
• Leitete die Konzeption und Einrichtung einer unternehmensweiten Datenstrategie im Einklang mit den Geschäftszielen
• Entwickelte ein umfassendes Data-Governance-Framework zur Sicherstellung von Datenrichtigkeit, Datenschutz und Compliance
• Überwachte die Bereitstellung und Anpassung der Datenmanagement-Plattform auf Databricks
• Verbesserte die Datenverarbeitung, Analyse und Reporting-Funktionen mit Power BI
• Entwickelte einen robusten Daten-Hub mit erweiterten Ingestions-Pipelines basierend auf AWS EventBridge
• Optimierte den Datenfluss aus verschiedenen Quellen zu zentralen Speichersystemen (Data Lake House auf Azure)
• Arbeitete mit funktionsübergreifenden Teams zusammen, um die Datenmanagement-Plattform in die bestehende IT-Infrastruktur zu integrieren
• Führte Schulungen und Workshops durch, um eine datengetriebene Kultur zu fördern und die Datenkompetenz zu erhöhen

Dienste: Azure Databricks, Databricks Data Catalog, AWS EventBridge, Kinesis, Event Hub, Structured Streaming, Apache Spark