Amazon S3 Experten in Frankfurt

Ich bin ein erfahrener Data Engineer mit Spezialisierung auf durchgängige Datenintegration, Cloud-DWH-Architekturen und hochwertige, gut gesteuerte Datenprodukte.

Als Freiberufler habe ich die folgenden Projekte und Aufträge umgesetzt.

• Datenmigration eines CRM-Systems für AL-FA Objekt Service Gmbh
• Partnerschaft für den Weiterverkauf von Microsoft-Software

Ich suche freiberufliche Aufgaben wie: Freelance Data Engineer Cloud Data Warehouse Architect Data Modeling & Architecture Consultant MDM & Data Governance Specialist BI & Analytics Developer

Technische Schwerpunkte

• Data Engineering & Integration: SQL Server/SSIS, Informatica PowerCenter/IDQ, Talend, Kafka, Azure Data Factory – Delta/CDC/ELT-Muster, robuste Pipelines, Überwachung/Wiederherstellung, Datenherkunft und Auswirkungsanalyse, Medallion-Architektur mit Bronze/Silver/Gold-Schichten
• DWH & Cloud: Azure SQL / Data Lake / Synapse, AWS Redshift/S3, On-Premises SQL/Oracle – skalierbare Data Marts mit starkem Fokus auf Kosten und Nutzen.
• Datenmodellierung: Atomare (Inmon-) und dimensionale (Kimball-)Modelle, Data Vault (Linstedt), Domain-Driven Design, klare Datenherkunft und Verträge.
• MDM & Governance: Informatica MDM, IBM MDM, Stewardship-Prozesse, Datenqualitätsregeln, Survivorship/XREF, Katalog/Glossar, SIF/BES/REST-Veröffentlichung.
• Analytics/BI: Power BI, SSAS, Cognos – businessfähige und wartbare Datenprodukte.

• Entwicklung und Optimierung der RTL+-Frontend-Anwendung für SmartTV- und Set-Top-Box-Plattformen mit React und Next.js.
• Schlüsselrolle bei der fachlichen Steuerung von Entwicklern im Team und bei der Koordination der Umsetzung.
• Zentrale Schnittstelle zu angrenzenden Teams, um Entwicklungsabläufe zu vereinfachen und die teamübergreifende Abstimmung zu verbessern.
• Verbesserung von Frontend-Performance, Stabilität und Rendering-Verhalten auf leistungsschwachen Geräten in einer eingeschränkten Runtime-Umgebung.
• Umsetzung einer Frontend-Teststrategie mit Jest, React Testing Library und Playwright.
• Umsetzung von Verbesserungen der Barrierefreiheit gemäß WCAG 2.2 und WAI-ARIA.
• Integration von Didomi Consent Management als Beitrag zur Steigerung der Ad-Monetarisierung auf Streaming-Plattformen.
• Einsatz KI-gestützter Engineering-Workflows mit Cursor für strukturierte Implementierung, Refactoring und schnellere Problemlösung.

Eingesetzte Technologien: React, Next.js, TypeScript, JavaScript, GraphQL, Apollo Gateway, Zustand, Tailwind CSS, Styled Components, React Testing Library, Playwright, Jest, HTML5, CSS3, AWS Lambda, EC2, CloudFront, S3, GitLab CI/CD, NX, Cursor

• Fehleranalyse und -bereinigung inkl. Performance-Optimierung der eigenentwickelten Plattform API
• Change- und Incidentmanagement im Tagesbetrieb
• Verantwortlich für Einhaltung Security- und Compliancevorgaben
• Dienstleistersteuerung für Software-Entwicklung und -Wartung
• Planung und Durchführung Migration Legacy Services auf Cloud Native Plattform

Rolle im Projekt: Projektmitarbeiter Umsetzungsteam

Eingesetzte Skills: Anforderungsanalyse, IT-Service- und Anwendungsmanagement, IT-Betrieb, Fehleranalyse und Performance-Optimierung, Software-Wartung und Lifecyclemanagement

Projektumgebung: Cloud Native Platform (Kubernetes, Crossplane, AWS, ArgoCD, Grafana)

• Linux-Server-Migrationen: Planung und Umsetzung der Migration mit SLES Linux Deployment von VMs in VMware 8.0
• Anleitung der Kollegen zur Konfiguration der Linux-VMs in vSphere Auto Deploy
• Anwendungsbetrieb: Sicherstellung des reibungslosen Betriebs der Anwendungen auf den migrierten Servern
• Betriebshandbücher: Überarbeitung bestehender Betriebshandbücher, Ergänzung und Neuanlage bei Bedarf
• Überprüfung von Dienstleistungsangeboten: Anpassung und Optimierung des Serviceangebots externer Dienstleister
• Logistik SW, RedHat Linux, Ansible, Confluence / Jira

• Hauptentwickler in einem Online-Handelsunternehmen
• Onlineshop auf Basis des Next.JS React-Frameworks erstellt
• Seite mit dutzenden Drittanbieter-Apps über REST- und GraphQL-APIs integriert
• Backend für Auftragsverwaltung, Lagerverwaltung (mit iPhone-App) und Lieferantenmanagement entwickelt
• Rechnungsstellung und Finanzen mit QuickBooks automatisiert

• Datastage 11.7, dbt, Oracle 19, Python 3.12 / PySpark 3.5, Azure GitHub, Azure DevOps, Automic
• Entwicklung von Migrations-Jobs zur Übertragung der Daten aus dem Collection-DWH in den neuen Risk Mart sowie Entwicklung von ETL-Strecken zur Migration historischer Daten vom alten Mart in den neuen Risk Mart.
• Speicherung der Silver Layer auf Hadoop und der Gold Layer in Oracle.
• Übersetzung von DataStage-Jobs in dbt zur Veröffentlichung von Berichtsdaten in der Google Cloud auf eine PostgreSQL-Datenbank.
• Erstellung und Optimierung komplexer SQL-Abfragen zur Datenextraktion aus einem Data Vault unter Berücksichtigung der Historisierung in den Point-in-Time-Tabellen.
• Erstellung von Oracle-Tabellendefinitionen (DDL) und Anpassung bestehender Stored Procedures.
• Versionierung der Änderungen in GitHub und Deployment über das CI/CD-Portal.
• Umbau von DataStage-Langläufer-Jobs in Python unter Einsatz von PySpark zur Reduzierung der Serverlast.
• Migration von SAS-Skripten nach PL/SQL einschließlich Neuentwicklung von Verteilungsfunktionen ohne direktes Äquivalent in Oracle.
• Entwicklung von Automic-Jobs zur Ausführung von DataStage-Strecken und Python-Skripten (PySpark-Jobs), die die Befüllung der SME- und Institutional-Risk-Tabellen im Risk Mart steuern und fachliche Berechnungen ausführen.
• Teilnahme am agilen Prozess, einschließlich der Erstellung von User Stories, Schätzungen und Planung in Azure DevOps.
• Bearbeitung von Azure DevOps-Tickets und enge Zusammenarbeit mit Testern und Fachbereichen zur Fehleranalyse und -behebung.

• Beratung bei der Nutzung von Analyse- und BI-Tools und Diensten im Microsoft Azure-Stack (z. B. MS Fabric, Synapse Workspaces und dedizierte SQL-Pools, SQL Database, PostgreSQL, Snowflake, Databricks, Data Factory, SSIS, Analysis Services, Function Apps, Power BI, ML)
• Selbstständiger Entwurf von Analyselösungen mit Python, SQL etc.
• Entwurf und Implementierung von ETLs und Datenpipelines
• Erstellung und Pflege von APIs
• Selbstständige Anwendung von CI/CD, Testing und Versionskontrolle
• Modellierung von Daten
• Modellentwicklung und Modelloptimierung
• Anomalieerkennung mit KI
• Predictive Analytics

Verwendete Technologien:

• Snowflake
• Fabric
• Azure Synapse Analytics
• Azure DataFactory
• Azure Data Lake
• Azure DevOps
• Databricks
• Spark
• CI/CD
• SQL Database
• Python
• Power Platform

• Entwurf und Umsetzung der agentischen KI-Architektur für eine unternehmensweite Plattform zur sicheren Bereitstellung von LLM-basierten Agenten
• Design und Implementierung von End-to-End RAG-Pipelines aus multiplen Quellen: Dokumentenaufbereitung, Chunking-Strategien für heterogene Dokumenttypen, Embedding, Retrieval mit Re-Ranking und robuste Prompt-Orchestrierung
• Modulares Context-Engineering-Framework mit Skill-Architektur, Kontext-Isolation und dynamischer Ressourcenverwaltung; Human-in-the-Loop-Kontrolle für Enterprise-Tool-Integrationen
• Aufbau der CI/CD-Pipeline, Test-Strategie, Tracing sowohl auf Software-Seite als auch automatisierte LLM- und Agenten-Evaluierungen, Red Team Testing und Tracing sowie Übergabe in reproduzierbaren Betrieb (ISO27001 und SOC2 konform)

• Konzipierte und realisierte produktionsreife Azure-Umgebungen mit Terraform und stellte eine konsistente Infrastrukturparität über VNets und Ressourcengruppen sicher
• Implementierte Microsoft Fabric Tenant- und Workspace-Architekturen für mehrstufige Medallion-Datenverarbeitungspipelines
• Entwarf sichere Datenpfade mit Managed Private Endpoints für isolierten Zugriff auf Azure Storage
• Verwaltete Service Principals und Authentifizierungs-Token für sichere REST-API-Integrationen

• Analyse der Web- und Kampagnen-Performance zur Ableitung umsetzbarer Erkenntnisse für die Optimierung von Marketing und Wachstum
• Implementierung und Pflege von Tag-Management-Lösungen zur Sicherstellung einer zuverlässigen und konsistenten Datenerhebung
• Kontinuierliche Weiterentwicklung und Optimierung von Reporting-Strukturen mit Fokus auf Skalierbarkeit und Datenqualität
• Durchführung regelmäßiger Deep-Dive-Analysen sowie Leitung monatlicher Stakeholder-Sessions zur Präsentation von Ergebnissen und Abstimmung von Optimierungsmaßnahmen
• Konzeption und Betrieb von End-to-End-Datenflüssen von der Datenerhebung bis zur Visualisierung
• Tools: GA4, Google Tag Manager, Looker Studio, Airbyte, BigQuery

• Die Ablösung des bisherigen Archivsystems (Dokumentenmanagementsystem – DMS) auf Host Basis ist weit vorangeschritten.
• Das interne Audit soll dazu dienen die Qualitätsansprüche des Hauses sicherzustellen.
• DSGVO
• ISO 27001 ff.
• BSI
• DORA
• Regulatorik Patientendaten
• Host / Cloud / S3 / Container / Hoch Skalierbar / Nuxeo
• Budget: 50.000
• Team: 1

• Arbeit an Kunden- und internen Projekten im B2C- und B2B-Bereich
• Entwicklung und Wartung von kundenorientierten und internen Anwendungen im B2C- und B2B-Bereich
• Verantwortung für technische Ausrichtung, Architekturentscheidungen und Code-Qualitätsstandards
• Entwurf und Umsetzung skalierbarer Anwendungsarchitekturen, einschließlich modularer Frontend- und serviceorientierter Backend-Strukturen
• Konzeptionelle Planung und technische Umsetzung des Agentur-Webseiten-Relaunchs in Angular
• Schnellprototyping und MVP-Entwicklung für B2B-Kundenprojekte im Pharmasektor mit Vue.js
• Erstellung erster MVPs für 3D-Rendering-basierte Produkte, einschließlich Echtzeit-Visualisierung und interaktiven Erlebnissen
• Umfassende UX/UI-Expertise mit Fokus auf Gamification, Nutzerbindung und konversionsorientierte Oberflächen
• Enge Zusammenarbeit mit Produktmanagement, Design und Stakeholdern, um Geschäftsanforderungen in technische Lösungen zu übersetzen
• Agile Softwareentwicklung mit Scrum, einschließlich Sprintplanung, Reviews und Retrospektiven, unterstützt durch Azure DevOps
• Full-Stack-Entwicklung mit React, Angular, TypeScript, Vue.js, HTML5, CSS3/SCSS, C#, .NET, Node.js, RESTful APIs, Unity, Azure DevOps, Git und CI/CD-Pipelines

• Verantwortung für die End-to-End-Bereitstellung von Softwareprojekten in den Bereichen Gesundheitswesen, Gaming und Kommunikation.
• Tätigkeit als Projektmanager, Product Owner und Scrum Master für mehrere Agile-Teams.
• Überwachung der Festlegung des Projektumfangs, Sprint-Durchführung und Lieferverfolgung mit Jira und Confluence.
• Entwurf technischer Architekturen und API-Strategien zur Integration von Twilio, CRM-Systemen und VoIP.
• Leitung von KI/ML-Projekten zur Implementierung von Empfehlungssystemen und Automatisierungs-Workflows.
• Unterstützung im Pre-Sales durch Aufwandsschätzungen, technische Dokumentation und Angebotsprüfungen.

• Implementierung der spezifizierten DevOps-Lösungen zur Automatisierung der Infrastruktur (Terraform, Bicep, CloudFormation, Ansible) im lokalen Rechenzentrum (Ovirt, Proxmox, Ceph-Cluster, MinIO) und in der Private Cloud.
• Verwaltung, Konfiguration und Umsetzung von CI/CD-DevOps-Pipelines (GitLab, GitFlow) zur Unterstützung des Entwicklungsprozesses (Artifactory, Prometheus, Istio, Service Mesh, Helm Charts, OpenShift (Red Hat Enterprise) / Kubernetes-Cluster), Red Hat Satellite.
• Verwaltung, Einrichtung, Überwachung und Einspielung von Patches der Linux-Infrastruktur auf Basis von Red Hat Enterprise für Dev, Test und QA.
• Einsatz von Scrum- und Kanban-Methoden.
• Verwaltung, Konfiguration und Umsetzung von Sicherheitsstandards für die Bereitstellung in den Dev-, Test-, QA- und Produktionsphasen der neuen ePA-Anwendungen.
• Entwicklung neuer Plugins und Add-ons für die bestehende Infrastruktur.
• Datenbankunterstützung.
• Unterstützung der Datenanalyse (Python, Spark, Pandas, Power BI, Splunk Enterprise).
• Umsetzung von Best Practices für DevSecOps und BizDevOps unter Einsatz von GitOps (ArgoCD), Streamlit-Framework und Semaphore Ansible UI.
• Konfiguration und Test von iperf, uperf, sysbench mit dem Benchmark-Operator für externe Quelldaten und IoT/MDM-Geräte, Erstellung von Berichten über ELK/OpenSearch.
• Aufbau einer neuen Databricks-Plattform zur Sammlung und Analyse von Big Data aus verschiedenen Quellen und IoT-Geräten im Hadoop-Framework (Python, Pandas, PySpark, Power BI, Apache Airflow).
• Aufbau der Backend-Datenaggregation und -verarbeitung zur Automatisierung der Bereitstellung von Konfigurationen zwischen verschiedenen OpenShift-Clustern und dem Big-Data-Framework (Python, Pandas, PySpark, Apache Spark, PostgreSQL, Django 2, Ansible Automation, Jira JSM).
• Aufbau einer neuen ML-Pipeline-Plattform unter Verwendung von Kubeflow, TensorFlow, KServe.
• Extraktion, Transformation und Laden von Daten aus verschiedenen Quellen, einschließlich strukturierter und unstrukturierter Daten, in ein analytisches DWH bzw. Big-Data-Cluster mit Python, Pandas, Polars, Power BI, Django-Backend und PostgreSQL.
• Einrichtung eines neuen DevOps-Test- und QA-HashiCorp-Vault-Clusters für PKI und IAM.
• Konfiguration und Test automatisierter Patches basierend auf CVSS-Bewertungen und SIEM-integrierten CVEs.
• Einsatz von Nexpose und InsightVM zum Scannen von Schwachstellen in Netzwerken, Hosts, Containern und Anwendungen.
• Planung und Umsetzung sicherer und skalierbarer AWS-Architekturen einschließlich VPC, EC2, S3, RDS und Route53 sowie ähnlicher Umgebungen auf Azure und GCP.
• Automatisierte Systembereitstellung und -deployment mit CloudFormation-Vorlagen.
• Konfiguration von IAM-Rollen, Richtlinien und Berechtigungen zur Gewährleistung einer sicheren Zugriffskontrolle.
• Patch-Management, Backup-Automatisierung und Einrichtung der Notfallwiederherstellung in der AWS-Infrastruktur.
• Überwachung und Optimierung der Systemleistung mit AWS CloudWatch und AWS Trusted Advisor.
• Unterstützung von VMware-Diensten (vSphere, Aria, Horizon) und der virtuellen Desktop-Umgebung.
• Entwicklung und Wartung von CI/CD-Pipelines mit Jenkins, GitLab CI/CD und AWS CodePipeline mit Schnittstelle zu Nutanix.
• Konfiguration von AWS CloudWatch zur Überwachung der Anwendungsleistung und Systemereignisse.
• Planung und Durchführung der Migration von On-Premises-Anwendungen zu AWS-Cloud-Plattformen.
• Bereitstellung containerisierter Anwendungen mit Docker und Kubernetes in AWS-Umgebungen.
• Bereitstellung interner Softwarepakete zwischen Verfügbarkeitszonen mit AWS CodeDeploy.
• Erstellen und Bereitstellen von ML-Modellen mit Scikit-Learn, XGBoost und Spark MLlib einschließlich Hyperparameter-Tuning, Modellevaluation und Produktivsetzung.