Jorge Machado-Datenexperte
Tagessatz prüfen
Erfahrungen
Technical Lead / Fractional CTO
Würth GmbH
Ich habe eine KI-gestützte Multi-Tenant-Plattform auf Azure entworfen und entwickelt, die SAP-Prozessaufzeichnungen in technische Dokumentation, Präsentationen und automatisierte Tests umwandelt und dabei über 15.000 Prozessaufzeichnungen für Unternehmenskunden wie Würth verarbeitet. Ich war verantwortlich für die Architektur, die produktiven Releases und das DevOps-Setup. Außerdem habe ich ein Multi-Tenant-System mit SSO und rollenbasierter Zugriffskontrolle auf Azure entworfen. MCP Server mit dynamischer OAuth-Authentifizierung implementiert.
Hauptaufgaben:
- Sprint-Planung und Feature-Vorbereitung
- Design der Multi-Tenant-Plattform-Architektur (FastAPI, SQLAlchemy, PostgreSQL Row-Level Security für Tenant-Isolation)
- Entwicklung von KI-Pipelines mit Prefect für Transkription (Azure Speech API), Dokumentengenerierung und SAP-Screen-Recording-Analyse (Claude, gpt-4-mini)
- Design und Implementierung eines MCP-Servers, um Tenant-Wissen für LLM-Clients (Claude) bereitzustellen, mit asynchronem Retrieval und Reranking
- Implementierung von LLM-Kosten-Tracking, Rate Limiting und Client-Pooling für Anthropic/OpenAI/Azure-OpenAI-Endpunkte
- Einrichtung von CI/CD: Docker-Images in Azure Container Registry, GitHub Actions, Azure Static Web Apps, Alembic-Migrationen in Containern
- Verwaltung von Produktions-Deployments und Durchführung von Live-Datenmigrationen für Unternehmenskunden
- Definition von Engineering-Standards und Architekturmustern für das Team
Umgebung: Azure / Azure Foundry / Python / FastAPI / Prefect / React / PostgreSQL
Data Engineer expert
SAP AG
Ich habe die Architektur und Entwicklung wichtiger SAP-Plattformkomponenten geleitet, darunter Kafka Tiered Storage und Kafka Connect. Außerdem habe ich einen Kafka-Kubernetes-Operator auf Golang-Basis entwickelt, um das Deployment von Infrastruktur über AWS, Azure und GCP hinweg zu automatisieren und zu vereinfachen und dabei Skalierbarkeit und hohe Verfügbarkeit sicherzustellen.
Hauptaufgaben:
- Entwicklung des Workflows für die Einführung von Kafka Tiered Storage auf über 20 Kubernetes-Clustern
- Rollout mit Crossplane-Operatoren und Nutzung seiner APIs
- Entwicklung von Self-Service-Deployments für Kafka Connect
- Entwicklung von Rollout-Strategien über Flux und Helm
Umgebung: Kubernetes, Azure, AWS und Google Cloud
Tools: Kubernetes, Gardener, Github, Python, Golang, Kafka, Jenkins, Helm
Data Engineer expert
s.Oliver GmbH
Ich habe die Migration von SAP Hana zu Databricks entworfen und entwickelt. Ich habe mehrere ETL-Pipelines auf Databricks entworfen und implementiert. Mit inkrementellem Laden. Mit der Migration haben wir über 50.000 € pro Jahr an SAP-Kosten eingespart. Databricks auf Azure
Hauptaufgaben:
- Design der Datalake-Architektur für Databricks in Medallion-Architektur
- Entwicklung von Pipelines zum Deployen von Code von Dev- in Prod-Umgebungen
- Schreiben von ETL-Extraktionen mit PySpark im inkrementellen Modus, um SAP-Daten in Databricks zu laden
- Einsatz von DBT zum Erstellen der Dimensionen- und Faktentabellen
- Unterstützung von Junioren beim Einstieg in die neue Plattform
- Einrichtung von Berechtigungen und Konzepten
- Integration von Streaming-Daten aus Kafka
- Einrichtung von KI-Use-Cases wie FP-Growth auf kundenspezifischen Daten
- Zeitreihenprognosen
Umgebung: Databricks / Azure
Data Engineer expert
ias Gruppe
In diesem Projekt habe ich einen Datalake auf der Microsoft-Azure-Infrastruktur mit Azure Event Hub und Azure IoT Services entworfen und implementiert.
Hauptaufgaben:
- Entwicklung von Streaming-Ingestion mit Azure Service Bus
- Entwicklung von Datalakes mit Azure Synapse und Delta Lake
- Airbyte-Deployment und ELT (ETL)
- DBT für die Business-Logik
- Azure Data Factory
Umgebung: Azure
Data Engineer expert
Deutsche Bahn
In diesem Projekt habe ich mehrere Spark- und Streaming-Pipelines mit verschiedenen AWS-Services entworfen und implementiert. Hauptsächlich ging es um Informationen aus dem Reise- und Zugbereich (Verspätungen, Abfahrten usw.). Der wichtigste Use Case war die Delta-Verarbeitung von kleinen Dateien in einen Datalake im Bereich von mehreren Terabyte.
Hauptaufgaben:
- Entwicklung von Streaming-Anwendungen mit AWS Kinesis und Lambda-Funktionen
- Entwicklung von Apache-Spark-Datenverarbeitungsanwendungen mit AWS Glue, AWS S3 und Postgres DB
- Entwicklung von KPIs für verschiedene Anwendungen, einschließlich Time-Travel-Analytics
- Mehrere Prototypen für Spark Streaming auf AWS Glue
- Nutzung fortgeschrittener Features von Apache Hudi
- Monitoring und Metriken der Geschäftsverarbeitung über AWS CloudWatch
- Infrastructure as Code mit AWS CDK
- Rollout von DBT-Tools für Entwickler und CI/CD-Pipelines auf GitLab
- Bewertung von Databricks, AWS Athena und Snowflake
- Lead Developer beim Unterstützen anderer Entwickler, um Entwicklungszyklen zu beschleunigen
- IoT-4.0-Pipelines
Umgebung: AWS
Kafka Experte
S.Oliver GmbH
In diesem Projekt haben wir die komplette Einkaufs- und Materialkette neu gestaltet, damit sie nicht mehr im Batch läuft, sondern mit Kafka in Echtzeit verarbeitet wird.
Hauptaufgaben:
- Spring Boot Kafka Streams Anwendungen
- Entwicklung eigener Kafka Source Connectors, um Daten aus SAP-Systemen zu extrahieren
- Entwicklung eigener Kafka Sink Connectors, um Daten in SAP-Systeme zu schreiben
- Bereitstellung von Kafka Connect Connectors mit Monitoring in einem Azure Kubernetes Cluster
- Entwicklung von Datenpipelines mit Airflow und Azure Cloud
- Entwicklung der Architektur für die Datenpipelines zwischen On-Premise und Azure Cloud
- Schreiben von Spark-Jobs zur Bereinigung und Aggregation von Daten.
Umgebung: Confluent Cloud und Azure
Datawarehouse-Experte
Büro Forum GmbH
Entwicklung eines Datawarehouses für das ERP-System von Concept Office.
Hauptaufgaben:
- Entwicklung von dbt-Workflows und Star Schemas für das Datawarehouse
- Entwicklung von ELT-Workflows mit Stich Data
- Entwicklung von Dashboards mit Power BI in der Azure Cloud
Umgebung: Google BigQuery und DBT
Softwareentwickler
RTL Deutschland
Entwicklung einer hochkomplexen und konformen Data-Sharing-Plattform in der Azure Cloud.
Hauptaufgaben:
- Python mit FastAPI und PySpark
- Entwicklung von API-Services mit Azure App Services
- Datalakehouse-Implementierung mit dbt-Tool (Star Schema und inkrementelle Loads)
- Einführung von Azure Databricks und Delta Lake Stores
- ETL-Pipelines auf Azure Synapse
- Entwicklung von Dashboards mit Power BI in der Azure Cloud
Umgebung: Microsoft Azure
Apache Nifi Engineer
Currenta GmbH
Dieses Projekt konzentrierte sich auf das Design und die Implementierung mehrerer Apache-NiFi-Cluster über eine DMZ und ein Rechenzentrum.
Ich entwickelte in sehr kurzer Zeit eigene Prozessoren, und das OPC-UA-Protokoll wurde verwendet, um Daten von OPC-UA-Servern zu extrahieren.
Hauptaufgaben:
- Entwicklung eigener Java-11-NiFi-Prozessoren inklusive Unit-Tests
- Erstellung von Ansible-Playbooks für das NiFi-Deployment mit SSL
- OAuth-Authentifizierung + X.509
Umgebung: On-Premise
Cloud Solution Engineer
Allianz Technology
Migration von Datalakes in die Azure Cloud. Hoher Automatisierungsgrad mithilfe von ArgoCD, Jenkins, Helm Charts und Terraform. Design von Client-Anwendungen als "cloud native". Spark und azcopy wurden für Teile der Migration verwendet.
Hauptaufgaben:
- Entwicklung von Spark-Jobs für die Migration von Data Lakes in die Cloud
- Entwicklung von Helm Charts für die Automatisierung von Azure AKS
- Anpassung des Anwendungsdesigns auf Cloud Native
- Onboarding interner Kunden in die Azure Cloud
- Implementierung von Spring Boot Kafka Streams Anwendungen
- Implementierung von Argo-Workflow-Pipelines
Verwendete Technologien:
- Azure Blob Storage
- Azure Kubernetes Service (AKS)
- Azure Virtual Networking
- Azure OAuth
Umgebung: Azure Cloud
Big Data Architekt, Data Engineer
BMW AG
Arbeitete am AD- Vantage-Programm mit Fahrzeugdaten für selbstfahrende Autos
Umgebung: Mapr + OpenShift (500+ Knoten)
Hauptaufgaben:
- Entwicklung von Daten-Pipelines mit Spark und Airflow für selbstfahrende Autos
- Erstellen von Metriken für Geodaten-Anwendungen
- Laden von Daten in Elasticsearch mit Apache Spark
- Funktionale Programmierung mit Scala
Verwendete Technologien:
- Mapr-Cluster (Hadoop), Openshift
- Elasticsearch + Kibana
- Apache Airflow
- Kafka Streams
Big Data Entwickler
DXC
Erstellung eines Azure-Services für Inferencing at Scale
Hauptaufgaben:
- Automatisierung der Bereitstellung von Azure-Kubernetes-Cluster
- Erstellen und Bereitstellen von Deep-Learning-Spark-Jobs mit PyTorch + GPUs auf Kubernetes
- GPU-Inferencing auf TBs von Daten durchführen
Umgebung: Azure Cloud
Big Data Entwickler, Spark / Kafka Entwickler, Data Engineer
GFK
In diesem Projekt laden wir riesige Datenmengen über Kafka in Accumulo.
Die gesamte Hadoop-Umgebung ist Kerberos-gesichert.
Hauptaufgaben:
- Schreiben von Kafka-Connectors zum Laden von Daten
- Absichern von Anwendungen für Hadoop / Kafka / Kafka Connect mit Kerberos
- Erstellen von Statistikplänen für RDF4J-Querys über Accumulo
- Erstellen von Apache-Nifi-Workflows
- Einführung von Git-Flow-Automatisierung, Continuous Integration und Docker-Automatisierung
- Kafka-Connect-Setup mit Kerberos auf Google Kubernetes
- Schreiben von Java-Anwendungen auf Basis von RDF (Web-Semantik)
Umgebung: Cloudera Hadoop
Big Data Architekt, Data Engineer
Deutsche Bahn
In diesem Projekt hatte ich die Rolle des Hadoop-Architekten. Zu den Aufgaben gehörten das Auslegen des Hadoop-Clusters, das Anbinden interner Kunden an die gemeinsame Plattform und die Unterstützung der verschiedenen Data-Pipeline-Abläufe. Alle Tools wurden mit einem Kerberos-gesicherten Hadoop-Cluster verwendet
Hauptaufgaben waren:
- Datenmigration mit Sqoop und Oozie
- Konfiguration des Hadoop-Clusters mit Kerberos und Active Directory
- Implementierung von Data Pipelines mit Kylo, Apache Nifi und Talend
- Bereitstellung von Hortonworks Cloud Break auf Amazon AWS
- Apache Storm Streaming-Implementierungen
- Unterstützung interner Kunden bei Streaming- und Datenbereinigungsaufgaben
- Hadoop-Dimensionierung für On-Premise und in der Amazon Cloud
Big Data Entwickler und Architekt
Kiwigrid
In diesem Projekt war das Hauptziel, Spark tiefer in HBase zu integrieren und ein neues Framework für Alerting und Berechnungen auf Basis von Spark Streaming zu entwickeln. Jede Bereitstellung basiert auf Docker.
Hauptaufgaben waren:
- Erstellen von Reports in Spark-Jobs auf Basis von Verlaufsdaten
- Eigene Spark-Datenquellen für HBase und Aggregation für die Datenexploration.
Verwendete Technologien:
- Apache HBase mit Phoenix JDBC
- Apache Ambari / Hortonworks
- Apache Spark
- Scala und Java
- Vertx Server
- Docker
SAP-Administrator und Oracle-Administrator
ZF Friedrichshafen AG, Schweinfurt, Germany und S.Oliver, Würzburg, Germany
Verantwortlich für die Verfügbarkeit der Services der SAP-Systeme im Unternehmen. Wir haben mehr als 200 Systeme zu betreuen. Einige der Aufgaben, die ich gemacht habe, waren:
- SAP- und Oracle-Upgrades
- SAP OS-/HW-Migration
- TREX Enterprise Search, ASCS-Splits, SAP Security, SSO, SNC, SSFS
Big-Data-Architekt, Data Engineer
Daimler AG
Arbeit mit der Entwicklung an Daten aus Autos, um TensorFlow-GPU-Trainings durchzuführen
Umgebung: Mehrere MapR-Cluster (30+ Knoten), NVIDIA-GPUs (Tesla), Apache Mesos
Hauptaufgaben:
- Entwicklung von Datenpipelines mit Airflow und Apache Spark
- Entwicklung von End-to-End-Monitoring auf Basis von Prometheus
- Entwicklung von Echtzeit-Datenpipelines auf Basis von Docker, Kafka und Python.
- Deployment von Apache Marathon mit Mesos und GPUs
- Architektur für die Migration von Mesos zu Kubernetes
- Jenkins-Pipelines zum Erstellen von Docker-Images für den Einsatz mit Mesos auf GPU-Clustern
- Verschiedene Infrastrukturaufgaben mit Ansible für hohe Verfügbarkeit
Branchenerfahrung
Sieh, in welchen Branchen dieser Freelancer den Großteil seiner beruflichen Laufbahn verbracht hat.
Erfahren in Professionelle Dienstleistungen, Informationstechnologie (IT), Einzelhandel, Mode und Bekleidung, Transport und Logistik, Medien und Unterhaltung und Druck.
Erfahrung nach Fachbereich
Zeigt, in welchen Abteilungen und Funktionen dieser Freelancer am meisten mitgewirkt hat.
Erfahren in Informationstechnologie (IT), Business Intelligence, Produktentwicklung, Betrieb, Lieferkettenmanagement und Projektmanagement.
Zusammenfassung
Mein Fokus liegt auf dem Design von Scala-Datenverarbeitungssystemen auf AWS oder Azure, Databricks und DBT. Ich mag es, Self-Service-Systeme zu entwerfen, damit Menschen schneller auf Daten zugreifen können, und das geht nur mit Automatisierung. Ich entwickle in Python, Scala und Java.
Fähigkeiten
Scala
Java
Python
Golang
Kubernetes
Aws
Azure
Gcp
Apache Spark
Apache Kafka
Apache Nifi
Apache Airflow
Sap
Databricks
Dbt
Apache Spark
Java Mapreduce
Scala
Java
Python
Perl
Tornado
Rest Apis
Jira
Etl
Docker
Maven
Gradle
Kubernetes
Jenkins
Cloud Build
Azure Cosmos Db
S3
Neo4j
Azure Kubernetes Service
Aks
Flask
Spring Boot
Data Vault 2.0
Pytorch
Tensorflow
Azure Iot
Modbus
Mqtt
Opc
Plc
Azure Data Factory
Azure Synapse
Llm
Aix
Ubuntu
Cento Os
Mac Osx
Windows Server 2008 R2
Flexframe
Routing
Git
Ibm Hadr
Ibm Tsm
Aws S3
Apache Mesos
Rfc
Snc
Charm
Kernel-Upgrades
Ehp-Upgrade
Ssfs
Sso
Hana
Oracle 11
Db2
Sap Max Db
Mysql
Aws Redshift
Postgres
Aws Emr
Aws Glue
Aws Ecs
Aws S3
Aws Redshift
Google App Engine
Azure Kubernetes
Azure-Container
Sprachen
Ausbildung
Instituto Politécnico do Porto
Master in Netzwerke und Kommunikation · Netzwerke und Kommunikation · Portugal
Instituto Politécnico do Porto
Bachelor in Informatikingenieurwesen · Informatikingenieurwesen · Portugal
Zertifikate & Bescheinigungen
Databricks Foundation
Confluent Certified Developer for Apache Kafka
Generative AI with Large Language Models (NLP)
CKAD: Certified Kubernetes Application Developer
Microsoft Certified: Azure Fundamentals
Data Engineering Nanodegree
Functional Programming Principles in Scala
Coursera
Big Data Analytics
Fraunhofer IAIS
Big Data Analytics
University of California, San Diego on Coursera
Databricks Developer Training for Apache Spark
Hadoop Platform and Application Framework
University of California on Coursera
Machine Learning with Big Data
University of California, San Diego on Coursera
SAP OS and DB Migration (TADM70)
SAP Database Administration I (Oracle) (ADM 505)
SAP Database Administration II (Oracle) (ADM 506)
SAP NetWeaver AS Implementation und Operation I (SAP TADM10)
SAP NetWeaver Portal - Implementation and Operation (TEP10)
ITL Foundation v4
Statistiken
Erfahrung
Globale Erfahrung
Fachkenntnisse
Qualifikationen
Profil
Häufig gestellte Fragen
Du hast Fragen? Hier findest du mehr.
Durchschnittlicher Tagessatz für ähnliche Positionen
Die Tagessätze basieren auf aktuellen Projekten und enthalten keine FRATCH-Marge.
Ähnliche Freelancer
Entdecke andere Experten mit ähnlichen Qualifikationen und Erfahrungen
Jorge Machado
Serge Kalinin
Anton Klonov
Max Ritter
Thomas Hoefkens
Jan Krol
Alexander Zhirov
Christian Schulz
Arne Hendricks
Niko Schmuck
Experten, die kürzlich an ähnlichen Projekten gearbeitet haben
Freelancer mit praktischer Erfahrung in vergleichbaren Projekten als Technical Lead / Fractional CTO
Arne Hendricks
Niko Schmuck
Saqib Javed
Marcel Meyer
Prasad Tilloo
Kiriakos Krastillis
Jens Rehsack
Emre Ates
Paul Webster
Tezcan Dilshener
Freelancer in der Nähe
Fachkräfte, die in oder in der Nähe von Würzburg, Deutschland arbeiten
Christian Kämmerer
Kai Saathoff
Ronny Worm
Tareq Kellyeh
Eugen Pilarski
Tobias Rudolph
Michael Theiss
Shamaila Mahmood
Khalid El Mansouri
Roland Slagman
Aktuellste Projekte
FRATCH arbeitet mit vielen Unternehmen und Personalvermittlungen zusammen. Hier findest du unsere zuletzt veröffentlichten Projekte und Möglichkeiten.
