Maziyar Khorrami-Senior Data Engineer

• Microsoft Azure Data Engineering Zertifizierung
• Azure Synapse Analytics, Azure Data Factory, Azure Databricks, Azure SQL Database, Azure Blob Storage, Azure HDInsight, Azure Stream Analytics, Azure Cosmos DB, Azure Machine Learning, Azure Data Lake Storage
• Google Cloud Platform (GCP), BigQuery, Vertex, BigTable, Cloud Dataflow

• Entwicklung und Implementierung von Datenpipelines und ETL-Prozessen mit Apache Spark, Python und SQL für verschiedene Datenquellen wie SAS Viya, Data Warehouses, Hadoop HDFS und Hive.
• Enge Zusammenarbeit mit Stakeholdern zur Analyse von Datenanforderungen und Entwicklung passender Lösungen.
• Entwurf und Implementierung von Datenpipelines und POCs für ETL-Prozesse mit Microsoft Azure Blob Storage, Microsoft Azure Functions, Microsoft Azure Data Factory, Microsoft Azure Synapse Analytics, Microsoft Azure Data Catalog, Microsoft Azure Event Grid.
• Verantwortlich für Deployment und Debugging von PEX-Dateien für CLI-Komponenten.
• Erfolgreiche Leitung der Migration eines älteren Hadoop-Clusters auf einen neuen Hadoop-Cluster. Dazu gehörten die Übertragung aller Daten, Formate, Pipelines, CLI-Integrationen, Zeitpläne, Airflow DAGs, DB-Verbindungen und mehr.
• Entwicklung von PEX-Dateien und Durchführung von Tests zur Sicherstellung der Robustheit.
• Implementierung und Entwicklung eines Data Lake für effiziente Datenspeicherung und -verarbeitung.
• Erfolgreiche Umsetzung von Datenschutzrichtlinien gemäß DSGVO.
• Implementierung von IAM und Authentifizierung für die Zugriffskontrolle.
• Entwicklung von Konzepten für Data Mesh für ein effektives Datenmanagement.
• Implementierung von Datenmodellen wie ORM.

Datenanalyse

• Erstellung von Grafana-Dashboards zur Überwachung des Datenflusses und zur Analyse von Metriken.
• Entwicklung von DataDog-Dashboards zur Überwachung des Datenflusses und verschiedener Metriken wie Partitionsgröße, Tracking kleiner Dateien und Knoten im Hadoop-Cluster.
• Analyse von Kundendaten und Suchdaten, um kleinere Fehler in den Daten zwischen verschiedenen Zonen im Data Lake zu identifizieren.
• Analyse großer Datensätze, um Trends und Verbesserungspotenziale zu erkennen.
• Erstellung von Datenvisualisierungen und Dashboards zur Darstellung von Datenerkenntnissen.
• Entwicklung von Berichten und Präsentationen, um Datenergebnisse an Stakeholder zu kommunizieren.

DevOps

• Nutzung von GitLab CI/CD für automatisierte Pipeline-Deployments.
• Entwurf und Implementierung von Docker-Containern und deren Vorlagen.
• Entwicklung und Verbesserung von Ansible Playbooks für Ressourcen- und Paketverwaltung.
• Entwicklung und Einsatz von Jenkins für die kontinuierliche Integration verschiedener PEXs.
• Durchführung von POCs für Kubernetes und Terraform für Container- und Ressourcenmanagement in Microsoft Azure mit Microsoft Azure Blob Storage, Microsoft Azure Functions, Microsoft Azure Data Factory, Microsoft Azure Synapse Analytics, Microsoft Azure Data Catalog, Microsoft Azure Event Grid.
• Entwicklung von Bash-Skripten unter Linux für verschiedene Zwecke, einschließlich Automatisierung von Zeitplänen.

Projektleitung

• Entwurf, Entwicklung und Durchführung einer End-to-End-Test-Suite, um den vollständigen und fehlerfreien Eingang der Daten vom gesamten ETL-Prozess in die Zielsysteme zu prüfen.
• Budgetverwaltung von Projekten.
• Management des Projektumfangs und Einhaltung regulatorischer Fristen, um die Anforderungen der Projekt-Stakeholder zu erfüllen.
• Teamleitung und Aufgabenverteilung.
• Definition von Stories und Epics mit agilen Methoden.
• Schulung von Teammitgliedern im Umgang mit den entwickelten Tools.
• Dokumentation und Präsentation der Ergebnisse für Product Owner.

Tech. Stack: Python 3, Hadoop Ecosystem HTP zu CDH, ETL, Terraform, Microsoft Azure Blob Storage, Microsoft Azure Functions, Microsoft Azure Data Factory, Microsoft Azure Synapse Analytics, Microsoft Azure Data Catalog, Microsoft Azure Event Grid, AWS, Data Lake, PEX, CLI, Jenkins, Ansible Playbooks (Infrastructure as Code), Ambari, CI/CD, GitLab, SQL, Hive ORC / External, PySpark, Airflow, DAG, Scrum, Kanban, Agile, Jira, Big Data, Pro-PyCharm, DBeaver, MSSQL, MySQL, Grafana, DataDog, Docker, Linux, Bash, MapReduce, Datenmodellierung (ORM), Json, YAML, SQL-Alchemy

• Weiterentwicklung einer analytischen Datenpipeline auf Basis von Python (ETL, ML-Feature-Preprocessing, Training von ML-Modellen, Monitoring der Ergebnisse), ausgelegt für die Verwaltung von Zeitreihen- oder ereignisbasierten Datensätzen.
• Datenmodellierung für Dimensionen und Fakten.
• Umfangreicher Einsatz von Oracle PL/SQL-Paketen zur Vorbereitung von Datamarts.
• Datenmodellierung mit ORM (Object-Relational Mapping).
• Proof of Concept (POC) für die Nutzung von AWS mit StepFunction, Lambda, S3, Redshift und EC2 für eine cloudbasierte Umsetzung von ETL und Datenspeicherung.
• IaC mit Terraform
• Implementierung von Kafka-Topics für die Live-Stream-Datenpipeline.

Datenanalyse

• Große Datensätze analysiert, um Trends und Verbesserungspotenziale zu erkennen.
• Datenanalysen und Dashboards erstellt, um Erkenntnisse aus den Daten darzustellen.
• Berichte und Präsentationen entwickelt, um Daten-Ergebnisse an Stakeholder zu kommunizieren.

Data Science

• Vorhersagemodelle entwickelt (Neural Network, Random Forest, XGBoost, Linear Regression, Stacked Models), um zukünftige Trends und Verhaltensweisen vorherzusagen (Zeitreihen, Kundendaten).
• Erkenntnisse und Empfehlungen aus Daten an Stakeholder präsentiert.
• Feature Engineering für Machine-Learning-Modelle durchgeführt.
• Machine-Learning-Modelle mit Hilfe von Feature Importance analysiert.
• Dataiku für Prototyping genutzt, POCs für Machine-Learning-Modelle erstellt sowie Features analysiert und verschiedene Methoden und Modelle getestet.

MLOps

• Machine-Learning-Modelle (Neural Network, Random Forest, XGBoost, Linear Regression) produktiv mit AWS Sagemaker, AWS CloudWatch, AWS S3, AWS RedShift, AWS StepFunction, AWS Lambda, AWS Glue eingesetzt.
• Machine-Learning-Modelle in der Produktionsumgebung mit neuen Daten nachjustiert.
• Regelmäßiges Nachtrainieren.

Team Lead

• Projektumfang gesteuert.
• Neue Teammitglieder geführt und eingearbeitet.
• Stories und Epics nach agilen Methoden definiert.
• Aufgaben unter den Teammitgliedern verteilt.
• Ergebnisse dokumentiert und für Product Owner präsentiert.

Tech und Skill Stack: Python, Hadoop Ecosystem, Machine Learning, Supervised Learning, Jupyter Notebook, RStudio, AWS Sagemaker, Terraform, AWS CloudWatch, AWS S3, AWS RedShift, AWS StepFunction, AWS Lambda, AWS Glue, ETL, Kafka, CI/CD auf GitLab, Dataiku, Zeitreihen, Oracle, SQL, Hive, Pandas, PySpark, HBase, Tableau, SCRUM, Kanban, Agile, Jira, BigData, Pro-PyCharm, Anforderungsanalyse, Numpy, Scikit, GridSearch, Anomaly Detection, statistische Modellierung, multivariate Analyse, explorative Datenanalyse, XGBoost, Random Forest, Matplotlib, Seaborn, Linux, Bash, R, RStudio, MapReduce PowerBI, Tableau, Confusion Matrix, Feature Importance, Neural Network, XGBoost, Decision Tree, Time Series, Grid Search, Model Fine Tuning, Random Forests, Logistic Regression, Stacked Models, Models Nachtrainieren, Dataiku, MIFlow, Scikit-Learn, Pandas, Python, Jupyter Notebook

Preisträger [Als Mitglied des ChurnLab-Teams] des People Award 2020 von Telefónica Germany für eine ausgezeichnete Reduzierung der Kundenabwanderung

Entwicklung von Webanwendungen.

NodeJS, React, Git, VSCode, SCRUM

Anwendungsentwicklung in MVC mit JEE7 und PrimeFaces.

JEE7 (JPA, JSF, EJB), Primefaces, OmniFaces, Maven, SVN, MySQL, SCRUM, Payara

Backend-Entwicklung für die Dokumentenmanagement-Abteilung in JEE 7.

JEE7 (EJB, JPA), SCRUM, Hibernate, JBoss5, Maven, Solid DB, WSDL, XSD, Eclipse, Git, Jira, Mockito, Arquillian, SOAP-UI, SOAP, AXIS II

Softwareentwicklung im Frontend.

Vaadin 7, Java, Eclipse, JPA, MSSQL, PostgreSQL, JPQL, Hibernate, Maven, Git, Glassfish

Fehlersuche bei Tivoli Storage Management (IBM Software).

Ubuntu 12.04, Linux, Ubuntu 10.4, TSM, SSH, Bash, Vim