Serge (Dr.) Kalinin-MLOps (Machine Learning Operations)
Tagessatz prüfen
Erfahrungen
MLOps (machine learning operations)
REWE Digital GmbH
- Es ist wie ein Start-up innerhalb von REWE, wo wir von Grund auf ein neues Prognosesystem auf der Google Cloud Platform aufbauen müssen. Offiziell heißt meine Rolle MLOps, aber meine eigentlichen Aufgaben umfassen auch die Entwicklung von Datenverarbeitungspipelines (Data Engineering) sowie Aufgaben von Data Scientists wie Feature Engineering und Modelltraining.
- GCP: Terraform (tofu), Vertex AI (Kubeflow), Cloud Run, IAM, Google Cloud Storage, BigQuery, Artifact Registry
- Data Engineering: Snowflake als zentrales Data Warehouse, Terraform, DBT für die Implementierung von Datenmodellen
- CI/CD: GitLab. Wir haben eine CI/CD-Pipeline aufgebaut, die Deployments neuer Releases bis in die Produktionsumgebung automatisiert
Senior Software Developer (freelancer)
StarStruck
- Sichtbarkeit von Unternehmen oder Softwareprodukten in Marktplätzen zusammenführen, um Footprints zu vergleichen.
- Datenmodelle entwickeln und Scraper-Skripte analysieren und beheben.
- Entwicklungsaufgaben an andere Entwickler verteilen.
- Textanalyse und Implementierung eines Empfehlungssystems.
- AWS: DynamoDB, Lambda, S3, EC2, IAM, EventBridge.
- Scraping: Python, Selenium Chrome Webdriver.
- Textanalyse: Amazon Comprehend.
- Empfehlungssystem: XGBoost.
- MLOps: MLFlow
Senior Software Developer (extern)
Atrvivia AG (via STI GmbH, Michael Page International)
- Plattform Data Integration Hub (DIH) für ein Data-Governance-Projekt entwickelt, zentrale Architektur für den Austausch von Daten zwischen Mandanten, basierend auf Datenproduktbeschreibungen, Datenkatalogen und Services, die Data Mesh und Data Vault 2.0 abbilden.
- Workflow: Datenproduktbeschreibung per REST API oder Swagger UI einspielen; Metadaten werden in Kafka-Topics geschrieben; Kafka-Consumer erzeugen Metadaten in Datahub, Tabellen in Trino, Dateistrukturen auf S3, Policies usw.
- Single Sign-on in Services auf Basis von JWT-Token implementiert.
- REST APIs und Integrationstools zwischen SelfService, Trino, S3, Datahub und Great Expectations entwickelt.
- Datensynchronisation zwischen S3 und Azure Blob Storage durchgeführt.
- ETL mit PySpark auf Azure Databricks und Pipelines mit pandas, PySpark, Airflow-DAGs entwickelt.
- Services für Datenqualitätsprüfungen und Monitoring-Systeme aufgebaut.
- Abrechnungssystem auf Basis von CPU-, Speicher- und Speichernutzung mit Star Schema erstellt.
- Komplexe Datenmodelle entwickelt (bis zu 5000 Spalten aus mehreren hundert Datenquellen).
- Services und Kunden betreut und unterstützt; geliefert nach AGILE/SCRUM.
- CI/CD: OpenShift (Kubernetes), Helm, Docker, Git, Tekton, ArgoCD, Terraform.
- Datenkataloge und Lineage: Datahub, OpenLineage; Python.
- SQL-Engines: Trino mit Starburst Web UI, PostgreSQL, Hive, DB2, Delta Lake.
- Datenqualität: Great Expectations, Talend.
- Codequalität: SonarQube.
- REST API: Java, Swagger UI, Spring Boot.
- Authentifizierung: JWT, OAuth2, Single Sign-On; Apache Ranger; Prometheus und Grafana
Senior Software Developer (extern)
Otto GmbH & Co KG (via Soorce GmbH)
- Datengetriebene Microservices für die Suchmaschinenoptimierung mit AWS-Services entworfen und implementiert; ETL-Patterns: Daten aus REST API, SQS, DynamoDB einlesen; transformieren; auf S3 oder in eine Datenbank laden.
- Service I (MLOps): OTTO-Seiten bewertet, indem Keywords extrahiert und mit Google-Suchen abgeglichen wurden; Datenaufbereitung, Modelltraining/-retraining und Deployment von GCP nach AWS migriert; Workflows entworfen.
- GitHub Actions für CI/CD und Terraform für das Management von Cloud-Ressourcen genutzt.
- Modellvalidierungen und Tests mit Python implementiert; Modellmonitoring mit Grafana.
- Service S: Millionen von REST-API-Aufrufen pro Stunde mit AsyncIO verarbeitet; verschachteltes JSON geparst; Ergebnisse auf S3 gespeichert.
- Sprachen: Python, Java, TypeScript, Kotlin.
- Monitoring: CloudWatch, Grafana, Tableau.
- Datenbanken: MongoDB, DynamoDB, PostgreSQL, Exasol.
- Nachrichtenverarbeitung: SNS, SQS.
- Provisionierung: Terraform, Pulumi, Serverless (Cloud Foundation).
- Container: Docker, ECR, ECS.
- Unit-Tests: PyTest; Lieferung nach AGILE/SCRUM
Senior Big Data Consultant (extern)
REWE Systems GmbH (via STI GmbH)
- Hybride Umgebungen auf der Google Cloud Platform konzipiert und implementiert.
- Normalisierte Datenmodelle und Spark-ETL-Workflows mit dbt entwickelt und optimiert.
- Data-Warehouse-Modelle auf Hadoop mit Data Vault 2.0 erstellt.
- MapR- und Spark-(Databricks)-Umgebungen auf GCP mit Terraform bereitgestellt; Echtzeit-Datenreplikation von On-Premise nach GCP eingerichtet.
- Mit REWE-Services integriert (Active Directory, DNS, Instana).
- REST API für ML-Modelle mit Flask entwickelt.
- Persistenten Speicher auf Basis von MapR für Kubernetes-Cluster implementiert.
- MapR-Cluster betrieben: Upgrades, Erweiterungen, Fehlerbehebung mit Ansible und Jenkins.
- Kafka-Cluster mit MapR Streams über Kafka Connect synchronisiert.
- ETL-Pipelines, Synchronisation und Integration von MapR mit DB2 und Teradata entworfen.
- Neue interne Kunden onboarded; Management zu Big-Data-Themen beraten; Sicherheitslösungen und PoCs vorgeschlagen.
- Modelle zur Marktkategorisierung entwickelt; Daten mit Jupyter und Grafana visualisiert; in JIRA integriert; geliefert nach AGILE/SCRUM
Senior Big Data Architekt
Allianz Technology SE
- Verwaltete eine große, mandantenfähige, sichere und hochverfügbare Hadoop-Infrastruktur; gab architektonische Beratung, Kapazitätsplanung und Roadmaps für Deployments.
- Führte Pre-Sales-Onboarding durch; arbeitete mit Infrastruktur-, Netzwerk-, Datenbank-, BI- und Data-Science-Teams zusammen.
- Entwarf, implementierte und wartete die unternehmensweite Sicherheit für Hadoop (Kerberos, LDAP/AD, Sentry, Verschlüsselung bei Übertragung und im Ruhezustand).
- Installierte und konfigurierte mandantenfähige Hadoop-Umgebungen; verwaltete Updates, Patches und Upgrades; erstellte Runbooks für Fehlerbehebung und Wartung.
- Leistete DevOps-Support der 3. Ebene; bewertete neue Tools und Technologien.
- Richtete die Plattform für das Training von Data-Science-Modellen mit Microsoft R Open auf Azure und On-Premise mithilfe von Docker und Terraform für die Betrugserkennung ein.
- Entwickelte GraphServer für Supply-Chain-Analytics für HDFS-Graphabfragen.
- Wandelte interne Prozesse zu Agile/SCRUM um.
- Entwickelte Kafka-basierte Use Cases: ClickStream (Java, Kafka, Flink, Cassandra), Dokumentenklassifizierung (Java, Kafka, Spark Streaming, UIMA, Impala), Proof of Concept für eine Graphdatenbank (Java, Python, Kafka, Cassandra, Gremlin, KeyLines)
Systemarchitekt
WebThe unbelievable Machine Operations Company GmbH
Systembetrieb
Werkenntwen GmbH
Postdoc
Bergische Universität Wuppertal
Postdoc
Rheinisch-Westfälische Technische Hochschule Aachen
Branchenerfahrung
Sieh, in welchen Branchen dieser Freelancer den Großteil seiner beruflichen Laufbahn verbracht hat.
Erfahren in Informationstechnologie (IT), Einzelhandel, Bildung, Medien, Unterhaltung und Druck und Versicherung.
Erfahrung nach Fachbereich
Zeigt, in welchen Abteilungen und Funktionen dieser Freelancer am meisten mitgewirkt hat.
Erfahren in Informationstechnologie (IT), Business Intelligence, Forschung und Entwicklung (F&E), Produktentwicklung und Betrieb.
Fähigkeiten
- It: Objektorientierte Programmierung, Datenbanken, Administration, Verteiltes Rechnen, High-Performance-Computing, HochverfüGbarkeit
- Fundierte Kenntnisse In Public Clouds: Aws, Microsoft Azure, Google Cloud Platform
- Infrastructure As Code: Terraform, Ansible, Puppet
- Experte In Hadoop-Stacks: Hortonworks, Mapr, Cloudera, Spark, Kafka, Flume, Storm, Oozie, Sentry, Ranger, Knox, Hbase, Sqoop, Yarn, Mesos, Impala, Hive, Zookeeper, Key Trustee
- Experte In NetzwerkgeräTen: Load Balancer (F5, A10), Switches (Arista, Juniper, Force10), Firewalls (Juniper, Fortigate, Palo Alto), Router (Brocade)
- Programmiersprachen: Python, Java, Sql, Scala, C++, Php, Vba, R, Ruby
- Experte In Sicherheitssystemen Auf Anwendungsebene: Web Application Firewall, Xml-Gateway, Haproxy
- Experte In Datenbanken: Mysql, Postgresql, Objectivity, Oracle, Microsoft Sql Server
- Experte In Linux. Sehr Gute Kenntnisse In Microsoft Windows
- Experte In Mass-Storage-Systemen: Emc Isilon, Scality, Lustre/Sfs, Pnfs, Hadoop, Dcache, Netapp
- Experte In Virtualisierung Und Containerisierung: Kvm, Xen, Vmware, Virtualbox, Vagrant, Docker, Cloudfoundry, Kubernetes, Citrix
- Scms: Git, Svn, Nexus, Cvs
- Experte In Monitoring: Grafana, Prometheus, Nagios, Cacti, Ganglia, Munin, Lemon
- Experte In Statistik: Monte-Carlo, Statistische Tests, ParameterschäTzung, FehlerschäTzung, Klassifikation, Prognose, Entfaltung, Anpassung
- Experte In Technischen Analysen
- Experte In Multivariaten Methoden: Neuronale Netze, Support Vector Machines, Genetische Algorithmen, Gradient Boosting
- Gute Kenntnisse Von Sicherheitsstandards Wie Pci Dss
- Ldap-Authentifizierungssysteme: Activedirectory, Openldap, Apacheds
Sprachen
Ausbildung
Université catholique de Louvain-la-Neuve
PhD-Student · Ottignies-Louvain-la-Neuve, Belgien
Moscow Institute of Physics and Technology
M.S., Hochenergiephysik · Hochenergiephysik · Dolgoprudny, Russische Föderation
Moscow Institute of Physics and Technology
B.S., Hochenergiephysik · Hochenergiephysik · Dolgoprudny, Russische Föderation
Zertifikate & Bescheinigungen
AWS Certified Data Engineer - Associate
Statistiken
Erfahrung
Globale Erfahrung
Fachkenntnisse
Qualifikationen
Profil
Häufig gestellte Fragen
Du hast Fragen? Hier findest du mehr.
Durchschnittlicher Tagessatz für ähnliche Positionen
Die Tagessätze basieren auf aktuellen Projekten und enthalten keine FRATCH-Marge.
Ähnliche Freelancer
Entdecke andere Experten mit ähnlichen Qualifikationen und Erfahrungen
Experten, die kürzlich an ähnlichen Projekten gearbeitet haben
Freelancer mit praktischer Erfahrung in vergleichbaren Projekten als MLOps (machine learning operations)
Freelancer in der Nähe
Fachkräfte, die in oder in der Nähe von München, Deutschland arbeiten
