Elvijs Pārpucis-Senior Dateningenieur
Tagessatz prüfen
Erfahrungen
Senior Dateningenieur
SolutionLab
- Entwarf und implementierte skalierbare ETL/ELT-Datenpipelines mit Python, SQL und Spark (EMR/Databricks) zur Verarbeitung groß angelegter Batch- und Streaming-Datensätze für Analytics- und Berichtssysteme.
- Entwarf und optimierte Cloud-Data-Warehouse-Lösungen (Snowflake, Redshift, BigQuery, Azure ADX), einschließlich Schema-Design, Datenmodellierung (Star-/Snowflake-/Medallion-Modelle) und Abfrageoptimierung.
- Entwickelte und wartete Echtzeit- und Batch-Datenaufnahmepipelines mit Kafka, Kinesis, Azure Data Factory, AWS Glue und Pub/Sub zur Unterstützung der Datenverarbeitung mit hohem Volumen und geringer Latenz.
- Entwarf und implementierte Echtzeit-Event-Streaming-Pipelines mit Apache Flink und Kafka, um die Live-Verfolgung des Nutzerverhaltens zu ermöglichen und die Bereitstellung personalisierter Funktionen zu unterstützen.
- Implementierte Workflow-Orchestrierung und Scheduling-Systeme mit Apache Airflow, Prefect, AWS Step Functions und Kubernetes-Jobs für zuverlässige Datenprozesse.
- Etablierte Data-Governance-, Qualitäts- und Observability-Frameworks auf Unternehmensniveau mit Great Expectations, Soda, Monte Carlo, Prometheus, Grafana und ELK-Stack.
- Entwarf und pflegte Datenmodelle, Data Warehouses und Analytics-Marts zur Unterstützung von BI-Dashboards und Reporting-Tools wie Power BI und Tableau.
- Führte Systemoptimierung, Kostenoptimierung und Performance-Engineering durch, einschließlich Abfrageoptimierung, Speichereffizienz und Reduzierung der Compute-Kosten in verteilten Cloud-Systemen.
Dateningenieur
Deloitte
- Entwarf und implementierte skalierbare End-to-End-Daten-Pipelines (ETL/ELT) mit Python, SQL und Apache Spark (EMR/Databricks) zur Verarbeitung von Transaktions- und Verhaltensdaten mit hohem Volumen.
- Erstellte und optimierte AWS-basierte Datenarchitekturen (S3, Glue, Lambda, Kinesis, Redshift), die zuverlässige Aufnahme, Speicherung, Transformation und Analysen im großen Maßstab ermöglichen.
- Entwickelte und wartete orchestrierte Workflows mit Apache Airflow und AWS Step Functions, die fehlertolerante, zeitgesteuerte und beobachtbare Datenverarbeitungs-Pipelines gewährleisten.
- Entwickelte robuste Datenmodelle (Star-Schema, dimensionale Modellierung, analytische Data Marts) zur Unterstützung von BI-Dashboards, Reporting und Self-Service-Analysen für verschiedene Fachbereiche.
- Implementierte Infrastructure as Code (Terraform/CloudFormation) und integrierte CI/CD-Pipelines (Jenkins, CircleCI), um Deployments zu automatisieren und die Systemzuverlässigkeit zu verbessern.
- Etablierte Data-Quality-Frameworks, Monitoring-, Logging- und Alerting-Systeme, wodurch Datenqualität, Pipeline-Observability und Produktionsstabilität verbessert wurden.
- Arbeitete mit Produkt-, Entwicklungs-, Analyse- und ML-Teams zusammen, um den Datenzugriff zu standardisieren, das Feature-Engineering zu unterstützen und Machine-Learning- sowie Analyse-Workloads zu ermöglichen.
- Führte SQL-Performance-Tuning und Big-Data-Optimierung durch, verbesserte Abfrageeffizienz und verkürzte die Verarbeitungszeit großer Datensätze in Cloud-Warehouses (Redshift/Snowflake/BigQuery).
Datenwissenschaftler
Zabbix
- Leitete die End-to-End-Entwicklung von Machine-Learning- und statistischen Modellen in Python (pandas, scikit-learn), einschließlich Problemdefinition, Feature Engineering, Training, Evaluation und Produktionseinführung.
- Entwarf und führte strukturierte Experimente (A/B-Tests, Hypothesentests, kausale Inferenzmethoden) durch, um die Wirksamkeit der Modelle zu bewerten und datenbasierte Entscheidungen zu optimieren.
- Führte tiefgehende explorative Datenanalyse (EDA) an großen, unstrukturierten Datensätzen durch, um Muster aufzudecken, Datenqualitätsprobleme zu erkennen und entscheidende Prädiktoren zu identifizieren.
- Entwickelte und optimierte Datenpipelines mit SQL und Big-Data-Frameworks (Spark, Hadoop), um skalierbare Feature-Generierung und Datenverarbeitung mit hohem Volumen zu unterstützen.
- Entwickelte und implementierte Deep-Learning-Modelle (CNN, RNN, LSTM) mit TensorFlow, Keras und PyTorch für komplexe prädiktive und Mustererkennungsaufgaben.
- Entwickelte und wartete nachrichtenbasierte Datenaufnahmepipelines mit RabbitMQ, die asynchrone, skalierbare und zuverlässige Datenübertragung in verteilten Systemen ermöglichen.
- Arbeitete mit interdisziplinären Teams (Produkt, Entwicklung, Marketing, Stakeholder) zusammen, um ML-Lösungen in Produktivsysteme zu integrieren und messbare Geschäftsergebnisse zu erzielen.
Datenanalyst
SIDC Group Ltd
- Verwendete SQL, Python, Excel und Power Query zur Analyse groß angelegter Datensätze zu SKU-Leistung, Kostenstrukturen, Servicelevels und Reporting-KPIs in mehreren Märkten.
- Entwarf und baute ETL-Datenpipelines mit Python und Apache Spark, um die zuverlässige Verarbeitung groß angelegter strukturierter Unternehmensdatensätze für Reporting, Analytics und Business Intelligence zu ermöglichen.
- Entwarf und pflegte Frameworks zur Datenvalidierung für Lieferantenrechnungen, um finanzielle Genauigkeit, operative Effizienz und geringere Abweichungen sicherzustellen.
- Verwaltete und optimierte relationale und verteilte Datenplattformen, darunter PostgreSQL und Hive, um Reporting mit hohem Datenvolumen und umfangreiche historische Datenverarbeitung zu unterstützen.
Branchenerfahrung
Sieh, in welchen Branchen dieser Freelancer den Großteil seiner beruflichen Laufbahn verbracht hat.
Erfahren in Informationstechnologie (IT) und Professionelle Dienstleistungen.
Erfahrung nach Fachbereich
Zeigt, in welchen Abteilungen und Funktionen dieser Freelancer am meisten mitgewirkt hat.
Erfahren in Business Intelligence und Informationstechnologie (IT).
Zusammenfassung
Senior Dateningenieur & Datenwissenschaftler mit über 10 Jahren Erfahrung in der Planung und dem Aufbau groß skalierter verteilter Datensysteme, Echtzeit-Streaming-Architekturen und cloud-nativer KI/ML-Datenplattformen in den Bereichen Fintech, Gesundheitswesen, SaaS und E-Commerce. Ausgeprägte Expertise in Python, SQL, Apache Spark, Flink, Kafka, Airflow, Databricks, Snowflake, TensorFlow, PyTorch, AWS, Azure und GCP sowie tiefe Erfahrung in der Entwicklung von ETL/ELT-Pipelines für Batch- und Streaming-Workloads. Versiert im Umgang mit modernen Data-Lake- und Analytics-Ökosystemen wie Trino, ClickHouse, HDFS und S3-kompatiblen Speichern mit Schwerpunkt auf Leistung, Skalierbarkeit und Zuverlässigkeit. Erfahren mit containerisierten und cloud-nativen Infrastrukturen unter Einsatz von Kubernetes, Docker, CI/CD-Pipelines und GitOps (Argo CD). Nachweisliche Fähigkeit, End-to-End-Lösungen im Data Engineering, für Machine-Learning-Systeme, MLOps-Workflows und Echtzeitanalysen bereitzustellen, die das Unternehmenswachstum, die operative Effizienz und datenbasierte Entscheidungsfindung vorantreiben.
Fähigkeiten
- Programmiersprachen: Python (Pandas, Numpy, Matplotlib), Sql, Java, Bash, Shell-Scripting, Yaml
- Data Engineering & Pipelines: Etl/Elt-Design, Batch- Und Echtzeit-Streaming, Datenmodellierung, Data Warehousing, Lakehouse-Architekturen, Datenintegration, Datentransformation
- Big Data & Verteilte Systeme: Apache Spark, Flink, Kafka, Rabbitmq, Hadoop (Hive, Hdfs), Trino, Clickhouse, Databricks, Airflow, Dbt, Prefect
- Analysetools: Tableau, Power Bi, Looker, Google Data Studio
- Cloud-Plattformen & Datenservices: Aws (S3, Glue, Lambda, Redshift, Athena), Azure (Data Factory, Synapse), Gcp (Bigquery, Pub/Sub, Cloud Storage)
- Datenbanken & Speicher: Postgresql, Mysql, Cassandra, Redis, Snowflake, Data Lakes (S3, Hdfs, Ceph)
- Devops & Ci/Cd: Docker, Kubernetes, Terraform, Helm, Argo Cd, Jenkins, Infrastructure As Code (Iac), Ci/Cd
- Monitoring & ZuverläSsigkeit: Prometheus, Grafana, Elk-Stack, Cloudwatch, Logging, Alerting, Performance-Tuning
- Ki/Ml-Datenengineering & Tools: Feature Engineering, Ml-Pipelines, Ki-Datenpipelines, Sagemaker, Git, Agile, Sdlc, Jira, Confluence, Ki-GestüTzte Tools (Cursor, Claude, Github Copilot)
Sprachen
Ausbildung
Technische Universität Riga
Bachelor-Abschluss · Informatik · Riga, Lettland
Statistiken
Erfahrung
Globale Erfahrung
Fachkenntnisse
Qualifikationen
Profil
Häufig gestellte Fragen
Du hast Fragen? Hier findest du mehr.
Durchschnittlicher Tagessatz für ähnliche Positionen
Die Tagessätze basieren auf aktuellen Projekten und enthalten keine FRATCH-Marge.
Ähnliche Freelancer
Entdecke andere Experten mit ähnlichen Qualifikationen und Erfahrungen
Experten, die kürzlich an ähnlichen Projekten gearbeitet haben
Freelancer mit praktischer Erfahrung in vergleichbaren Projekten als Senior Dateningenieur
Freelancer in der Nähe
Fachkräfte, die in oder in der Nähe von Riga, Lettland arbeiten
