Siva P.-Data Engineer
Tagessatz prüfen
Erfahrungen
Data Engineer
Scania AB
- Entwickelte und wartete ETL/ELT-Datenpipelines zur Verarbeitung stündlicher Batch-Daten von IoT-Geräten. Dabei wurden täglich Millionen von Ereignissen mit einer Zuverlässigkeit von 99.9% verarbeitet. Implementierte Datenqualitätsprüfungen und automatisierte Monitoring-Frameworks, um die durchgängige Datengenauigkeit sicherzustellen.
- Entwarf die AWS- und Databricks-Dateninfrastruktur auf Basis der Medallion Architecture (Bronze/Silver/Gold-Ebenen) und entwickelte einen skalierbaren Data Lake auf Amazon S3 für Data Scientists, Analysten und nachgelagerte BI-Teams.
- Entwickelte PySpark-Anwendungen in AWS Databricks zur Extraktion, Transformation und Aggregation von Daten in den Formaten JSON, Parquet und Avro. Optimierte Spark-Jobs und verkürzte die Verarbeitungszeit um 40%.
- Implementierte Echtzeit-Datenpipelines mit AWS MSK (Apache Kafka) und Python- sowie Go-Consumer-Anwendungen. Entwickelte Lösungen für den Umgang mit Backpressure und SLA-Monitoring, um die Zuverlässigkeit bei großen Datenmengen sicherzustellen.
- Verwaltete produktive EKS- (Kubernetes-)Cluster für Microservices zur Datenverarbeitung. Implementierte GitLab CI/CD-Pipelines mit automatisierten Tests und Bereitstellungen und verkürzte die Bereitstellungszeit um 40%.
- Entwarf und wartete die AWS-Datenplattform mit Infrastructure as Code unter Verwendung von Terraform. Automatisierte die Bereitstellung in Dev-, Staging- und Produktionsumgebungen mit Zustandsverwaltung und wiederverwendbaren Modulen.
- Entwickelte umfassendes Monitoring und Observability mit Datadog, Prometheus und Grafana. Erstellte individuelle Dashboards für den Zustand der Pipelines, Datenqualitäts-KPIs und die Überwachung von SLAs.
- Arbeitete in agilen 2-Wochen-Sprints mit Data Scientists, QA Engineers und Product Managern zusammen. Beteiligte sich an Architekturprüfungen, Sprintplanung und technischen Design-Sitzungen und arbeitete selbstständig mit durchgängiger Verantwortung für Lösungen.
Data Engineer
CEVT (China Euro Vehicle Technology)
- Entwarf und implementierte durchgängige Datenpipelines auf Azure mit Azure Data Factory, Azure Databricks, Azure Synapse Analytics und Apache Kafka. Entwickelte Batch-Datenabläufe zur Verarbeitung großer Datensätze mit automatischer Skalierung, Fehlerbehandlung und Wiederholungslogik.
- Entwickelte Python-basierte ETL/ELT-Jobs mit Azure-Databricks-Notebooks und Delta Live Tables für die Datenaufnahme, Transformation und Bereitstellung. Integrierte sie mit dem Data Warehouse Azure Synapse Analytics für Analysen und Berichte zur Unterstützung der BI-Teams.
- Entwickelte ereignisgesteuerte Streaming-Pipelines mit Azure Functions und Apache Kafka. Implementierte Echtzeit-Datenaggregation und Streaming-Analysen für IoT-Sensordaten mit Kafka Streams und Databricks Structured Streaming.
- Verwaltete AKS-Cluster (Azure Kubernetes Service) für Datenverarbeitungsaufgaben. Entwickelte Helm-Charts zur Standardisierung von Bereitstellungen, für automatische Skalierungsrichtlinien und zur Ressourcenoptimierung.
- Entwarf Terraform Infrastructure as Code für die Azure-Databricks-Datenplattform. Automatisierte die Bereitstellung von Umgebungen (Dev, Staging, Produktion) mit Zustandsverwaltung und wiederverwendbaren Modulen.
- Implementierte GitLab CI/CD-Pipelines mit automatisierten Tests und Bereitstellungen.
- Entwickelte Monitoring und Observability mit Prometheus und Grafana. Erstellte Dashboards für Kennzahlen zu Datenpipelines, Datenqualitätsüberwachung und den Zustand der Infrastruktur.
Data Engineer
Swedbank
- Entwarf und wartete skalierbare Data-Warehouse- und Lakehouse-Architekturen auf Azure Synapse Analytics und MS Fabric für unternehmensweite Finanzanalysen und Berichte.
- Implementierte robuste ETL/ELT-Datenpipelines mit Python, PySpark, SQL und PowerShell für die Datenaufnahme, Transformation und Bereitstellung. Stellte Datenqualität, Konsistenz und Sicherheit in allen Phasen des Datenlebenszyklus sicher.
- Entwarf und implementierte modulare ELT-Pipelines mit DBT und wandelte rohe Finanzdaten mithilfe wiederverwendbarer DBT-Modelle, Tests und Dokumentation in aufbereitete analytische Datensätze um.
- Automatisierte die Datenorchestrierung mit Azure Data Factory in Verbindung mit Snowflake-Aufgaben und DBT-Workflows. Stellte eine zuverlässige und effiziente Datenverarbeitung mit vollständiger Nachvollziehbarkeit und Herkunftsverfolgung sicher.
- Stellte Data Governance, Datensicherheit und Compliance für alle Datenprodukte gemäß den regulatorischen Anforderungen des Finanzsektors sicher.
DevOps
Credit Suisse
- Entwickelte Datenpipelines mit Cloud Composer (Apache Airflow), BigQuery-Data-Warehouse-Lösungen, Terraform IaC und containerisierten Daten-Workloads auf GKE.
- Implementierte Monitoring mit Prometheus und Grafana, um die Stabilität der Datenpipelines sicherzustellen.
Infrastructure Automation Engineer
IKEA AB
- Entwarf und verwaltete Produktions- und Vorproduktionsumgebungen für eine stark frequentierte E-Commerce-Plattform.
- Automatisierte die Bereitstellung von Anwendungen und die Bereitstellung der Infrastruktur.
- Implementierte Monitoring und Alarmierung für hochverfügbare Systeme.
Middleware-Administrator
ICA, Telstra, Amdocs
- Administrierte SOA Suite und WebLogic/Oracle-Anwendungsserver.
- Wartete Produktionsumgebungen und behob Störungen.
- Optimierte die Leistung und administrierte Datenbanken.
Java-Entwickler
Thomson Reuters, Puma
- Entwickelte Full-Stack-Java-Anwendungen mit JSP, HTML und JavaScript.
- Entwarf Datenbanken und entwickelte SQL für Webanwendungen in Unternehmen.
- Verwaltete Daten für Webanwendungen in Unternehmen.
Branchenerfahrung
Sieh, in welchen Branchen dieser Freelancer den Großteil seiner beruflichen Laufbahn verbracht hat.
Erfahren in Einzelhandel, Informationstechnologie (IT), Telekommunikation, Medien, Unterhaltung und Druck, Sport und Freizeit und Automotive.
Erfahrung nach Fachbereich
Zeigt, in welchen Abteilungen und Funktionen dieser Freelancer am meisten mitgewirkt hat.
Erfahren in Informationstechnologie (IT) und Business Intelligence.
Zusammenfassung
Senior Data Engineer und IT-Berater mit über 19 Jahren Berufserfahrung in der IT und über 6 Jahren spezialisierter Erfahrung in Data Engineering, Cloud-Plattformen und modernen Daten-Stack-Technologien. Nachweisliche Erfolge bei der Entwicklung, dem Aufbau und der Wartung skalierbarer ETL/ELT-Datenpipelines, die Millionen von IoT-Ereignissen und große Batch-Datenmengen in AWS- und Azure-Cloud-Umgebungen verarbeiten.
Cloud-Experte für AWS (Glue, Athena, S3, MSK) und Azure (Databricks, Data Factory, Synapse Analytics, Delta Lake) mit umfassender praktischer Erfahrung in Apache Spark, Apache Kafka, Python, SQL und DBT. Fundierte Kenntnisse in Data-Warehouse-Design, dimensionaler Modellierung, Data Governance und Leistungsoptimierung. Liefert zuverlässig produktionsreife Infrastrukturen für Batch-Verarbeitung, Echtzeit-Streaming und große Datenpipelines in agilen, sprintbasierten Umgebungen – mit Verantwortung für Lösungen von der Architektur bis zur Bereitstellung.
Fähigkeiten
- Cloud-Plattformen: Aws (Msk, S3, Glue, Athena, Rds, Lambda, Eks), Azure (Databricks, Data Factory, Synapse Analytics, Aks, Adls Gen2)
- Data Engineering: Etl/Elt-Pipelines, Apache Kafka, Apache Spark, Pyspark, Delta Lake, Delta Live Tables, Dbt, Apache Airflow, Databricks Structured Streaming
- Programmiersprachen & Tools: Python, Sql, Pyspark, Go, Powershell, Terraform, Helm, Kubernetes, Gitlab Ci/Cd
- Daten & Analysen: Datenmodellierung, Dimensionale Modellierung, Data Warehousing, DatenqualitäT, Data Governance, Medallion Architecture (Bronze/Silver/Gold)
- Monitoring & Observability: Datadog, Prometheus, Grafana
- Methoden: Agile, Scrum, Kanban, Waterfall.
Sprachen
Ausbildung
University of Madras
Master of Computer Applications · Computeranwendungen · Chennai, Indien
Sri Venkateswara University
Bachelor of Computer Science · Informatik · Tirupati, Indien
Statistiken
Erfahrung
Globale Erfahrung
Fachkenntnisse
Qualifikationen
Häufig gestellte Fragen
Du hast Fragen? Hier findest du mehr.
Siva spricht folgende Sprachen: Englisch (Verhandlungssicher), Schwedisch (Grundkenntnisse).
Siva hat mindestens 20 Jahre Erfahrung. In dieser Zeit hat Siva in mindestens 5 verschiedenen Rollen und für 7 verschiedene Firmen gearbeitet. Die durchschnittliche Dauer der einzelnen Projekte beträgt 3 Jahre und 10 Monate. Beachten Sie, dass Siva möglicherweise nicht alle Erfahrungen geteilt hat und tatsächlich mehr Erfahrung hat.
Basierend auf der jüngsten Erfahrung wäre Siva gut geeignet für Rollen wie: Data Engineer, DevOps, Infrastructure Automation Engineer.
Die neueste Position von Siva ist Data Engineer bei Scania AB.
In den letzten Jahren hat Siva für Scania AB, CEVT (China Euro Vehicle Technology) und Swedbank gearbeitet.
Siva hat die meiste Erfahrung in Industrien wie Einzelhandel, Informationstechnologie (IT) und Telekommunikation. Siva hat auch etwas Erfahrung in Medien, Unterhaltung und Druck, Sport und Freizeit und Automotive.
Siva hat die meiste Erfahrung in Bereichen wie Informationstechnologie (IT) und Business Intelligence.
Siva hat kürzlich in Industrien wie Automotive und Bank- und Finanzwesen gearbeitet.
Siva hat kürzlich in Bereichen wie Business Intelligence und Informationstechnologie (IT) gearbeitet.
Siva hat einen Master in Computeranwendungen von University of Madras und einen Bachelor in Informatik von Sri Venkateswara University.
Siva ist sofort verfügbar für passende Projekte.
Ähnliche Freelancer
Entdecke andere Experten mit ähnlichen Qualifikationen und Erfahrungen
Jan K.
Serge K.
Jorge M.
Alexander Z.
Umar M.
Christian S.
Pappu P.
Louis G.
Niko S.
Felix B.
Experten, die kürzlich an ähnlichen Projekten gearbeitet haben
Freelancer mit praktischer Erfahrung in vergleichbaren Projekten als Data Engineer
Tom O.
Marc M.
Simona T.
Tan P.
Nagaraju A.
Stephan S.
Stephan F.
Vili D.
Jorge M.
Michael F.
