Siva Prasad-Dateningenieur
Tagessatz prüfen
Erfahrungen
Data Engineer
Scania AB
- Aufbau und Wartung von ETL/ELT-Datenpipelines zur Verarbeitung stündlicher Batch-Daten von IoT-Geräten, die täglich Millionen von Ereignissen mit 99,9 % Zuverlässigkeit verarbeiten; Implementierung von Data-Quality-Checks und automatisierten Monitoring-Frameworks zur Sicherstellung der durchgehenden Datenintegrität.
- Entwurf der Dateninfrastruktur auf AWS und Databricks mit Implementierung der Medallion-Architektur (Bronze/Silver/Gold-Layer); Gestaltung eines skalierbaren Data Lakes auf Amazon S3 zur Unterstützung von Data Scientists, Analysten und nachgelagerten BI-Teams.
- Entwicklung von PySpark-Anwendungen in AWS Databricks zur Datenextraktion, -transformation und -aggregation aus JSON-, Parquet- und Avro-Formaten; Optimierung von Spark-Jobs zur Reduzierung der Verarbeitungszeit um 40 %.
- Implementierung von Echtzeit-Dateningestionspipelines mit AWS MSK (Apache Kafka) und Python- sowie Go-Consumer-Anwendungen; Aufbau von Backpressure-Handling und SLA-Monitoring zur Gewährleistung der Zuverlässigkeit bei großen Datenmengen.
- Betrieb von Produktions-EKS-(Kubernetes-)Clustern für datenverarbeitende Microservices; Implementierung von GitLab-CI/CD-Pipelines mit automatisierten Tests und Deployments zur Verringerung der Bereitstellungszeit um 40 %.
- Entwurf und Pflege von Infrastructure as Code mit Terraform für die AWS-Datenplattform; Automatisierung der Bereitstellung in Entwicklungs-, Test- und Produktionsumgebungen mit State-Management und wiederverwendbaren Modulen.
- Aufbau eines umfassenden Monitorings und Observability mit Datadog, Prometheus und Grafana; Erstellung benutzerdefinierter Dashboards für Pipeline-Gesundheit, Data-Quality-KPIs und SLA-Tracking.
- Zusammenarbeit mit Data Scientists, QA-Ingenieuren und Product Managern in agilen zweiwöchigen Sprints; Beitrag zu Architektur-Reviews, Sprint-Planung und technischen Design-Sessions mit eigenständigem End-to-End-Verantwortungsbereich.
Data Engineer
CEVT (China Euro Vehicle Technology)
- Entwurf und Implementierung von End-to-End-Datenpipelines auf Azure mit Azure Data Factory, Azure Databricks, Azure Synapse Analytics und Apache Kafka; Gestaltung von Batch-Daten-Workflows zur Verarbeitung großer Datensätze mit automatischer Skalierung, Fehlerbehandlung und Retry-Logik.
- Entwicklung Python-basierter ETL/ELT-Jobs mit Azure Databricks-Notebooks und Delta Live Tables für Datenaufnahme, -transformation und -laden; Integration mit dem Azure Synapse Analytics Data Warehouse für Analytics und Reporting zur Unterstützung von BI-Teams.
- Aufbau ereignisgesteuerter Streaming-Pipelines mit Azure Functions und Apache Kafka; Implementierung von Echtzeit-Datenaggregation und Streaming-Analytics für IoT-Sensordaten mit Kafka Streams und Databricks Structured Streaming.
- Betrieb von AKS-(Azure Kubernetes Service)-Clustern für datenverarbeitende Workloads; Implementierung von Helm Charts zur Standardisierung von Deployments, Auto-Scaling-Richtlinien und Ressourcenoptimierung.
- Entwurf von Terraform Infrastructure as Code für die Azure Databricks-Datenplattform; Automatisierung der Bereitstellung von Dev-, Staging- und Produktionsumgebungen mit State-Management und wiederverwendbaren Modulen.
- Implementierung von GitLab-CI/CD-Pipelines mit automatisierten Tests und Deployments.
- Aufbau einer Monitoring- und Observability-Stack mit Prometheus und Grafana; Erstellung von Dashboards für Datenpipeline-Metriken, Data-Quality-Monitoring und Infrastruktur-Health-Tracking.
Data Engineer
Swedbank
- Entwurf und Pflege skalierbarer Data-Warehouse- und Lakehouse-Architekturen auf Azure Synapse Analytics und MS Fabric zur Unterstützung unternehmensweiter Finanz-Analytics und Reporting.
- Implementierung robuster ETL/ELT-Datenpipelines mit Python, PySpark, SQL und PowerShell für Datenaufnahme, -transformation und -laden; Durchsetzung von Datenqualität, Konsistenz und Sicherheit über alle Phasen des Datenlebenszyklus hinweg.
- Entwurf und Implementierung modularer ELT-Pipelines mit DBT: Umwandlung roher Finanzdaten in aufbereitete analytische Datensätze mit wiederverwendbaren DBT-Modellen, Tests und Dokumentation.
- Automatisierung der Datenorchestrierung mit Azure Data Factory, integriert mit Snowflake-Tasks und DBT-Workflows; Gewährleistung einer zuverlässigen und effizienten Datenverarbeitung mit vollständiger Nachvollziehbarkeit und Data Lineage.
- Sicherstellung von Data Governance, Datensicherheit und Compliance aller Datenprodukte gemäß den finanziellen Regulierungsanforderungen.
DevOps
Credit Suisse
- Aufbau von Datenpipelines mit Cloud Composer (Apache Airflow), BigQuery-Data-Warehouse-Lösungen, Terraform IaC und containerisierten Datenworkloads, verwaltet von GKE.
- Implementierung von Prometheus- und Grafana-Monitoring zur Sicherstellung der Stabilität der Datenpipelines.
Infrastructure Automation Engineer
IKEA AB
- Entwurf und Verwaltung von Produktions- und Vorproduktionsumgebungen für eine stark frequentierte E-Commerce-Plattform.
- Automatisierung von Anwendungs-Deployments und Infrastruktur-Bereitstellung.
- Implementierung von Monitoring und Alerting für hochverfügbare Systeme.
Middleware-Administrator
ICA, Telstra, Amdocs
- Administrierte SOA-Suite- und WebLogic/Oracle-Anwendungsserver.
- Wartete Produktionsumgebungen und behob Vorfälle.
- Optimierte Leistung und administrierte Datenbanken.
Java-Entwickler
Thomson Reuters, Puma
- Entwickelte Full-Stack-Java-Anwendungen mit JSP, HTML und JavaScript.
- Entwarf Datenbanken und entwickelte SQL für Unternehmens-Webanwendungen.
- Verwaltete Daten für Unternehmens-Webanwendungen.
Branchenerfahrung
Sieh, in welchen Branchen dieser Freelancer den Großteil seiner beruflichen Laufbahn verbracht hat.
Erfahren in Einzelhandel, Informationstechnologie (IT), Telekommunikation, Medien, Unterhaltung und Druck, Sport und Freizeit und Automotive.
Erfahrung nach Fachbereich
Zeigt, in welchen Abteilungen und Funktionen dieser Freelancer am meisten mitgewirkt hat.
Erfahren in Informationstechnologie (IT) und Business Intelligence.
Zusammenfassung
Senior Data Engineer und IT-Berater mit über 19 Jahren wachsender IT-Erfahrung und mehr als 6 Jahren spezialisierter Expertise in Data Engineering, Cloud-Plattformen und modernen Data-Stack-Technologien. Nachweisliche Erfolge im Entwerfen, Aufbau und der Wartung skalierbarer ETL/ELT-Datenpipelines, die Millionen von IoT-Ereignissen und umfangreiche Batch-Daten in AWS- und Azure-Cloud-Umgebungen verarbeiten.
Zweifach-Cloud-Experte in AWS (Glue, Athena, S3, MSK) und Azure (Databricks, Data Factory, Synapse Analytics, Delta Lake) mit umfassender praktischer Erfahrung in Apache Spark, Apache Kafka, Python, SQL und DBT. Solide Grundlagen in Data-Warehouse-Design, dimensionalem Modellieren, Daten-Governance und Performance-Optimierung. Liefert konstant produktionsreife Infrastruktur für Batch-Verarbeitung, Echtzeit-Streaming und groß angelegte Datenpipelines in agilen, sprintbasierten Umgebungen – übernimmt Lösungen von der Architektur bis zur Bereitstellung eigenverantwortlich.
Fähigkeiten
- Cloud-plattformen: Aws (Msk, S3, Glue, Athena, Rds, Lambda, Eks), Azure (Databricks, Data Factory, Synapse Analytics, Aks, Adls Gen2)
- Daten-engineering: Etl/elt-pipelines, Apache Kafka, Apache Spark, Pyspark, Delta Lake, Delta Live Tables, Dbt, Apache Airflow, Databricks Structured Streaming
- Sprachen & Tools: Python, Sql, Pyspark, Go, Powershell, Terraform, Helm, Kubernetes, Gitlab Ci/cd
- Daten & Analytics: Data Modeling, Dimensional Modeling, Data Warehousing, Data Quality, Data Governance, Medallion Architecture (Bronze/silver/gold)
- Monitoring & Beobachtung: Datadog, Prometheus, Grafana
- Methoden: Agile, Scrum, Kanban, Wasserfall.
Sprachen
Ausbildung
University of Madras
Master in Computeranwendungen · Computeranwendungen · Chennai, Indien
Sri Venkateswara University
Bachelor in Informatik · Informatik · Tirupati, Indien
Statistiken
Erfahrung
Globale Erfahrung
Fachkenntnisse
Qualifikationen
Profil
Häufig gestellte Fragen
Du hast Fragen? Hier findest du mehr.
Welche Sprachen spricht Siva?
Wie viele Jahre Erfahrung hat Siva?
Für welche Rollen wäre Siva am besten geeignet?
Was ist das neueste Projekt von Siva?
Für welche Unternehmen hat Siva in den letzten Jahren gearbeitet?
In welchen Industrien hat Siva die meiste Erfahrung?
In welchen Bereichen hat Siva die meiste Erfahrung?
In welchen Industrien hat Siva kürzlich gearbeitet?
In welchen Bereichen hat Siva kürzlich gearbeitet?
Was ist die Ausbildung von Siva?
Wie ist die Verfügbarkeit von Siva?
Wie hoch ist der Stundensatz von Siva?
Wie kann man Siva beauftragen?
Ähnliche Freelancer
Entdecke andere Experten mit ähnlichen Qualifikationen und Erfahrungen
Experten, die kürzlich an ähnlichen Projekten gearbeitet haben
Freelancer mit praktischer Erfahrung in vergleichbaren Projekten als Data Engineer
