Siva Prasad-Dateningenieur

• Aufbau und Wartung von ETL/ELT-Datenpipelines zur stündlichen Verarbeitung von Batch-Daten aus IoT-Geräten, die täglich Millionen von Ereignissen mit 99,9% Zuverlässigkeit verarbeiten; Implementierung von Datenqualitätsprüfungen und automatisierten Monitoring-Frameworks zur Sicherstellung der End-to-End-Datenintegrität.
• Entwurf und Implementierung der AWS- und Databricks-Dateninfrastruktur unter Anwendung der Medallion-Architektur (Bronze/Silver/Gold); Gestaltung eines skalierbaren Data Lakes auf Amazon S3 zur Unterstützung von Data Scientists, Analysten und nachgelagerten BI-Teams.
• Entwicklung von PySpark-Anwendungen in AWS Databricks für Datenextraktion, -transformation und -aggregation aus JSON-, Parquet- und Avro-Formaten; Optimierung von Spark-Jobs zur Verkürzung der Verarbeitungszeit um 40%.
• Implementierung von Echtzeit-Daten-Ingestion-Pipelines mit AWS MSK (Apache Kafka) unter Verwendung von Python- und Go-Consumer-Anwendungen; Entwicklung von Backpressure-Handling und SLA-Monitoring zur Gewährleistung der Zuverlässigkeit bei großen Datenvolumina.
• Verwaltung von produktiven EKS (Kubernetes)-Clustern für Data-Processing-Microservices; Implementierung von GitLab CI/CD-Pipelines mit automatisiertem Testing und Deployment, wodurch die Bereitstellungszeit um 40% reduziert wurde.
• Entwurf und Pflege von Infrastructure as Code mit Terraform für die AWS-Datenplattform; Automatisierte Bereitstellung in Entwicklungs-, Staging- und Produktionsumgebungen mit State-Management und wiederverwendbaren Modulen.
• Aufbau eines umfassenden Monitoring- und Observability-Stacks mit Datadog, Prometheus und Grafana; Erstellung individueller Dashboards zur Überwachung der Pipeline-Gesundheit, KPIs zur Datenqualität und SLA-Überwachung.
• Zusammenarbeit mit Data Scientists, QA-Ingenieuren und Product Managern in agilen zweiwöchigen Sprints; Mitwirkung an Architektur-Reviews, Sprint-Planung und technischen Design-Sessions, dabei eigenständige End-to-End-Verantwortung übernehmend.

• Entwurf und Pflege skalierbarer Data-Warehouse- und Lakehouse-Architekturen auf Azure Synapse Analytics und MS Fabric zur Unterstützung unternehmensweiter Finanzanalysen und -berichterstattung.
• Implementierung robuster ETL/ELT-Datenpipelines mit Python, PySpark, SQL und PowerShell für Datenaufnahme, Transformation und Laden; Sicherstellung von Datenqualität, Konsistenz und Sicherheit über alle Phasen des Daten-Lebenszyklus.
• Entwurf und Implementierung modularer ELT-Pipelines mit DBT zur Umwandlung roher Finanzdaten in aufbereitete analytische Datensätze mittels wiederverwendbarer DBT-Modelle, Tests und Dokumentation.
• Automatisierung der Datenorchestrierung mit Azure Data Factory, integriert mit Snowflake-Tasks und DBT-Workflows; Gewährleistung einer zuverlässigen und effizienten Datenverarbeitung mit vollständiger Auditierbarkeit und Lineage.
• Sicherstellung von Daten-Governance, Datensicherheit und Compliance für alle Datenprodukte entsprechend den aufsichtsrechtlichen Anforderungen im Finanzbereich.

• Automatisierung der Produktionsinfrastruktur für eine stark frequentierte E-Commerce-Plattform: Entwurf und Verwaltung von Produktions- und Vorproduktionsumgebungen, Automatisierung von Anwendungsdeployments und Infrastruktur-Bereitstellung sowie Implementierung von Monitoring und Alerting für hochverfügbare Systeme.

Full-Stack Java-Entwicklung (JSP, HTML, JavaScript); Datenbankdesign, SQL-Entwicklung und Datenverwaltung für Enterprise-Webanwendungen.