Web-Scraping-Experten in Deutschland

agentic-engineer.online ist meine öffentlich testbare Live-Demo und zugleich die Plattform, auf der ich meine Arbeit zeige. Ursprünglich als Recruitment-Probearbeit entstanden, betreibe ich sie seither als eigenes Demo-, Lern- und Produktprojekt weiter — auf einem Hetzner-VPS hinter einem Cloudflare-Tunnel, über eine mehrstufige, AI-orchestrierte Deploy-Pipeline mit Snapshot-Rollback. Bricht ein Deploy-Schritt, fällt das System auf den letzten sauberen Snapshot zurück, das Skript wird angepasst, der Test wiederholt — empirisch, test-getrieben, ohne Hand-Tuning.

• Technisch dahinter: Python und FastAPI, eine OpenRouter-Modell-Kaskade, SQLite-Persistenz und Cloudflare-Edge-Tuning.
• Ich bin Entwickler und strengster Kunde meiner eigenen KI-Arbeit in einer Person — aus dem Prototyp ist ein Werkzeug geworden, das ich täglich nutze und gegen das ich eigene Produkte teste.

• Einsatz von KI-Tools (ChatGPT Pro, Google Gemini Plus, Claude Pro, Make.com Pro, n8n, Sora, Google Veo3, Octoparse Professional)
• Erstellung hochqualifizierter Vertriebspipelines im CRM Pipedrive
• Automatisierte Lead-Generierung und -Qualifizierung per Webscraping und KI-Analyse
• Entwicklung von Social-Selling- und Sales-Materialien
• 56 % Lead-to-Deal-Conversion; ca. 140 k EUR eigene Abschlüsse

• Verwaltete und pflegte tägliche Verkaufs- und Transaktionsdaten und stellte deren Genauigkeit und Integrität für operative Berichte und Analysen sicher.
• Analysierte Kaufmuster von Kunden, um die Bestandsplanung zu unterstützen und die Produktverfügbarkeit zu verbessern.

Re-Platforming eines E-Commerce-Shops auf Microservice-Architektur

• Ziel: Ablösung eines veralteten Shopware-Systems durch eine skalierbare, zukunftssichere Lösung auf Basis von Microservices und einer Headless-Architektur.
• Führte eine umfassende Architekturberatung durch und definierte die Microservice-Grenzen auf Basis einer Headless-Architektur mit commercetools als PIM/OMS und Next.js als Frontend-Lösung.
• Entwickelte und integrierte mehrere dezentrale Services (z. B. Internationalisierung, Personalisierung).
• Übernahm die Konfiguration zentraler Drittanbietersysteme wie Contentstack und Algolia.
• Realisierte eine stabile Cloud-Infrastruktur auf Google Cloud mit Monitoring über Grafana.

Technologien: commercetools, Next.js, Contentstack, Algolia, Google Cloud, Grafana, TypeScript, Shopware

Entwicklung einer internationalen E-Commerce-Plattform

• Ziel: Entwicklung einer leistungsstarken, benutzerfreundlichen und internationalen E-Commerce-Plattform.
• Definierte eine skalierbare, performante und wartbare Softwarearchitektur, die als Grundlage für die internationale Expansion der Plattform diente.
• Wählte einen Best-of-Breed-Technologie-Stack, der die Entwicklung eines erstklassigen Shops ermöglichte und den Entwicklungsaufwand für neue Features um 30 % reduzierte.
• Stellte die nahtlose Integration kritischer Drittanbieter-Systeme (PIM, CRM, ERP) sicher, um durchgängige Geschäftsprozesse und eine einheitliche Datenbasis zu gewährleisten.
• Implementierte umfassende Tracking- und Analysetools zur kontinuierlichen Performanceüberwachung und Optimierung der Customer Journey.

Technologien: React.js, Next.js, commerceTools, Algolia, Salesforce, Heroku, CI/CD, PHP, Google Analytics

KI-gestützte Personalisierung und Customer-Data-Plattform im E-Commerce

• Ziel: Ablösung statischer Inhalte durch eine dynamische, KI-basierte Personalisierungsstrategie zur Steigerung der Nutzerrelevanz und Automatisierung von Marketingprozessen.
• Konzipierte und baute eine Customer-Data-Plattform zur Aggregation und Zusammenführung von Kunden- und Analyticsdaten aus verteilten Quellen.
• Implementierte eine automatisierte Kategorisierung von Kundenprofilen als Grundlage für die Ausspielung personalisierter Inhalte und Produktempfehlungen im Shopware-Frontend.
• Entwickelte einen Semantic-Similarity-Algorithmus auf Basis von Python und OpenAI zur Berechnung von Produkt- und Inhaltsähnlichkeiten aus Nutzerprofilen.
• Realisierte die technische Anbindung von Retail-Media-Plattformen zur Steuerung externer Werbeplatzierungen entlang der Customer Journey.

Technologien: Shopware 6, Python 3, OpenAI, Elasticsearch, PHP, Symfony, Twig

Shopware-Tracking- & Consent-Architektur (DSGVO) für 4 Onlineshops

• Ziel: Aufbau einer einheitlichen, DSGVO-konformen und shopübergreifenden Tracking-Infrastruktur mit zentralem Consent Management über mehrere Shopware-Instanzen.
• Definition eines umfassenden Tracking-Guides und Entwicklung einer modularen Architektur, kompatibel über mehrere Shopware-Versionen hinweg.
• DSGVO-konforme Integration von Usercentrics und Adobe Launch über einen zentralen Tag Manager.
• Vollständiges Tracking-Setup (Page, Order, Product, User) inkl. partnerspezifischem Tracking (Emarsys, Channelpilot u.a.).
• Detailliertes Event- und Error-Tracking zur proaktiven Identifikation technischer Abbrüche.

Technologien: Shopware, Adobe Analytics, Usercentrics, Tag Manager, PHP, MySQL, DSGVO

KI-/LLM-Suchmaschine mit RAG und Hybrid Search (Python, Elasticsearch)

• Ziel: Aufbau einer KI-gestützten Suchmaschine mit RAG-Architektur und Hybrid Search zur präzisen Vermittlung von Dienstleistern aus über 500.000 Unternehmensdatensätzen.
• Entwicklung einer automatisierten Daten-Pipeline (Web Scraping + LLM), die Unternehmensdaten kontinuierlich crawlt und mittels LLMs in strukturierte Formate überführt.
• Implementierung eines RAG-Workflows inkl. Vektorisierung für semantische Suche zur Steigerung von Suchgenauigkeit und Relevanz.
• Konfiguration und Fine-Tuning von Elasticsearch für Hybrid Search (Vektor- + Keyword-Suche).
• End-to-End-Entwicklung von Backend-API, Frontend und Deployment auf Live-Servern.

Technologien: Python, FastAPI, Elasticsearch, LLM, RAG, React, Docker, Web Scraping

KI-/Computer-Vision-System (Python, ML) – Objekterkennung unter schwierigen Bedingungen

• Ziel: Entwicklung eines KI-gestützten Erkennungssystems mit zuverlässiger Performance auch bei Regen, Nebel, Schnee und Dunkelheit.
• Aufbau und Annotation eines umfangreichen Trainingsdatensatzes inkl. schwieriger Bedingungen.
• Training eines YOLO-basierten Objekterkennungsmodells; systematische Fehleranalyse und Optimierung von Datenqualität und Preprocessing.
• Stakeholder-Abstimmung über regelmäßige Status-Updates.

Technologien: Python, Machine Learning, TensorFlow, PyTorch, YOLO, OpenCV

• Entwicklung automatisierter Softwaretests (Unit-, Integrations-, Regressionstests und End-to-End-Tests).
• Eingesetzte Technologien: Playwright, Vitest, JavaScript, TypeScript, Vue3, Go, Laravel, REST API, CI/CD, Docker, Git, GitHub, Scrum, Jira.

• Aufbau und Skalierung von Cloud-Infrastruktur auf GCP zur Unterstützung einer SaaS-Plattform für Industriekunden
• Entwurf und Implementierung einer datengetriebenen DevOps-Pipeline für optimierte Deployments und CI/CD-Workflows
• Zusammenarbeit mit dem Data-Science-Team am MLOps-Workflow zur Automatisierung des integrierten Retrainings

• Architektur und Aufbau eines GenAI-basierten Tools zur automatisierten Asset-Erstellung für Social-Media-Kampagnen mit Nano Banana und Python. Es verarbeitet Kampagnenbriefing, Zielgruppe und zwei Produkte als Eingabe, generiert optimierte Prompts für Bild- und Textproduktion und nutzt Funktionen für Textpositionierung, ansprechende Overlays, Größenanpassung und strukturiertes Hochladen in AWS S3.
• Entwicklung und Aufbau einer Multi-Agenten-News-Intelligence-Plattform mit spezialisierten Rollen, darunter Retriever-Agenten (Tavily-Web-Scraping), Synthese-Agenten und Claude als Kurator/Orchestrator, und Entwurf autonomer Agentenzusammenarbeitsmuster mithilfe von LangChain und RAG.
• Aufbau eines autonomen Kundendienst-Agenten mit n8n und LLMs, der End-to-End-Support-Automatisierung mit nachvollziehbarer Argumentation, Governance-Kontrollen und skalierbarer Workflow-Orchestrierung mittels Python und Vektordatenbanken bietet.
• Entwicklung einer Finanzvalidierungs-Engine mit ML-gestützter Anomalieerkennung zur Plausibilitätsprüfung von Rechnungen, Compliance-Automatisierung und Risikominderung unter Verwendung von TensorFlow und SQL.
• Erstellung einer Kosteneinsparungsanwendung mittels OCR, KI, Pandas und NumPy für Datenanalyse, um Optimierungspotenziale zu identifizieren.

• Leitung umfassender KI-Workshops für Fachkräfte, Fokus auf KI-gesteuerte Prozessautomatisierung.
• Tech-Stack: n8n, Make, LLMs (OpenAI, Anthropic), Prompt-Engineering, Tools zur Prozessmodellierung.

• Weiterentwicklung und Release-Begleitung einer White-Label-ePA-Komponente für Krankenversicherungen
• Technologien: Android (Kotlin), Kotlin Multi-Plattform, Coroutines, Jetpack Compose, MVVM, StateFlow, Gradle, ProGuard

• Weiterbildung zum zertifizierten KI-Experten im Unternehmen
• Grundlagen der KI
• KI-Tools
• Prompt Engineering (Erstellung professioneller Prompts)
• (Fortgeschrittene) Prozessautomatisierung mit KI und make.com
• KI im Marketing und Vertrieb
• Rechtskonforme Nutzung von KI in Unternehmen
• Intelligentes Wissensmanagement
• KI im Kundenmanagement
• Entwicklung von KI-Richtlinien für das Unternehmen
• Integration von KI ins Unternehmen

• Leitete die Vision, Strategie und Roadmap für das Analytics- und Datenvisualisierungsmodul einer Reputation-Management-Plattform für Hotels, Restaurants und Orte von Interesse, was zu einer erhöhten Nutzerbindung führte.
• Führte pro Monat 10–15 Experimente und A/B-Tests durch, um Hypothesen anhand von Nutzerfeedback und datengestützten Erkenntnissen zu validieren, die Akzeptanz und das Engagement zu steigern und Produktfunktionen iterativ zu verbessern.
• Erstellte Produktspezifikationen mit klaren Anforderungen (Jobs to Be Done, User Stories), Nutzerabläufen und KI-generierten Prototypen und legte gleichzeitig Benchmarks für Genauigkeit, Präzision und Recall von LLM-Modellen fest.
• Arbeitete mit dem Produkt-Trio zusammen, um Web Scraping, Embedded BI und RAG-Techniken anzuwenden, die Sentiment-Analyse zu verbessern und das Produkt in neue Branchen (Restaurants, Orte von Interesse) zu erweitern.
• Entwickelte Go-to-Market-Strategien und nutzte das Ring-Deployment-Framework, um Produktfeatures einzuführen.
• Setzte das WSJF-Framework zur Verwaltung des Product Backlogs ein, um sicherzustellen, dass Entwicklungsbemühungen mit Geschäftszielen und Stakeholder-Prioritäten übereinstimmen.
• Kommunizierte die Produktstrategie und Ergebnisse effektiv an C-Level-Führungskräfte, um Zustimmung für wichtige Initiativen zu erhalten.
• Setzte das Opportunity Solution Tree-Modell ein, um Chancen zu identifizieren und passte die Produktstrategie entsprechend an.

• Pionierarbeit in personalisierter KI: Entwicklung eines Frameworks für “Interaktiven Content” (RAG) für Romane, Vorlesungen, Expert Debriefings
• Erfolgreicher Start von Einbug, dem Pantopia-Chatbot, mit medialer Resonanz (SZ-Interview)
• Realisierung überzeugender KI-Persönlichkeiten: KI-Blog ([link]) 100% personalisierte Lernumgebungen, Perry Rhodan u. a.

• Entwicklung & Deployment eines interaktiven Dashboards, das es Benutzern ermöglicht, Datensätze zur visuellen Analyse auszuwählen.

• Die Anwendung unterstützt Filter, KI-basierte Interpretationen und einen Chatbot für Benutzerinteraktionen.

• shiny, openai, mirai, plotly, mapgl, duckdb, AWS, ShinyProxy, Docker Swarm

• Aufbau und Betrieb datengetriebener Analyse- und Reportingprozesse in Power BI, Tableau und SAP

• Integration von SAP FICO- und Workday-Daten in Power Platform Workflows zur Automatisierung von HR-Reports

• Entwicklung prädiktiver ML-Modelle zur Personalbedarfsplanung und KPI-Steuerung

• Nutzung von Azure und GCP (BigQuery, Dataflow) zur Verarbeitung großer Datenmengen (Big Data Pipelines)

• Automatisiertes Reporting steigerte Analyseeffizienz um +40 %

• Einführung eines GCP-gestützten Analysemodells zur Mitarbeiterfluktuation