Ayush Rai-Senior AI Engineer | RLHF- & LLM-Evaluationsspezialist | Bhopal, India
Tagessatz prüfen
Erfahrungen
Adaptive RAG : Agentic Research Automation System
TDP
Python, LangGraph, FastAPI, Qdrant, MongoDB, Streamlit
- Ein agentisches RAG-System entwickelt, das Anfragen dynamisch über indexierte Dokumentensuche, allgemeines LLM-Reasoning und Live-Websuche über eine modulare LangGraph-Orchestrierungspipeline leitet.
- Query-Analyse, Routenklassifizierung, Relevanzbewertung, Query-Rewriting, Antwortgenerierung und Tavily-Such-Fallback implementiert, integriert mit Qdrant-Vector-Search, MongoDB-Session-Memory und OpenAI-kompatiblen LLMs.
AI Evaluation Contributor & Reviewer
Scale AI, Turing, Snorkel AI, Airdawgs Labs : Partner Programs
- Strukturierte Preference Ranking-, Pairwise-Comparison- und Model-Evaluation-Daten in den Bereichen Code, Reasoning und STEM für Scale AI beigetragen; hohe Übereinstimmung zwischen Annotatoren und konsistente Evaluierung sichergestellt.
- Von LLMs generierten Code und Reasoning-Output auf der Turing / OpenAI Feather Platform bewertet; Human-Feedback-Daten für Prompt-Evaluation, Modell-Ausrichtung und AI-Qualitätsbewertung bei Coding-Aufgaben beigetragen.
- Data Annotation, Preference Ranking und Qualitätsprüfung für Snorkel AI durchgeführt; Richtlinienkonformität und Datenintegrität über mehrere Evaluierungs-Task-Batches hinweg vor der Übergabe sichergestellt.
- Als Senior Contributor & Reviewer bei Airdawgs Labs (Terminus, Marlin, OpenDrain) tätig gewesen: Annotationsqualität geprüft, Contributor kalibriert, Edge Cases identifiziert und RLHF-Evaluationskonsistenz über Projekte hinweg aufrechterhalten.
Generative AI Engineer
Outlier AI
- RLHF- und SFT-Workflows für das Training von Frontier-LLMs ausgeführt: Modellantworten auf Korrektheit, Reasoning-Qualität und Einhaltung von Anweisungen geprüft; konkurrierende Outputs anhand strukturierter Qualitätskriterien gerankt.
- Fortgeschrittene Prompt-Engineering- und Code-Generation-Datensätze für Python und JavaScript geliefert, wodurch die kontextuelle Genauigkeit um 25 % verbessert und Iterationszyklen um 10 % reduziert wurden.
- Systematische Fehleranalysen durchgeführt, um Halluzinationen, sachliche Fehler und logische Inkonsistenzen zu identifizieren, und detaillierte Begründungen verfasst, um Präferenzauswahlen zu kalibrieren und die Datenqualität sicherzustellen.
LLM Code Evaluation & Preference Annotation Corpus
WootzApp
Python, unittest, Selenium, PyTorch, OpenAI API, LangChain
- Ein Repository zur LLM-Code-Evaluation mit über 1.400 Dateien aufgebaut, mit 193 automatisierten, auf unittest basierenden Eval-Tasks und 65 Colosseum A/B-Mehrturn-Präferenzvergleichs-Tasks über Python, ML, Web und Finance.
- Eine End-to-End-Evaluierungsinfrastruktur entwickelt: TASKS.json-Manifest-Generator, Batch-Test-Runner, Struktur-Validator und Colosseum→JSONL-Exporter für über 260 indexierte Tasks.
- 14 technische Leitfäden zu Architektur, Onboarding, API-Referenz und Subsystem-Dokumentation verfasst; domänenübergreifende Referenzlösungen in Finance (Yield Curves, Arbitrage), ML/DL (Keras, PyTorch, XGBoost) und Algorithmen kuratiert.
Senior AI Engineer
FoCDoT Technologies Pvt. Ltd.
- Produktionsreife AI-Systeme entworfen und ausgeliefert, darunter LLM-Evaluierungspipelines, RAG-Architekturen und AI-gestützte Entscheidungsplattformen für Start-up- und Enterprise-Kunden, was zu einem kumulierten Kundenumsatz von über 40L beigetragen hat.
- RLHF- und Human-Feedback-Workflows für Frontier-AI-Evaluierungsprogramme aufgebaut und betrieben, strukturierte Datensätze, Bewertungsrubriken, Fehler-Taxonomien und Feedback-Loops für die Modellausrichtung geliefert, die die Zuverlässigkeit der AI-Ausgaben um 30 % verbessert haben.
- AI-Readiness-Audits und Maturity-Assessments für über 10 Kundenprojekte geleitet, einschließlich Datenrestriktionen, Modellrisiken und Umsetzungsfähigkeit; direkt mit Gründern und CXOs zusammengearbeitet, um AI-Strategie und Geschäftsergebnisse aufeinander abzustimmen.
Branchenerfahrung
Sieh, in welchen Branchen dieser Freelancer den Großteil seiner beruflichen Laufbahn verbracht hat.
Erfahren in Informationstechnologie (IT).
Erfahrung nach Fachbereich
Zeigt, in welchen Abteilungen und Funktionen dieser Freelancer am meisten mitgewirkt hat.
Erfahren in Informationstechnologie (IT), Forschung und Entwicklung (F&E), Qualitätssicherung, Produktentwicklung, Betrieb und Strategie und Planung.
Zusammenfassung
AI Engineer mit über 4 Jahren Erfahrung beim Aufbau von produktiven LLM-Systemen, RAG-Pipelines und Infrastruktur für die Bewertung von menschlichem Feedback in schnelllebigen Startup-Umgebungen. Tiefgehende praktische Erfahrung in RLHF-Workflows, Preference Ranking, AI-Evaluation und Modell-Qualitätsbewertung durch Partnerprogramme mit Scale AI, Turing, Snorkel AI und OpenAI. Nachweislich zuverlässige, auf geringe Latenz optimierte AI-Produkte ausgeliefert und strukturierte Evaluierungspipelines in großem Maßstab betrieben.
Fähigkeiten
Rlhf & Ai Evaluation: Rlhf, Sft, Preference Ranking, Pairwise Comparison, Human Feedback Systems, Model Evaluation, Agent Evaluation, Benchmarking, Error Analysis, Data Annotation
Backend Engineering: Python, Fastapi, Node.Js, Nestjs, Rest Apis, Oauth 2.0, Docker
Data & Infrastructure: Postgresql, Sqlite, Mongodb, Chromadb, Qdrant, Vector Dbs, Aws S3
Llm & Ai Frameworks: Langgraph, Langchain, Crewai, Openai Api, Anthropic Api, Ollama, Sentence-Transformers
Frontend & Interfaces: React, Next.Js, Typescript, Tailwind Css, Streamlit, Radix Ui
Engineering & Delivery: System Design, Prompt Engineering, Ci/Cd, Git, Mcp, Cloud Fundamentals
Sprachen
Ausbildung
Lakshmi Narain College of Technology and Science
B.Tech · Computer Science and Engineering · Bhopal, Indien · 8.47 / 10.0
Statistiken
Erfahrung
Globale Erfahrung
Fachkenntnisse
Qualifikationen
Profil
Häufig gestellte Fragen
Du hast Fragen? Hier findest du mehr.
Ayush ist in Bhopal, Indien ansässig und kann in On-Site-, Hybrid- und Remote-Arbeitsmodellen arbeiten.
Ayush spricht folgende Sprachen: Hindi (Muttersprache), Englisch (Verhandlungssicher).
Ayush hat mindestens 4 Jahre Erfahrung. In dieser Zeit hat Ayush in mindestens 5 verschiedenen Rollen und für 5 verschiedene Firmen gearbeitet. Die durchschnittliche Dauer der einzelnen Projekte beträgt 1 Jahr und 9 Monate. Beachten Sie, dass Ayush möglicherweise nicht alle Erfahrungen geteilt hat und tatsächlich mehr Erfahrung hat.
Basierend auf der jüngsten Erfahrung wäre Ayush gut geeignet für Rollen wie: Adaptive RAG : Agentic Research Automation System, AI Evaluation Contributor & Reviewer, Generative AI Engineer.
Die neueste Position von Ayush ist Adaptive RAG : Agentic Research Automation System bei TDP.
In den letzten Jahren hat Ayush für TDP, Scale AI, Turing, Snorkel AI, Airdawgs Labs : Partner Programs, Outlier AI, WootzApp und FoCDoT Technologies Pvt. Ltd. gearbeitet.
Ayush hat die meiste Erfahrung in Industrien wie Informationstechnologie (IT).
Ayush hat die meiste Erfahrung in Bereichen wie Informationstechnologie (IT), Forschung und Entwicklung (F&E) und Qualitätssicherung. Ayush hat auch etwas Erfahrung in Produktentwicklung, Betrieb und Strategie und Planung.
Ayush hat einen Bachelor in Computer Science and Engineering von Lakshmi Narain College of Technology and Science.
Ayush ist sofort vollzeit verfügbar für passende Projekte.
Tagessatzverteilung
Die angegebenen Tagessätze entsprechen der typischen Marktspanne für Freelancer in dieser Position, basierend auf aktuellen Projekten auf unserer Plattform.
Durchschnittlicher Tagessatz für ähnliche Positionen
Die Tagessätze basieren auf aktuellen Projekten und enthalten keine FRATCH-Marge.
Der durchschnittliche Tagessatz ist der Mittelwert aller Tagessätze aus aktuellen Verträgen vergleichbarer Freelancer auf unserer Plattform.
Der Median-Tagessatz ist der mittlere Wert aller Tagessätze – die Hälfte der vergleichbaren Freelancer verlangt weniger, die andere Hälfte mehr. Anders als der Durchschnitt wird er von Ausreißern kaum beeinflusst.
Berechnet auf Basis der Tagessätze unserer Freelancer, Stand 28 Aug 2026. Die tatsächlichen Tagessätze können je nach Dienstalter, Erfahrung, Fachkenntnissen, Projektkomplexität und Auftragsdauer variieren.
Ähnliche Freelancer
Entdecke andere Experten mit ähnlichen Qualifikationen und Erfahrungen
Abhishek Nair
Kiran kumar Kanathala
Chintan Padaliya
Majid Khan
Ajay Chodankar
Srijan Manish
Tobias Jaeuthe
Ekaansh Khosla
Ateet Bahmani
Sanju Raj Prasad
Experten, die kürzlich an ähnlichen Projekten gearbeitet haben
Freelancer mit praktischer Erfahrung in vergleichbaren Projekten als Adaptive RAG : Agentic Research Automation System
Niklas Witzel
Alexander Schulze
Yannick Schuchmann
Aruldass Arulanandu
Ralph Navasardyan
Awais Anwar
Mitali Soti
Marcel Meyer
Patrik Garten
Muhammad Ammad-ud-din
Freelancer in der Nähe
Fachkräfte, die in oder in der Nähe von Bhopal, Indien arbeiten
Dinmukhabet Anuarbekov
Sergey Filin
Hikmat Shirmammadov
Javid Karimov
Emin Maharramli
Beka Chogovadze
Roman Sayapin
Giorgi Todadze
Revaz Todadze
Konstantin Freelancer
