Senior Software Engineer – KI-Evaluierung

Rollenübersicht

Senior Software Engineer – KI-Evaluierung Über die Rolle Was wäre, wenn Ihre Engineering-Fähigkeiten direkt darüber entscheiden könnten, ob die fortschrittlichsten KI-Systeme der Welt tatsächlich funktionieren? Diese Stelle richtet sich an Senior Software Engineers, die die Evaluierungsinfrastruktur zur Messung von KI-Leistung entwerfen, aufbauen und skalieren – die kritische Schicht zwischen rohem Modell-Output und realem Vertrauen.

Ihre Aufgaben

• Skalierbare Evaluierungs-Pipelines und Frameworks zur Bewertung von KI-Modellleistung in verschiedenen Aufgaben und Bereichen entwickeln und aufbauen
• Automatisierte Test-Harnesses, Bewertungssysteme und Benchmarking-Tools für große Sprachmodelle und andere KI-Systeme entwickeln
• Sauberen, produktionsreifen Code schreiben, um Evaluierungsdatensätze in großem Maßstab zu verarbeiten, zu analysieren und zu visualisieren
• APIs, Dashboards und interne Tools erstellen und pflegen, die Forschungsteams ermöglichen, Evaluierungen effizient durchzuführen, zu verfolgen und zu vergleichen
• Mit KI-Forschern und Data Scientists zusammenarbeiten, um Evaluierungsmethoden in zuverlässige, reproduzierbare Software zu übersetzen
• Systemleistung, Datenverarbeitungsgeschwindigkeit und Infrastrukturkosten optimieren
• Klare Dokumentation schreiben und an Code-Reviews teilnehmen, um hohe Engineering-Standards zu wahren
• 5+ Jahre Berufserfahrung im Software Engineering mit nachweislicher Erfahrung im Aufbau und Betrieb von Produktionssystemen

Anforderungen und Bedingungen

• Standort: Remote
• Zeitaufwand: 20–40 Stunden/Woche
• Mit KI-Forschern und Data Scientists zusammenarbeiten, um Evaluierungsmethoden in zuverlässige, reproduzierbare Software zu übersetzen
• 5+ Jahre Berufserfahrung im Software Engineering mit nachweislicher Erfahrung im Aufbau und Betrieb von Produktionssystemen
• Starke Python-Kenntnisse – einschließlich Erfahrung mit Datenverarbeitungsbibliotheken (pandas, NumPy) und Web-Frameworks (FastAPI, Flask oder Django)
• Erfahrung mit großen Datensätzen und dem Aufbau von Datenpipelines
• Ausgezeichnete schriftliche Kommunikationsfähigkeiten – Sie können Ihre Arbeit klar dokumentieren und asynchron zusammenarbeiten
• Selbstmotiviert und zuverlässig beim eigenständigen Arbeiten in einer Remote-Umgebung

Weitere Details

• Edge Cases, Fehlermodi und Zuverlässigkeitsprobleme in KI-Outputs durch systematische Engineering-Ansätze identifizieren
• Zur Architektur und technischen Ausrichtung der Evaluierungsplattform beitragen
• Solides Verständnis von Software-Architektur, Designmustern und Engineering Best Practices
• Vertrautheit mit Cloud-Infrastruktur (AWS, GCP oder Azure) und containerisierten Deployments