Senior Software Engineer – C# (LLM-Bewertung & Repository-Validierung)

Über die Projekte: Wir erstellen Datensätze zur Bewertung und zum Training von LLMs, um diese für die Bearbeitung realistischer Probleme im Bereich Softwareentwicklung zu trainieren. Einer unserer Ansätze in diesem Projekt besteht darin, überprüfbare SWE-Aufgaben auf der Grundlage öffentlicher Repository-Verläufe in einem synthetischen Ansatz mit „Human-in-the-Loop“ zu erstellen und gleichzeitig die Abdeckung des Datensatzes auf verschiedene Arten von Aufgaben hinsichtlich Programmiersprache, Schwierigkeitsgrad usw. auszuweiten.

Über die Rolle: Wir suchen erfahrene Softwareentwickler (auf Tech-Lead-Ebene), die mit hochwertigen öffentlichen GitHub-Repositorys vertraut sind und zu diesem Projekt beitragen können. Diese Rolle umfasst praktische Softwareentwicklungsarbeit, einschließlich der Automatisierung der Entwicklungsumgebung, der Triage von Issues sowie der Bewertung von Testabdeckung und -qualität.

Warum zu uns kommen? Turing ist eines der weltweit am schnellsten wachsenden KI-Unternehmen, das die Weiterentwicklung und den Einsatz leistungsstarker KI-Systeme vorantreibt. Sie stehen an vorderster Front bei der Bewertung, wie LLMs mit echtem Code interagieren, und beeinflussen damit die Zukunft der KI-gestützten Softwareentwicklung. Dies ist eine einzigartige Gelegenheit, praktische Softwareentwicklung mit KI-Forschung zu verbinden.

Wie sieht der Arbeitsalltag aus:

• Analyse und Triage von GitHub-Issues in beliebten Open-Source-Bibliotheken.
• Einrichtung und Konfiguration von Code-Repositorys, einschließlich Dockerisierung und Umgebungseinrichtung.
• Bewertung der Abdeckung und Qualität von Unit-Tests.
• Lokale Änderung und Ausführung von Codebasen zur Bewertung der LLM-Leistung