Senior Software Engineer – Ruby (LLM-Bewertung & Repository-Validierung)

Stellenbezeichnung: Senior Software Engineer – LLM-Bewertung & Repository-Validierung

Über die Projekte: Wir erstellen LLM-Evaluierungs- und Trainingsdatensätze, um LLMs für die Bearbeitung realistischer Software-Engineering-Probleme zu trainieren. Einer unserer Ansätze in diesem Projekt besteht darin, überprüfbare SWE-Aufgaben auf der Grundlage öffentlicher Repository-Verläufe in einem synthetischen Ansatz mit „Human-in-the-Loop“ zu erstellen und gleichzeitig die Abdeckung des Datensatzes auf verschiedene Arten von Aufgaben hinsichtlich Programmiersprache, Schwierigkeitsgrad usw. auszuweiten.

Über die Rolle: Wir suchen erfahrene Softwareentwickler (auf Tech-Lead-Ebene), die mit hochwertigen öffentlichen GitHub-Repositorys vertraut sind und zu diesem Projekt beitragen können. Diese Rolle umfasst praktische Softwareentwicklungsarbeit, einschließlich der Automatisierung der Entwicklungsumgebung, der Triage von Issues sowie der Bewertung von Testabdeckung und -qualität.

Warum zu uns kommen? Turing ist eines der weltweit am schnellsten wachsenden KI-Unternehmen, das die Weiterentwicklung und den Einsatz leistungsstarker KI-Systeme vorantreibt. Sie stehen an vorderster Front, wenn es darum geht, zu evaluieren, wie LLMs mit echtem Code interagieren, und beeinflussen damit die Zukunft der KI-gestützten Softwareentwicklung. Dies ist eine einzigartige Gelegenheit, praktische Softwareentwicklung mit KI-Forschung zu verbinden.

So sieht der Arbeitsalltag aus:

• Analyse und Triage von GitHub-Issues in beliebten Open-Source-Bibliotheken.
• Einrichtung und Konfiguration von Code-Repositorys, einschließlich Dockerisierung und Umgebungseinrichtung.
• Bewertung von Unit-T