AI-Qualitätsanalyst (Gemini) – Thai

Über Turing:

Turing mit Sitz in San Francisco, Kalifornien, ist der weltweit führende Forschungsbeschleuniger für wegweisende KI-Labore und ein zuverlässiger Partner für globale Unternehmen, die fortschrittliche KI-Systeme einsetzen. Turing unterstützt seine Kunden auf zwei Arten: Erstens durch die Beschleunigung von Spitzenforschung mit hochwertigen Daten, fortschrittlichen Trainingspipelines sowie führenden KI-Forschern, die sich auf Codierung, Schlussfolgerungen, MINT-Fächer, Mehrsprachigkeit, Multimodalität und Agenten spezialisiert haben; und zweitens durch die Anwendung dieses Fachwissens, um Unternehmen dabei zu helfen, KI vom Proof of Concept in proprietäre Intelligenz umzuwandeln – mit Systemen, die zuverlässig funktionieren, messbare Auswirkungen erzielen und nachhaltige Ergebnisse in der Gewinn- und Verlustrechnung erzielen.

Rollenübersicht:

Als KI-Qualitätsanalyst bewerten Sie eine neue Personalisierungsfunktion für Gemini. Sie beurteilen, wie gut das Modell Informationen aus Ihren früheren Gemini-Konversationen, Gmail, der Google-Suche und Ihrer YouTube-Aktivität nutzt, um Antworten relevanter und hilfreicher zu gestalten. Diese Rolle erfordert eine einzigartige Mischung aus Kreativität und analytischer Genauigkeit. Sie entwerfen aktiv Eingabeaufforderungen aus der Perspektive Ihrer eigenen persönlichen Erfahrungen. Anschließend nutzen Sie Ihre analytischen Fähigkeiten, um die Qualität der personalisierten Antworten des Modells zu bewerten, wobei Sie Aspekte wie Fundiertheit, Integration und Nützlichkeit beurteilen.

Wichtige Qualifikationen

• Thai-Kenntnisse: Fähigkeit, Thai auf hohem Niveau zu lesen und zu schreiben, da Thai die Schwerpunkt-Sprache dieses Projekts ist.
• Nutzung eines persönlichen Kontos: Bereitschaft
• In dieser Rolle sind Sie Teil eines dynamischen Teams, das sich auf die Bewertung der Qualität personalisierter KI-Interaktionen konzentriert. Zu Ihren täglichen Aufgaben gehören:
• Die Konzeption und Durchführung von mehrstufigen Gesprächsaufforderungen (in der Regel 1–5 Runden), bei denen die KI Ihre persönlichen Informationen und Erfahrungen nutzen muss.
• Bewertung der Modellantworten auf der Grundlage Ihrer Absicht aus der Ausgangsaufforderung, wobei geprüft wird, ob die Personalisierung angemessen angewendet wurde.
• Analyse der Antworten auf Grounding-Probleme, um sicherzustellen, dass Aussagen über Sie durch Beweise gestützt werden und nicht auf fehlerhaften Schlussfolgerungen oder Halluzinationen beruhen.
• Bewertung der Integrationsqualität, um sicherzustellen, dass persönliche Daten auf natürliche Weise in die Antwort eingewoben sind, ohne roboterhaftes „Übererzählen“.
• Rigorose Bewertung und Rangfolge zweier Modellantworten im direkten Vergleich (Side-by-Side, SxS), um festzustellen, welche insgesamt hilfreicher, benutzerfreundlicher und angenehmer ist.
• Verfassen klarer, begründbarer Begründungen für Ihre Vergleiche, wobei ausdrücklich darauf hingewiesen wird, an welchen Stellen im Gespräch Probleme oder positive Aspekte auftraten.
• Extrahieren und Überprüfen von „Debug-Informationen“ aus dem Modell, um sicherzustellen, dass Chat-Zusammenfassungen und Datenquellen ordnungsgemäß genutzt wurden.
• Einhalten strenger Datenhygiene durch Löschen von Bewertungsgesprächen, um zu verhindern, dass diese Ihren zukünftigen Chat-Verlauf verunreinigen.

Ausbildung & Erfahrung

• Bachelor-Abschluss oder gleichwertige Erfahrung in einem relevanten Bereich (z. B. Politik, Recht, Ethik, Linguistik, Journalismus, Informatik oder einem verwandten analytischen Bereich).
• Erfahrung in der Datenannotation, KI-Fragen