Évaluateur de prompts pour modèles juridiques

Présentation du poste

Nous recherchons des professionnels du droit expérimentés pour rédiger et vérifier des prompts ouverts de haute qualité destinés à l'évaluation de modèles d'IA. Vous serez amené à élaborer et à examiner des problèmes juridiques complexes et sans ambiguïté dans des sous-domaines clés, afin d'évaluer la qualité du raisonnement de l'IA et de contribuer à l'établissement de normes d'évaluation rigoureuses pour les modèles linguistiques de pointe.

L'une des deux tâches suivantes vous sera attribuée :

• Tâche de rédaction — Créez 5 prompts originaux et ouverts dans le sous-domaine qui vous a été attribué, à différents niveaux de difficulté (premier cycle, deuxième cycle ou troisième cycle/professionnel). Les prompts doivent nécessiter un jugement humain pour évaluer la qualité de la réponse de l'IA, par exemple en matière de raisonnement juridique, d'interprétation législative ou d'analyse de jurisprudence.
• Tâche de vérification — Examiner 5 prompts rédigés afin d'en vérifier la clarté, l'adéquation avec le champ d'application, la précision du niveau de difficulté et l'unicité. Modifier les prompts et les niveaux de difficulté si nécessaire.

Sous-domaines juridiques couverts

Droit professionnel et législatif, jurisprudence et théorie du droit, droit international, droit des contrats, droit pénal, droit constitutionnel, droit réglementaire et administratif.

Principales responsabilités

• Rédiger des consignes juridiques claires, sans ambiguïté et ouvertes, suscitant des réponses de l'IA pouvant être évaluées
• Vérifier que les consignes relèvent bien du sous-domaine attribué et que leur niveau de difficulté est correctement évalué
• S'assurer que les 5 consignes d'une tâche sont suffisamment distinctes les unes des autres et présentent des niveaux de difficulté variés
• Faire appel à son jugement d'expert pour évaluer la