Évaluateur de consignes pour modèles de recherche opérationnelle

Présentation du poste

Nous recherchons des professionnels experts en recherche opérationnelle pour rédiger et vérifier des consignes ouvertes de haute qualité destinées à l'évaluation de modèles d'IA. Vous serez chargé(e) de concevoir et d'examiner des problèmes complexes et sans ambiguïté relevant de l'optimisation et des sciences de la décision dans divers sous-domaines clés, afin d'évaluer la qualité du raisonnement de l'IA et de contribuer à l'établissement de normes d'évaluation rigoureuses pour les modèles linguistiques de pointe.

L'une des deux tâches suivantes vous sera attribuée :

• Tâche de rédaction — Créez 5 consignes originales et ouvertes issues du sous-domaine qui vous a été attribué, avec différents niveaux de difficulté (premier cycle, deuxième cycle ou troisième cycle/professionnel). Les consignes doivent nécessiter un jugement humain pour évaluer la qualité de la réponse de l'IA, par exemple en matière de modélisation d'optimisation, d'analyse algorithmique ou de raisonnement stochastique.
• Tâche de vérification — Examiner 5 consignes rédigées afin d'en vérifier la clarté, l'adéquation avec le champ d'application, la précision du niveau de difficulté et le caractère unique. Modifier les consignes et les niveaux de difficulté si nécessaire.

Sous-domaines de la recherche opérationnelle couverts

Programmation linéaire et en nombres entiers, optimisation des réseaux et théorie des graphes, modèles stochastiques et théorie des files d'attente, théorie des jeux et analyse décisionnelle, optimisation de la chaîne d'approvisionnement et de la logistique, simulation et métaheuristiques.

Principales responsabilités

• Rédiger des consignes de recherche opérationnelle claires, sans ambiguïté et ouvertes, suscitant des réponses d'IA évaluables
• Vérifier que les consignes relèvent bien du sous-domaine attribué et que leur niveau de difficulté est correctement évalué
• S'assurer que les 5 consignes d'un