STEM (Professeurs)

STEM (Professeurs)

L'équipe recherche des professeurs dans tous les domaines des STEM, notamment l'apprentissage automatique, le codage, la science des données, etc., pour contribuer à un projet visant à évaluer des modèles de pointe axés sur le codage et les flux de travail agentiques. Vous concevrez et validerez des tâches de référence complexes afin d'aider à mettre en évidence et à diagnostiquer les lacunes en matière de raisonnement et de résolution de problèmes dans un modèle cible.

Au quotidien

• Conception et développement des tâches : concevoir des problèmes complexes, concrets et spécifiques à un domaine, qui serviront de base aux tâches agentiques. Les problèmes doivent être construits de manière à cibler des défaillances spécifiques liées à la perte de capacités fondamentales identifiées dans un modèle d'IA de pointe
• Spécifications et génération de solutions de référence : intégrer les problèmes dans un environnement de développement agentique, en préparant tous les composants nécessaires à l'aide de Python, notamment :
• Des instructions détaillées et un aperçu de la tâche requise
• Une solution de référence qui suit les instructions
• Toute consultation et tout retour d'information spécifiques s'appuyant sur des connaissances propres au domaine

• Évaluation et analyse : Évaluer les performances du modèle croisé sur les tâches
• Identification des marges de progression : Identifier les tâches pour lesquelles le modèle cible ne réussit pas tous les tests, en classant spécifiquement l'échec comme un échec de raisonnement logique
• Extraction des pertes : Analyser les étapes de l'agent (trajectoire de l'agent) afin d'observer et d'extraire les schémas de perte de capacités fondamentales du modèle. 3. Compétences requises