Evaluador de indicaciones para modelos matemáticos

Descripción general del puesto Buscamos matemáticos expertos para redactar y verificar indicaciones abiertas de alta calidad destinadas a la evaluación de modelos de IA. Tu labor consistirá en elaborar y revisar problemas matemáticos exigentes y sin ambigüedades en distintos subdominios fundamentales, con el fin de evaluar la calidad del razonamiento de la IA y ayudar a establecer estándares de evaluación rigurosos para los modelos de lenguaje de vanguardia. Se le asignará uno de estos dos tipos de tareas: Tarea de redacción Cree 5 preguntas originales de respuesta abierta de su subdominio asignado con distintos niveles de dificultad (grado, grado avanzado o posgrado/profesional). Las preguntas deben requerir el juicio humano para evaluar la calidad de la respuesta de la IA, como el razonamiento en cadena o la construcción de demostraciones. Tarea de verificación Revisar 5 consignas creadas para comprobar su claridad, alineación con el ámbito, precisión en la dificultad y singularidad. Editar las consignas y las clasificaciones de dificultad cuando sea necesario.

Subdominios matemáticos cubiertos Probabilidad y estadística, álgebra (incluida álgebra lineal), ecuaciones diferenciales ordinarias/parciales y sistemas dinámicos, geometría, teoría de grafos, teoría de números. Responsabilidades clave

\- Redactar preguntas matemáticas claras, inequívocas y abiertas que susciten respuestas de IA evaluables

\- Verificar que las preguntas se encuentren dentro del ámbito del subdominio asignado y que estén correctamente clasificadas en cuanto a dificultad

\- Asegurarse de que las 5 preguntas de una tarea sean suficientemente distintas entre sí y presenten distintos niveles de dificultad

\- Aplicar criterio experto para evaluar la profundidad y la calidad de las