Evaluador de plantillas para modelos de IA jurídica

Descripción del puesto

Buscamos profesionales del ámbito jurídico con experiencia para redactar y verificar plantillas abiertas de alta calidad destinadas a la evaluación de modelos de IA. Tu labor consistirá en elaborar y revisar problemas jurídicos complejos y sin ambigüedades en distintos subdominios fundamentales, evaluando la calidad del razonamiento de la IA y contribuyendo a establecer estándares de evaluación rigurosos para los modelos de lenguaje de vanguardia.

Se le asignará uno de estos dos tipos de tareas:

• Tarea de redacción: cree 5 consignas originales de respuesta abierta de su subdominio asignado con distintos niveles de dificultad (grado, grado avanzado o posgrado/profesional). Las consignas deben requerir el juicio humano para evaluar la calidad de la respuesta de la IA, como el razonamiento jurídico, la interpretación de la legislación o el análisis de casos.
• Tarea de verificación: revise 5 indicaciones creadas para comprobar su claridad, alineación con el ámbito, precisión en la dificultad y singularidad. Edite las indicaciones y las clasificaciones de dificultad cuando sea necesario.

Subdominios jurídicos cubiertos

Derecho profesional y estatutario, jurisprudencia y teoría jurídica, derecho internacional, derecho contractual, derecho penal, derecho constitucional, derecho regulatorio y administrativo.

Responsabilidades clave

• Redactar indicaciones jurídicas claras, inequívocas y abiertas que susciten respuestas de IA evaluables
• Verificar que las indicaciones se encuentren dentro del ámbito del subdominio asignado y que estén correctamente clasificadas en cuanto a dificultad
• Asegurarse de que las 5 indicaciones de una tarea sean suficientemente distintas entre sí y presenten distintos niveles de dificultad
• Aplicar el criterio experto para evaluar la