Generalistas en búsqueda

### Descripción general del puesto

Mercor busca expertos generalistas en búsqueda con gran atención al detalle para colaborar en un proyecto de gran repercusión con un laboratorio líder en investigación en IA. En este puesto, ayudarás a evaluar y mejorar el rendimiento de los sistemas avanzados de IA en tareas reales de búsqueda y navegación.

Este trabajo incluye evaluar los resultados de los modelos en cuanto a veracidad, utilidad, exhaustividad y calidad del juicio en una amplia gama de consultas de los usuarios. Contribuirás a flujos de trabajo de evaluación estructurados que ayudan a entrenar, comparar y perfeccionar sistemas de IA de vanguardia. Este puesto es ideal para generalistas excelentes que sean investigadores perspicaces, buenos redactores y se sientan cómodos realizando juicios de calidad matizados a gran escala.

### Responsabilidades clave

• Evaluar las respuestas de búsqueda generadas por IA en cuanto a precisión factual, utilidad, claridad, exhaustividad y calidad general.
• Evaluar si los modelos utilizan la búsqueda de forma adecuada y si las consultas de búsqueda están bien formuladas y son eficaces.
• Comparar las respuestas de los modelos y proporcionar justificaciones concisas y fundamentadas.
• Redactar y perfeccionar indicaciones, respuestas modelo, criterios de evaluación y casos extremos para evaluaciones relacionadas con la búsqueda.
• Aplicar las directrices del proyecto de forma coherente en tareas de búsqueda ambiguas, de varios pasos y del mundo real.
• Identificar modos de fallo recurrentes y escalar los casos poco claros o las lagunas en las rúbricas a los responsables del proyecto.
• Participar en los procesos de calibración, control de calidad y retroalimentación para mantener un alto nivel de consenso y unos estándares de calidad sólidos.

### Requisitos