Avaliador de Prompts para Modelos de IA Jurídica

Visão Geral da Função

Estamos buscando profissionais jurídicos especializados para elaborar e verificar prompts abertos de alta qualidade para a avaliação de modelos de IA. Você irá criar e revisar problemas jurídicos desafiadores e inequívocos em subdomínios essenciais, avaliando a qualidade do raciocínio da IA e ajudando a estabelecer padrões de avaliação rigorosos para modelos de linguagem de ponta.

Você receberá uma das duas tarefas:

• Tarefa de Criação — Crie 5 prompts originais e abertos do subdomínio designado, com diferentes níveis de dificuldade (graduação, graduação avançada ou pós-graduação/profissional). Os prompts devem exigir julgamento humano para avaliar a qualidade da resposta da IA, como raciocínio jurídico, interpretação de leis ou análise de casos.
• Tarefa de verificação — Revise 5 prompts criados quanto à clareza, alinhamento do escopo, precisão da dificuldade e originalidade. Edite os prompts e as classificações de dificuldade quando necessário.

Subdomínios jurídicos abrangidos

Direito Profissional e Estatutário, Jurisprudência e Teoria Jurídica, Direito Internacional, Direito Contratual, Direito Penal, Direito Constitucional, Direito Regulatório e Administrativo.

Principais responsabilidades

• Redigir prompts jurídicos claros, inequívocos e abertos que suscitem respostas de IA avaliáveis
• Verificar se os prompts estão dentro do escopo do subdomínio atribuído e se foram classificados corretamente quanto à dificuldade
• Garantir que todos os 5 prompts de uma tarefa sejam suficientemente distintos uns dos outros, com níveis de dificuldade variados
• Aplicar julgamento especializado para avaliar o