法律モデル用プロンプト評価者

役割の概要

AIモデルの評価用に、質の高い自由記述型プロンプトを作成・検証できる法律の専門家を募集しています。主要なサブドメインにわたる、難易度が高く、かつ曖昧さのない法的問題を考案・レビューし、AIの推論の質を評価するとともに、最先端の言語モデルに対する厳格な評価基準の確立に貢献していただきます。

以下の2種類のタスクのいずれかが割り当てられます：

• 作成タスク — 割り当てられたサブドメインから、難易度（学部生レベル、上級学部生レベル、大学院生／専門家レベル）の異なるオリジナルの自由回答型プロンプトを5つ作成します。プロンプトは、法的推論、法令解釈、判例分析など、AIの応答の質を評価するために人間の判断を必要とするものでなければなりません。
• 検証タスク — 作成された5つのプロンプトについて、明瞭さ、範囲の整合性、難易度の正確性、および独自性を確認します。必要に応じてプロンプトや難易度評価を編集してください。

対象となる法学サブドメイン

実定法・法規、法学・法理論、国際法、契約法、刑法、憲法、規制法・行政法。

主な職務内容

• 評価可能なAIの応答を引き出す、明確で曖昧さのない、自由回答形式の法的プロンプトを作成する

• プロンプトが割り当てられたサブドメインの範囲内であり、難易度が正しく評価されていることを確認する

• 1つのタスクに含まれる5つのプロンプトすべてが、互いに十分に区別され、難易度が異なることを確保する

• 専門的な判断を適用して、