オペレーションズ・リサーチ・モデル・プロンプト評価者

職務概要

AIモデル評価のための高品質な自由記述型プロンプトを作成・検証する、オペレーションズ・リサーチの専門家を募集しています。主要なサブドメインにわたる、難易度が高く、曖昧さのない最適化および意思決定科学の問題を考案・レビューし、AIの推論品質を評価するとともに、最先端の言語モデルに対する厳格な評価基準の確立を支援していただきます。

以下の2種類のタスクのいずれかが割り当てられます：

• 作成タスク — 割り当てられたサブドメインから、難易度（学部生レベル、上級学部生レベル、大学院生／専門家レベル）の異なるオリジナルの自由回答型プロンプトを5つ作成します。プロンプトは、最適化モデリング、アルゴリズム解析、確率的推論など、AIの応答の質を評価するために人間の判断を必要とするものでなければなりません。
• 検証タスク — 作成された5つのプロンプトについて、明瞭さ、範囲の整合性、難易度の正確性、および独自性を確認します。必要に応じて、プロンプトや難易度評価を編集してください。

対象となるオペレーションズ・リサーチのサブドメイン

線形計画法および整数計画法、ネットワーク最適化およびグラフ理論、確率モデルおよび待ち行列理論、ゲーム理論および意思決定分析、サプライチェーンおよびロジスティクス最適化、シミュレーションおよびメタヒューリスティクス。

主な職務内容

• 評価可能なAI応答を引き出せる、明確で曖昧さのない、自由回答形式のオペレーションズ・リサーチ用プロンプトを作成する

• プロンプトが割り当てられたサブドメインの範囲内であり、難易度が適切に評価されていることを確認する

• 1つの