ソフトウェアエンジニアリング、データサイエンス、システム設計の専門家（C#、実務経験5年以上）

勤務地： 米国および米国以外

雇用形態： フルタイムまたはパートタイムの契約社員

必須の言語スキル： 英語このポジションの目的 当社は、主要なAIチームと提携し、汎用的な対話型AIシステムの品質、有用性、信頼性を向上させています。これらのシステムは、日常生活から業務に至るまで幅広い場面で利用されており、その有効性は、実際のユーザーの質問に対して、いかに明確かつ正確に、そして有益な回答ができるかにかかっています。コーディングやソフトウェアエンジニアリングの文脈において、対話型AIシステムは、正しい推論、優れた問題解決能力、そして実世界のエンジニアリングにおけるベストプラクティスへの準拠を実証しなければなりません。本プロジェクトは、多様なプログラミングタスクや複雑さのレベルにおいて、モデルがコードについてどのように推論し、解決策を生成し、技術的な概念を説明するかを評価・改善することに焦点を当てています。主な業務内容

• コーディングおよびソフトウェアエンジニアリングに関する質問に対するLLM生成応答を、正確性、推論、明瞭さ、完全性の観点から評価する
• 信頼できる公開情報源や権威ある参考文献を用いて事実確認を行う
• 適切なツールを使用してコードを実行し、出力を検証することで、正確性テストを実施する
• モデルの応答にアノテーションを付与し、強み、改善点、事実上または概念上の不正確さを特定する - コードの品質、可読性、アルゴリズムの妥当性、および説明の質を評価する
• **モデルの再