仕事内容
Turingについて:
カリフォルニア州サンフランシスコに拠点を置くTuringは、最先端のAI研究所のための世界有数の研究アクセラレーターであり、高度なAIシステムを導入するグローバル企業にとって信頼できるパートナーです。Turingは、2つの方法で顧客を支援しています。第一に、高品質なデータ、高度なトレーニングパイプライン、そしてコーディング、推論、STEM、多言語対応、マルチモーダリティ、エージェントを専門とするトップクラスのAI研究者を活用して、最先端の研究を加速させること。第二に、その専門知識を応用し、企業がAIを概念実証(PoC)から、確実に機能し、測定可能なインパクトをもたらし、損益計算書(P&L)に持続的な成果をもたらす独自のインテリジェンスへと変革できるよう支援することです。
職務概要:
AI品質アナリストとして、Geminiの新しいパーソナライゼーション機能を評価していただきます。モデルが、過去のGeminiでの会話、Gmail、Google検索、YouTubeのアクティビティからの情報をどのように活用し、より関連性が高く役立つ応答を生成しているかを評価します。この役割には、創造性と分析的厳密さのユニークな融合が求められます。自身の個人的な体験の視点から、能動的にプロンプトを設計していただきます。その後、分析スキルを活用して、モデルのパーソナライズされた応答の品質を評価し、「根拠の明確さ(Grounding)」、「統合性(Integration)」、「有用性(Helpfulness)」といった側面を検証します。
主な応募資格
- ブルガリア語の習熟度:本プロジェクトの重点言語がブルガリア語であるため、ブルガリア語での読み書きに高い習熟度を有すること。
- Pe
- この役職では、パーソナライズされたAIとの対話品質の評価に注力する、活気あるチームの一員としてご活躍いただきます。日々の業務内容は以下の通りです:
- AIがあなたの個人情報や経験を活用する必要がある、複数ターンにわたる会話プロンプト(通常1~5ターン)の設計と実行。
- 最初のプロンプトから読み取れる意図に基づき、モデルの応答を評価し、パーソナライゼーションが適切に適用されているかを確認します。
- 応答を分析してグラウンディングの問題がないかを確認し、あなたに関する主張が証拠によって裏付けられており、誤った推論や幻覚ではないことを保証します。
- 統合の質を評価し、ロボットのような「過剰な説明」がなく、個人データが応答に自然に織り込まれていることを確認します。
- 2つのモデル応答を並べて(SxS)厳格に評価・順位付けし、全体としてどちらがより有用で、使いやすく、楽しいかを判断する。
- 比較の根拠を明確かつ説得力のある形で記述し、会話の中で問題点や長所がどこで発生したかを明示する。
- モデルから「デバッグ情報」を抽出して検証し、チャットの要約やデータソースが適切に利用されていることを確認する。
- 評価用の会話を削除し、将来のチャット履歴が汚染されるのを防ぐことで、厳格なデータ管理を維持する。
学歴・経験
- 関連分野(例:政策、法律、倫理、言語学、ジャーナリズム、コンピュータサイエンス、または関連する分析分野)における学士号、または同等の実務経験。
- データアノテーション、AI
Details
Category
AI Evaluation
Location
Remote
Employment Type
Independent Contractor
Skills
Posted
2026/4/13