Analista de Qualidade de IA (Personalização) - Japonês

Sobre a Turing:

Com sede em São Francisco, Califórnia, a Turing é a principal aceleradora de pesquisa do mundo para laboratórios de IA de ponta e uma parceira de confiança para empresas globais que implementam sistemas avançados de IA. A Turing apoia os clientes de duas maneiras: primeiro, acelerando a pesquisa de ponta com dados de alta qualidade, pipelines de treinamento avançados e os melhores pesquisadores de IA especializados em codificação, raciocínio, STEM, multilinguismo, multimodalidade e agentes; e, segundo, aplicando essa expertise para ajudar as empresas a transformar a IA de prova de conceito em inteligência proprietária com sistemas que funcionam de forma confiável, geram impacto mensurável e impulsionam resultados duradouros no P&L.

Visão geral da função:

Como Analista de Qualidade de IA, você avaliará um novo recurso de personalização para o Gemini. Você avaliará como o modelo utiliza informações de suas conversas anteriores no Gemini, do Gmail, da Pesquisa Google e da atividade no YouTube para tornar as respostas mais relevantes e úteis. Esta função requer uma combinação única de criatividade e rigor analítico. Você criará ativamente prompts a partir da perspectiva de suas próprias experiências pessoais. Em seguida, você usará suas habilidades analíticas para avaliar a qualidade das respostas personalizadas do modelo, analisando aspectos como fundamentação, integração e utilidade.

Qualificações essenciais

• Proficiência em japonês: capacidade de ler e escrever em japonês com alto nível de compreensão, já que o japonês é o idioma principal deste projeto.
• Persona
• Nesta função, você fará parte de uma equipe dinâmica dedicada à avaliação da qualidade das interações personalizadas com IA. Seu trabalho diário incluirá:
• Criar e executar prompts de conversação com várias trocas de mensagens (normalmente de 1 a 5 trocas) que exijam que a IA utilize suas informações pessoais e experiências.
• Avaliar as respostas do modelo com base na sua intenção a partir do prompt inicial, verificando se a personalização foi aplicada adequadamente.
• Analisar as respostas quanto a problemas de fundamentação, garantindo que as afirmações sobre você sejam respaldadas por evidências e não por inferências falhas ou alucinações.
• Avaliar a qualidade da integração para garantir que os dados pessoais sejam incorporados naturalmente à resposta, sem uma “narração excessiva” robótica.
• Avaliar rigorosamente e classificar duas respostas do modelo lado a lado (SxS) para determinar qual é, no geral, mais útil, fácil de usar e agradável.
• Redigir justificativas claras e fundamentadas para suas comparações, referenciando explicitamente onde ocorreram problemas ou aspectos positivos na conversa.
• Extrair e verificar “Informações de Depuração” do modelo para confirmar que os resumos do chat e as fontes de dados foram utilizados corretamente.
• Manter uma higiene de dados rigorosa, excluindo conversas de avaliação para evitar que elas contaminem seu histórico de bate-papo futuro.

Formação e Experiência

• Graduação (BS/BA) ou experiência equivalente em uma área relevante (por exemplo, Política, Direito, Ética, Linguística, Jornalismo, Ciência da Computação ou uma área analítica relacionada).
• Experiência em anotação de dados, IA