STEM (Professores)

STEM (Professores)

A equipe está buscando professores nas áreas de STEM, incluindo Aprendizado de Máquina, Programação, Ciência de Dados, etc., para contribuir com um projeto que apoia um esforço de avaliação de modelos de ponta focado em programação e fluxos de trabalho autônomos. Você irá projetar e validar tarefas de benchmark desafiadoras para ajudar a identificar e diagnosticar lacunas de raciocínio e resolução de problemas em um modelo-alvo.

Atividades diárias

• Projeto e desenvolvimento de tarefas: Projete problemas desafiadores, específicos do domínio e baseados no mundo real, que sirvam de base para tarefas de agentes. Os problemas devem ser construídos para abordar falhas específicas de perda de capacidade central identificadas em um modelo de IA de ponta
• Geração de especificações e solução ideal: Integre os problemas em um ambiente de desenvolvimento de agentes, preparando todos os componentes necessários usando Python, incluindo:
• Instruções detalhadas e uma visão geral da tarefa exigida
• Uma solução ideal que siga as instruções
• Quaisquer consultas específicas e feedback com conhecimento específico do domínio
• Avaliação e análise: Avaliar o desempenho do modelo cruzado nas tarefas
• Identificação de margem de manobra: Identificar tarefas nas quais o modelo alvo não consegue passar em todos os testes, classificando especificamente a falha como uma falha de raciocínio lógico
• Extração de perdas: Analisar as etapas do agente (trajetória do agente) para observar e extrair padrões de perda de capacidade essencial do modelo. 3. Qualificações essenciais