Áreas de atuação profissional (Professores)

Áreas de atuação profissional (Professores)

A equipe está buscando professores das áreas de Finanças, Contabilidade, Direito e outros serviços profissionais para contribuir com um projeto que apoia um esforço de avaliação de modelos de ponta, com foco em codificação e fluxos de trabalho baseados em agentes. Você irá projetar e validar tarefas de benchmark desafiadoras para ajudar a identificar e diagnosticar lacunas de raciocínio e resolução de problemas em um modelo-alvo.

Atividades diárias

• Concepção e desenvolvimento de tarefas: Conceba problemas desafiadores, específicos do domínio e baseados no mundo real, que sirvam de base para tarefas de agentes. Os problemas devem ser construídos para abordar falhas específicas de perda de capacidade central identificadas em um modelo de IA de ponta
• Especificações e geração da solução ideal: Integre os problemas em um ambiente de desenvolvimento de agentes, preparando todos os componentes necessários usando Python, incluindo:
• Instruções detalhadas e uma visão geral da tarefa exigida
• Uma solução ideal que siga as instruções
• Quaisquer consultas específicas e feedback com conhecimento específico do domínio
• Avaliação e análise: Avaliar o desempenho do modelo cruzado nas tarefas
• Identificação de margem de manobra: Identificar tarefas nas quais o modelo alvo não consegue passar em todos os testes, classificando especificamente a falha como uma falha de raciocínio lógico
• Extração de perdas: Analisar as etapas do agente (trajetória do agente) para observar e extrair padrões de perda de capacidade essencial do modelo. 3. Essencial