Engenheiro de Software Sênior – Avaliação de IA

Visão geral da função

Engenheiro de Software Sênior – Avaliação de IA Sobre a função E se suas habilidades de engenharia pudessem determinar diretamente se os sistemas de IA mais avançados do mundo estão realmente funcionando? Esta oportunidade é para Engenheiros de Software Sênior projetarem, construírem e escalarem a infraestrutura de avaliação que mede o desempenho da IA — a camada crítica entre a saída bruta do modelo e a confiança no mundo real

O que você fará

• Projetar e construir pipelines de avaliação escaláveis e frameworks para medir o desempenho de modelos de IA em diversas tarefas e domínios
• Desenvolver harnesses de teste automatizado, sistemas de pontuação e ferramentas de benchmarking para grandes modelos de linguagem e outros sistemas de IA
• Escrever código limpo e de qualidade de produção para processar, analisar e visualizar conjuntos de dados de avaliação em escala
• Criar e manter APIs, painéis e ferramentas internas que permitem às equipes de pesquisa executar, acompanhar e comparar avaliações com eficiência
• Colaborar com pesquisadores de IA e cientistas de dados para traduzir metodologias de avaliação em software confiável e repetível
• Otimizar o desempenho do sistema, a velocidade de processamento de dados e os custos de infraestrutura
• Escrever documentação clara e participar de revisões de código para manter altos padrões de engenharia
• 5+ anos de experiência profissional em engenharia de software, com histórico de construção e entrega de sistemas em produção

Requisitos e condições

• Local: Remoto
• Dedicação: 20–40 horas/semana
• Colaborar com pesquisadores de IA e cientistas de dados para traduzir metodologias de avaliação em software confiável e repetível
• 5+ anos de experiência profissional em engenharia de software, com histórico de construção e entrega de sistemas em produção
• Forte proficiência em Python — incluindo experiência com bibliotecas de processamento de dados (pandas, NumPy) e frameworks web (FastAPI, Flask ou Django)
• Experiência com grandes conjuntos de dados e construção de pipelines de dados
• Excelentes habilidades de comunicação escrita — você documenta seu trabalho com clareza e colabora de forma assíncrona
• Automotivado e confiável ao trabalhar de forma independente em ambiente remoto

Detalhes adicionais da fonte

• Identificar casos extremos, modos de falha e problemas de confiabilidade em saídas de IA por meio de abordagens sistemáticas de engenharia
• Contribuir para a arquitetura e direção técnica da plataforma de avaliação
• Sólida compreensão de arquitetura de software, padrões de design e melhores práticas de engenharia
• Confortável com infraestrutura em nuvem (AWS, GCP ou Azure) e implantações em contêineres