高级软件工程师——AI评估

职位概述

高级软件工程师——AI评估 关于本职位：如果您的工程技能能够直接决定全球最先进AI系统是否真正有效，会怎样？本机会面向高级软件工程师，设计、构建和扩展评估基础设施，衡量AI性能——这是原始模型输出与现实世界信任之间的关键层。

工作职责

• 设计和构建可扩展的评估流水线和框架，评估AI模型在各类任务和领域的性能
• 开发自动化测试框架、评分系统和大型语言模型及其他AI系统的基准测试工具
• 编写简洁、生产级的代码，大规模处理、分析和可视化评估数据集
• 创建并维护API、仪表板和内部工具，帮助研究团队高效运行、追踪和比较评估结果
• 与AI研究人员和数据科学家合作，将评估方法论转化为可靠、可重复的软件
• 优化系统性能、数据处理速度和基础设施成本
• 编写清晰的文档并参与代码审查，维护高工程标准
• 5年以上专业软件工程经验，有构建和交付生产系统的记录

要求与条款

• 工作地点：远程
• 承诺工时：每周20–40小时
• 与AI研究人员和数据科学家合作，将评估方法论转化为可靠、可重复的软件
• 5年以上专业软件工程经验，有构建和交付生产系统的记录
• 熟练使用Python，包括数据处理库（pandas、NumPy）和Web框架（FastAPI、Flask或Django）
• 具备大型数据集处理和数据流水线构建经验
• 出色的书面沟通能力——能清晰记录工作并进行异步协作
• 自我驱动、在远程环境中独立工作时可靠

附加说明

• 通过系统性工程方法识别AI输出中的边界情况、故障模式和可靠性问题
• 参与评估平台的架构和技术方向决策
• 对软件架构、设计模式和工程最佳实践有扎实理解
• 熟悉云基础设施（AWS、GCP或Azure）和容器化部署