职位描述
研究范围
研究计算机视觉和语言领域范围明确但具有开放性的实证机器学习问题。项目要求端到端负责:准备数据、训练模型、诊断失误、衡量结果,并在严格的数据、计算资源、参数数量、模型大小或延迟预算内改进表现。核心职责包括:
- 从零开始训练图像分类器和生成式图像模型
- 微调开放权重语言模型
- 提高数据效率和训练效率
- 诊断优化、稳定性和泛化问题
- 在保持准确率的同时压缩模型
- 使用统计上合理的比较方式评估结果
对抗鲁棒性
相关经验可包括图像分类器的对抗训练、投影梯度方法、以鲁棒性为重点的目标函数,以及标准威胁模型下的评估。研究人员应了解如何衡量鲁棒准确率、避免梯度掩蔽陷阱、处理干净样本准确率与鲁棒性之间的取舍,以及解决鲁棒过拟合。语言模型的行为鲁棒性也属于研究范围。有用的工作包括塑造多轮对话行为、抵抗劝诱或迎合、校准置信度,以及确定模型何时应接受纠正。
高效计算机视觉
项目可能涉及类别相似且数量众多、样本有限的细粒度图像识别。量化、剪枝、知识蒸馏,以及在严格的设备端、边缘端或嵌入式约束下部署的经验具有价值。研究人员应能够选择适当的架构和训练流程,在减少参数数量、内存使用或推理延迟的同时保持准确率。
生成式图像建模
相关背景包括从零开始训练扩散模型、生成对抗网络、变分自编码器或基于流的模型。工作可能涉及围绕样本质量指标快速迭代,以及在训练时间有限或模型规模较小的条件下构建高质量生成器的技术。
语言模型后训练
监督微调、偏好优化、基于人类或 AI 反馈的强化学习,或相关后训练方法的实操经验会有帮助。项目可能要求通过合成生成、弱监督或噪声监督、拒绝采样构建数据集,并进行定向对齐,在不损害通用能力的情况下改变特定行为。
多语言预训练
研究可能涵盖从零开始训练的多语言或低资源模型。相关主题包括跨书写系统和语系的分词器设计、高度不均衡语言数据的采样策略,以及数据受限条件下的跨语言迁移。
其他研究领域
其他有帮助的经验包括:
- 缩放定律和高效训练研究
- 课程学习和数据排序
- 基准设计和数据污染控制
- 不确定性估计与校准
- 用于提升鲁棒性的数据增强和合成数据
任职资格
候选人需要至少三年机器学习研究经验;博士研究计入这一要求。必须具备主流深度学习框架的扎实实操能力。知名大学学位、主要科技或 AI 机构工作经验,或同等水平的论文发表与有影响力的开源成果,可用于证明所要求的研究水平。合作安排灵活,按项目开展,薪酬描述为具有竞争力。