商汤-大规模/大模型研究实习生

cugb1952

一、商汤-大规模训练技术研究实习生

工作内容

1. 与资深工程师一起研究超大模型、超大规模训练技术（超多卡任你玩耍），探索模型训练在超算集群上的边界；

2. 在实际应用场景中落地打磨大规模训练技术，挖掘大规模训练技术的实际价值；

3. 总结深度学习框架工程实践中的经验，撰写技术文档.

职位要求

1. 有C++/Python的开发经验，具有良好的编程习惯；

2. 较强的自驱动力，对先进技术有浓厚兴趣；

3. 有较强的团队精神和沟通交流能力。

加分项

1. 熟悉模型训练和optimizer基本原理，了解分布式训练基本方法；对于混合精度训练、数据并行、模型并行等训练加速方法有所了解者优先；

2. 对深度学习训练中的显存占用情况有一定认识，了解ZeRO、Tensor Rematerialization等最新的显存优化技术者优先。

Base：北京/上海

投递：

zhujuan1@sensetime.com

二、商汤-视觉大模型研究实习生

工作内容

1. 研究超大视觉模型的训练策略，探索精度上界

2. 使用超大规模训练技术，探索视觉模型在超算集群上的性能边界

3. 多种并行式训练方法的工程实践

职位要求

1. 熟悉 Python/C++，具有良好的编程习惯

2. 有计算机视觉、深度学习算法基础，擅于跟踪和学习最前沿的学术和工业界技术

3. 了解常见的深度学习框架，熟练使用其中一种

4. 熟悉模型训练基本原理，有过模型训练与调试的经历

5. 熟悉Linux/Unix开发环境，有一定的debug能力

加分项

1. 了解分布式训练的基本原理

2. 对于混合精度训练、数据并行等训练加速方法有所了解

3. 了解模型并行

4. 了解 LARS 等超大 batch 下的相关训练技术

5. 有计算机视觉相关的科研经历

Base：北京/上海

投递：

zhujuan1@sensetime.com