深度学习服务器选型避坑与全栈调优实战

　　上周三下午四点十七分，我盯着屏幕右下角那行小字“NVIDIA SMI not found”，手指还悬在键盘上没敲完重启命令——就在这时候，王工从隔壁工位探头过来：“你们那个新训的模型，batch size调成八，跑出来loss飘得像放风筝。”

　　我原以为是训练脚本漏了CUDA_VISIBLE_DEVICES绑定，结果ssh进服务器一查，/dev/nvidia目录空得能照见人影。再lsmod | grep nvidia，干干净净。不是驱动没装，是根本没加载：nvidia_uvm模块压根不存在。厂商给的ISO镜像里，内核版本3.10.0-1160.118.1.el7.x86_64，而他们打包的nvidia-driver-525.85.12.run只兼容3.10.0-1160.118.2。就差一个补丁编号，模块编译失败，静默跳过，日志里连warning都没有。

文章配图，仅供参考

　　反正我也没急着骂人，先翻了翻/etc/modprobe.d/nvidia.conf，发现里面一行注释写着“# For RHEL7.9 only”，可我们用的是7.9.2009——他们把“RHEL7.9”当个模糊标签用，不认小版本号。后来才知道，这镜像是他们上个月打包的，当时还没出2009这个子版本。测试机用的7.9.2009，但QA只跑了基础CUDA算子，没跑nvidia-smi，因为觉得“只要torch.cuda.is_available()返回True就行”。

　　有次我盯着nvidia-smi的刷新间隔发呆，突然意识到自己左手边咖啡杯沿有个缺口（三年前摔的），右手边键盘F12键帽被磨得发亮（按CI重试按多了）。这些跟服务器选型没关系，删掉不影响事儿。还有，昨天地铁三号线早高峰换乘时广播说“本次列车终点站为北延段临时终点”，其实那站已经通了半年——这种信息也是冗余的，删掉也不碍事。

　　我重新挂载ISO，手动chroot进去执行driver install，跳过DKMS注册步骤，强行insmod那几个ko文件……刚敲完modprobe nvidia，风扇声突然变调，呜——一声拉长的啸叫，接着整台机器黑屏。IPMI日志里只有两行：“Overcurrent on GPU rail”和“Power supply 2 dropped”。原来他们把双路电源中的一路接到了普通PDU上，另一路才接UPS——断电测试时只拔了UPS那路，另一路还在供着，电压不平衡导致GPU供电纹波超标。监控里看不出异常，因为所有SNMP阈值都设在整机功耗层面，没人盯单路电流。

　　最绝的是，这批服务器型号在官网规格书里标着“支持NVIDIA A100 80GB SXM4”，但机箱导风罩厚度比A100公版厚1.3毫米，装上去之后，PCIe插槽定位销和GPU挡板卡扣错位0.7毫米——拧紧螺丝会顶弯PCB边缘。现场运维小张跟我说：“你别信参数表，我们第七次返厂才把导风罩改薄。”他递给我一张皱巴巴的纸条，上面手写“第十四台，右侧GPU散热鳍片已轻微形变，目视可见，未报警”。

　　所以优胜劣汰到底淘汰什么？不是跑分高低，是淘汰那些把“兼容性”当形容词而不是动词用的团队。你测一百个case，唯独没测“用户实际开机第一次敲nvidia-smi”。我也不知道怎么补这个窟窿，只知道王工昨天下班前最后那句：“loss飘是小事，GPU凉了才是大事。”

　　有谁碰到过这个吗

（编辑：航空爱好网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!