服务器捡垃圾指南2022: DELL R720XD

ddr

原本我使用的NAS，是一个兼容PC配件比如PC电源、PC主板、SATA硬盘的淘宝机架式服务器3U机箱+旧的淘汰PC配件，在服役了6年后，我还是决定换掉它了，核心原因如下：
1：机箱自带的SATA背板配合PCIE的6口SATA扩展器，稳定性不足，时间长了还是会偶尔出现有些盘开机找不到的现象，重启又会变好，接口检查了并没有接触不良。
2：PCIE X4 的6口SATA扩展器，配合主板自带的6个SATA接口，10个硬盘的时候，明显存在性能瓶颈和不稳定性，特别是多个硬盘同时大量读写的时候，甚至会出现系统卡死。不确定是主板给SATA分配的PCIE通道太小，还是PCIE转接卡的通道有问题。
3：1，2卡死和掉盘次数多了，硬盘出现损坏；管理不方便，尤其是死机的时候，需要手工去机柜操作，次数多了挺麻烦。

在寻找更好更稳定的PCIE转接卡的时候，发现DELL的2010年代初设计的12代服务器，现在已经是白菜价格了，但是如果是在正规无尘机房淘汰下来的机器，实际寿命还是可以很长的 ，于是决定这次鸟枪换三八步枪，尝试一下捡垃圾服务器。


在12代-15代DELL R系列2U服务器里，主要有2个型号，普通型和存储型XD，比如12代的R720和R720XD，主要区别是支持的硬盘个数不同导致设计上稍有区别，既然是替代NAS，那就选了XD型来支持更多的普通3.5寸硬盘。

具体配置：
1：至强E5 2670 2.6G 睿频3.3G 8核 16线程，双路两个
选双路是基于PCIE通道考虑，这一代的E5每个CPU是40条PCIE 3.0通道，在R720里面拆分成（PCIE X16，PCIE X8，PCIE X8，PCIE X8）* 2组，如果只选一个E5，则有一组3-4个PCIE扩展卡槽无法启用。
R720XD虽然因为在机箱尾部增加两个2.5寸硬盘扩展位导致少了一个CPU侧的几个X8扩展槽，但是那个X16的扩展槽还在，所以要想都启用还是要两个CPU。
而目前第一代E5几十快钱一个，完全没有节约的必要。如果是基于省电考虑，可以购买2代E5，功耗稍微低一些。

2：16G DDR3 ECC 1600内存 * 8
2个CPU共支持24个插槽，3组颜色，最大1.5T内存。
8条正好可以把白色插槽插满，也不用纠结插内存的顺序了，非常简单。目前16G的内存，淘宝100多块钱一条，丰俭由人吧。

3：H310阵列卡，直通模式
R720的主板上似乎有俩SATA接口，但是一般都不用，而是把前面板的硬盘和机箱内的硬盘热插拔都连到一张双SAS接口的阵列卡上统一管理。这个阵列卡配合主板BIOS可以在BIOS层级实现raid设定和管理，然后再安装操作系统。
由于发生过惨烈的RAID事故，所以我在NAS上选择不用raid，用goodsync这种自动备份软件定期备份的形式，目前SATA硬盘100多MB的读写速度，和千兆局域网是完美配合的，也不存在谁是瓶颈的烦恼。
所以在选择阵列卡时，就选了最便宜的H310作为直通阵列卡，来管理机器上的十几块SATA硬盘。如果要组RAID的，需要选H710之类的带缓存的卡。


4：2个2.5寸机箱内盘位+配套板子
这个是R720XD特有的，但是要单独加钱，占用了2个PCIE插槽的空间，配合前面板的12个3.5寸硬盘位，可以实现14个硬盘热插拔。位置在两个电源的上面。

这两个2.5寸盘位我装了SSD来装系统。这两个盘位也是连接到H310阵列卡的，和前面板的12个硬盘是一汽的，不是独立的通道，因此希望ESXI做虚拟机硬盘SATA直通的无法使用。
顺便说一下，网上搜索的资料显示，12代的这个机器不支持使用PCIE转接卡转NVME硬盘直接启动装系统（14代应该可以），要想这么用需要先用个U盘启动系统再转到NVME硬盘上，我看了太麻烦就没尝试。但是这不代表一定不行，因为网上很多资料都是错误的，比如我下面提到的独立显卡的事情，你在网上搜到的早于我这篇文章的细节都是不对的。

5：显卡
R720自带一个16M显存的老式显卡，型号是Matrox G200eR2。这个显卡和DELL的idrac是完美配合的，使用虚拟控制台截获这个显卡的输出可以完全远程控制这台机器装系统。
这个显卡搞个linux之类的可以，如果虚拟个win10，用一些高分辨率的PC远程桌面连接，光win10的那些特效就会卡死。另外，我用jellyfin做服务器转码，这个集成显卡也无力支持。
需要安装独立显卡的话，R720XD的官方说明书是这么写的：


按官方说法，R720XD是不支持GPU卡的。但是你仔细一想，这俩机器主板完全一模一样，只是前面板和后面扩展卡槽有区别，就连BIOS文件都是一个，不太可能啊。所以不管3721，试试再说。
选显卡的话，不能超过2槽的宽度，另外风扇也要考虑尽量别和机箱风道干扰太严重，全高全长这方面倒是没什么限制。如果需要外接电源，raise卡上有个8针接口，可以淘宝买8针转换双6+2针的R720专用转换线。
淘宝搜刀卡，基本都是一两百块的特老显卡，从A家和N家的官方网站对比一下，T400显卡最符合我的要求，丽台代工，闲鱼650一块全新3年保的，支持目前几乎全格式的编码和解码显卡里最便宜的一个，35W功耗无需外接电源。

买了2块直接插上，问题来了，按照网上搜的文章，需要在BIOS里面把把Embedded Video Controller和Memory Mapped I/O above 4G这2个选项关掉，也就是屏蔽掉集成显卡。
关掉第二项是对的一定要做，但是第一项禁用集成显卡后，各种问题就来了，不是这里黑屏，就是那里黑屏，不是这个环节没显示，就是那个环节没显示，而且iDRAC铁定没输出。
折腾了半天仔细一想，为啥要禁掉集成显卡，完全自己找事啊。于是把集成显卡打开，两个独显接上，万事大吉！！！
安装ESXI的话（注意DELL有个ESXI定制版，带驱动，最高只有6.7U3版本，我用的这个版本，在DELL官网下载），两个显卡可以完美直通。
如果安装WIN10的话，装完N家驱动，会提示你可以直接软件SLI两块显卡使用，不需要SLI连接器，现在的N家新显卡还是很厉害的。只是SLI似乎没啥实际用途，只有少数游戏支持，如果是编码解码的话，大多数软件也只会调用一块卡的编解码器。

6：iDRAC和风扇调速
我在淘宝买的二手服务器这家，是给iDrac的企业授权的，不错。
12代服务器是可以手工调速的，需要先在iDrac打开ipmi局域网调试选项，然后下载ipmi工具，用power shell执行调速命令发送到idrac的IP端口即可。
我目前设置转速20%，大概是4000转，在环境温度29度的夏天，双路E5加双T400显卡，待机可以做到CPU45度和显卡46度。跑四个虚拟机日常运行，CPU和显卡也就基本50度，这二手垃圾用起来还是很不错的。

7：电源
基于整机的功耗，我只选了一块750W的热插拔电源。
但是基于之前硬盘坏掉的教训，我给NAS新配了一个在线式机架UPS。
在买这个UPS时大意了，看了一圈觉得华为的UPS带USB和R232串口，型号是UPS2000-G-1KRTS，似乎比山特之类的高级，误以为可以直接插到服务器上实现断电通知自动关机，但是没想到买回来后不行，USB驱动装不上，好不容易装上了华为软件里搜不出这个接口。打华为电话说必须花钱买个独立的SNMP卡，问你那自带的2个接口是干嘛的，答哪个是我们内部自己导数据玩的时候用的不是给你用的。。。。。。
所以最后只能写个脚本，通过PING网关来判断是否停电了（网关不接UPS）
但是这个型号淘宝卖得很便宜，家用感觉很适合，拿到手质感也无敌。


总体感受：
1：iDrac是无敌方便，只要插上网线，以后再也不用动机柜了，随意尽情折腾吧。服务器在远程这方面体验完爆PC。
2：服务器家用的很多问题，网上资料很少，还是得自己多试。
3：即使是H310这样的最低端阵列卡，用起来也都超级稳定，把每块硬盘都同时用满也不会卡死。
4：整个系统几千块钱（不带硬盘）体验远超DIY的机器，这垃圾很值，捡垃圾真有意思！