服务器硬盘知识详解

一、服务器硬盘的分类、厂商情况和选型经验

服务器作为IT设备，我们常说的服务器组成三大件是CPU、内存和硬盘（AI服务器会包括GPU），其中硬盘的作用可以理解为服务器的“数据仓库”，用于存储各类数据文件（可细分为系统盘、缓存盘和数据盘）。

1、硬盘分类：机械和固态

目前常见服务器“外存储设备”为HDD机械硬盘和SSD固态硬盘两大类。从机械硬盘到固态硬盘的演进是“存储器”领域最重要的变革。两类硬盘的内部构造有着显著的区别，分析如下：

①、机械硬盘（HDD）是计算机系统重的主要的存储媒介之一。由一个或者多个铝制或者玻璃制成的磁性碟片，磁头，转轴，控制电机，磁头控制器，数据转换器，接口和缓存等几个部分组成。工作时，磁头悬浮在高速旋转的碟片上进行读写数据。机械硬盘是集精密机械、微电子电路、电磁转换为一体的存储设备。

②、固态硬盘（SSD）内部没有圆形的磁盘，取而代之的存储介质是被称为闪存颗粒的半导体材料，通过主控运行固件程序来控制数据读写，工作时依靠传递电信号的方式进行数据的传输而不发生任何机械运动。相对机械硬盘，读取速度更快，寻道时间更小，可加快操作系统启动速度和软件启动速度。

③、相比机械硬盘SSD优点如下

数据存取速度快：在密集的IO读写和低延迟方面与传统硬盘对比性能优异
故障率低：内部不存在任何机械部件，内部全部采用闪存芯片
绿色环保：工作时静音，发热量小，散热快
重量更轻：有利于移动设备的携带

④、按照硬盘接口分类：

HDD硬盘的接口目前以SATA和SAS为主

SSD硬盘的接口目前以U.2、M.2、SATA为主

与接口相关的介绍详见下文的章节；

⑤、HDD和SSD硬盘的尺寸：

HDD主要尺寸：主流的硬盘中，有3.5寸和2.5寸2种，不同硬盘厂商的外形尺寸都在公差范围内，差异极小。

3.5寸：LFF，长*宽=147mm*101.85mm，企业级3.5寸硬盘的厚度一般为26.1mm 。
2.5寸：SFF，长*宽= 100.45mm*69.85mm ，企业级2.5寸硬盘的厚度一般为15mm 。

SSD主要尺寸：主流的固态硬盘尺寸为2.5寸，不同硬盘厂商的外形尺寸差异微小。

2.5寸：SFF，长*宽= 100.45mm*69.85mm ，SSD的高度有7mm，9.5mm和15mm，各个厂家可能设计不同的厚度，但不会超过15mm。

2、厂商（品牌）情况

①、HDD品牌情况：希捷Seagate、西数WD、东芝Toshiba，前两个是美国的，东芝是日本的，机械盘被国外垄断，没有国产品牌，找国外公司贴牌的不算；

②、SSD品牌情况：市场常见海外品牌有：三星Samsung、思得Solidigm（是SK海力士收购英特尔存储业务后推出的新品牌，是Intel SSD继承者）、美光Micron、西数WD、铠侠kioxia（铠侠前身是日本东芝的存储业务）等；国产SSD品牌有很多常见的有忆恒创源（Memblaze）、忆联（记忆科技与联想共同投资的存储技术子公司）、大普微、得瑞领新，华为等，下面是IDC统计的2024年中国企业级SSD厂商市场份额，供参考；

3、服务器硬盘选型配置经验

服务器在配置硬盘时通常需要考虑三个方面：

1、系统盘：必配，用于安装操作系统，对于容量要求不高通常480G-960G就够了，目前以SATA SSD为主，可以是标准2.5寸也可以是M.2形态的，SAS系统盘的需求见得的不多了，根据可靠性要求配置1或2块，2块组raid；

2、缓存盘：选配，用户缓存加速，以NVMe或者SATA SSD为主，容量常见的有3.84T、7.68T或者15.36T，通常不需要做Raid；

3、数据盘：选配，用户本地数据存储，最常见的是HDD大容量盘（10-20T）、当然对于性能有要求的也可以配置SATA SSD和NVMe SSD；或者混合搭配实现数据分层存储，数据盘更多考虑的是单T的价格；

二、硬盘的“接口”类型

1、服务器硬盘接口规格

硬盘规格三要素：

①、接口类型：与产品尺寸有关

②、总线类型：与传输速率有关

③、协议类型：与IO/延迟有关

备注：U.2的接口背板通常可以向下兼容SAS、SATA；SAS可以向下兼容SATA。反之不支持；

2、SAS、SATA和U.2接口图示：

SAS和SATA接口如下图所示是通过红圈2区分，SATA硬盘红圈2部分是分开的，SAS是连接在一起的，且背面有金手指。

U.2接口在硬盘端的接口使用的是与目前主流的SATA接口外形相类似，采用SFF-8639接口的2.5英寸PCIe固态硬盘，实现了热插拔的功能，对于数据中心用户的可维护性来说有显著提升。加上SFF-8639接口标准本身涵盖了PCIe、SATA和SAS，用户可以根据自身需求来进行灵活配置。“下图中红色字体的部分就是在传统SAS连接器基础上增加的PCIe引脚——包括通道0、通道3-1和边带，从而实现了双端口SAS和PCIe共用一个连接器，兼容不同协议的SSD和HDD。”

在同样2.5寸盘设计下，PCIe本身功耗比SASSATA要高，在散热设计以及功耗的问题上， U.2硬盘厂商会在主控芯片做了大量低功耗设计，确保其发热可控，辅以性能抑制和纯铝外壳导热，使得散热方面得到了非常好的处理。

2、常见NVMe SSD接口参数等规格情况

①、M.2接口介绍

2013年诞生的M.2接口。M.2接口又叫NGFF(Next Generation Form Factor)接口。M.2常见规格：2260、2280、22110，其中22表示硬盘的宽度为22mm，60、80分别表示不同长度。PCB板越长可容纳的内存颗粒越多，容量也就越大。目前比较主流的是2280和22110。

M.2接口分为B-Key和M-Key。B-Key又称为socket2，支持SATA总线和PCIex2总线。M-Key又称为socket3，支持SATA总线和PCIex4总线,在PCI-E*4通道上可以支持NVME协议，对应PCIe3.0时理论带宽32Gbps。

M.2接口按照插槽来划分可以分为BKey和MKey金手指上的缺口可以看到这他们在物理形态上的的区别。

②、AIC 接口SSD介绍

AIC形态的SSD，作为PCIe总线另外一个形态的接口，比其他接口的SSD产品性能更为稳定。性能更高但成本也很高，现在主要用于服务器及台式机电脑，可直连在消费级主板PCIe插槽上，同时颇受对主机性能要求很高的游戏玩家青睐，目前在服务器上使用很少了。

③、U.2 接口NVMe SSD

U.2接口具备高速低延迟低功耗的特点，且U.2接口的固态硬盘体积较大，规格为2.5英寸。一些发烧友玩家会选配转接卡或转接线，连接到家用主机上，这样速度快，传输稳定。容量：480G~30.72T

④、E1.S 接口NVMe SSD介绍

几年前，Intel新推出的另一款E1.S形态SSDD7-P5520则既具有较高的性能，又具有较大的容量。由于提供了9.5mm和15mm两种厚度规格，因此具有1.92TB、3.84TB和7.68TB三种容量大小。虽然在存储容量上还赶不上U.2形态的SSD硬盘，但通过使用高性能的NAND颗粒，可以有效提升IOPS性能。

EDSFF的定义是针对下一代企业和数据中心打造的SSD设计规范，英文全称是Enterprise & Data Center SSD Form Factor，针对1U和2U标准的服务器，EDSFF定义了一系列企业和数据中心固态硬盘外形尺寸标准，以实现最大程度适配。

EDSFF分为E1和E3两大系列，每个系列又都分为Long和Shot两个版本，即E1 (E1.L、E1.S) 与E3(E3.、E3.S)，并按照不同的厚度和散热配置划分出不同型号: 在20W、25W基础上提供40W和70W等版本:PCle Lane数量也在x4的基础上增加了x8和x16(E3宽度可以满足x16，E1最大x8)，满足企业级SSD更高的读写性能。

有些朋友还是有点迷糊，E1和E3的定位有何区别？为什么E1.L没有了。目前及未来主推的形态是什么样的？E1.S是对1U设计的，E3是对2U机器设计的，那么E3.S可以用在1U机器上吗？

E1.L目的是为1U服务器提供大容量盘的解决方案。但是尺寸过长不利于高速信号布线，且需要服务器设计专门机箱， E1.L弹性变大，一旦弯折容易造成PCB损伤，硬件可靠性变低，所以E1.S变短了。

E3.S在1U机箱中需要横过来放，16.8mm的厚盘可以放10(与U.2数量相同)，7.5mm盘则可以放20个，比U.2多一倍。

E1、E3使用了相同的金手指，拥有更高信号质量的同时，兼容性也能得到保障。E3的高度允许SSD使用x4、x8甚至x16的PCIe接口，可实现的带宽和可配置的运行功率更高。支持PCIe x16链路的4C型号为57.02mm（宽），比U.2的SFF-8639明显小了许多，有利于硬盘背板设计的密度提升和散热优化。

下图是市场上已发布的品牌服务器对E1.S和E3.S的设计，其中E3.S比E1.S更薄，单位空间内可支持的更多；

E1.s和E1.L和其他主流接口SSD的图片对比；

M.2 NVMe、M.2 SATA、SSD SATA和 NVMe U.2厚度对比

4、服务器主板及硬盘背板各类接口和接头类型如下：

5、服务器主板和硬盘背板常见的互联线缆

三、HDD硬盘的工作原理

1、HDD硬盘结构和工作原理

认识机械硬盘的内部结构，主要由主轴马达、磁盘、磁头臂、磁头、永磁铁等组成，工作原理解析如下：

工作时，磁头会悬浮于磁盘面上方几纳米的距离。磁盘面上有很多的小格子，小格子内有很多的小磁粒。

读数据：磁粒极性，当磁粒极性朝下的时候记为0，磁粒极性朝上的时候记为1，这样磁头就可以通过识别磁盘磁粒的极性读取数据了。

写数据：而磁头也可以利用其变化的磁场改变磁盘磁粒的极性，这样就做到写入和改写磁盘数据了。

HDD的扇区和磁道的概念

为了能够精准定位数据所在磁盘面上的位置，磁盘本身又被划分了无数的扇区和磁道。

举个例子，读取存放在磁盘的第五磁道的第七扇区上的数据：

第一步：磁头就会先摆动到第五磁道上空
第二步：等待第七扇区转过来。当第七扇区转到磁头下面的时候，才可以读取数据。这就是机械硬盘数据读取的原理；

因为机械硬盘是利用磁性极粒来存储数据的，所以机械硬盘通常又被称作磁盘。

2、回顾HDD的技术演进（LMR->PMR=CMR->SMR）

机械硬盘凭借容量大、价格好的优势在市场上依然是使用最多的存储介质，目前的HDD主要分为CMRSMR两种，其实CMR和SMR都属于PMR技术的演进，而在PMR技术之前还有LMR，为了便于大家了解，我们一起做个回顾；

CMR和SMR的磁道排列对比

因为CMR的安全距离对容量带来影响，厂商就把磁道的距离进行了部分重叠，在盘片上容纳更多磁道，形成了SMR（叠瓦式磁记录方式）。SMR的问题比较明显，因为写入磁头要比读取磁头的刷过面积大，在写入数据时下一条磁道的数据会被擦除，需要先备份下一条磁道的数据，但是在写入下一条磁道数据时，又会擦除下下一条磁道的数据，解决办法是每隔一部分磁道设置一块安全距离（单个扇区内的数据），并采用大容量的缓存区来放置数据，所以一般SMR硬盘的缓存容量都比较大（通常在128M或者256M）；

3、空气盘和氦气盘

机械硬盘目前主要有两种封装，分别是空气和氦气。

空气盘：硬盘的碟片是非常精密的，一颗小灰尘都会导致盘片损伤。常见的硬盘内部空间充满了空气，为了避免温度变化带来的影响，硬盘内部和外部是通过一个小孔相通的。可以让空气流动而阻隔灰尘，保证硬盘内部的无尘环境。
氦气盘：定位高端的氦气硬盘则内部充满氦气。因为氦气是惰性气体，不易发生化学反应更稳定，长时间存放也不用担心内部的元件和数据受损。

氦气的密度只有空气的1/7，所以盘片和磁头在工作的时候阻力也会小很多，不仅可以让磁头更接近盘片，而且可以让磁道更加密集，提升盘片的容量，同时噪音更低。氦气盘因为成本更高，一般用在10T级别的大容量产品或企业级硬盘中，因为全盘密封，所以在耐久度上有更好的表现，但价格更贵。

4、企业级HDD产品的优势和规格

以希捷为例，企业级HDD对比其他系列的不同：

HDD与其他SSD硬盘的读写和IOPS数值对比（供参考）：

四、SSD硬盘的工作原理

1、SSD的内部结构组成

固态硬盘存储数据的基本单元叫浮栅晶体管，基本结构有：存储电子的浮栅层，控制极G、衬底P、源极D与漏极S。

2、NAND 闪存的存储原理：

利用量子力学的隧道效应，在控制门上加较高的编程电压，源极和漏极接地，使电子穿越隧道氧化层到达浮栅，并聚集在浮栅上，存储信息。擦除时仍利用隧道效应，不过把电压反过来，从而消除浮栅上的电子，达到清除信息的结果。寿命有限的原因是，电子反复来回穿越隧道氧化层而损坏隧道氧化层，导致存储单元物理破坏而不能再有效地保持浮栅门中的电荷。

3、SSD的数值表示方式

以 QLC举例举例：浮栅层中的电子数量高于一定值计为0，低于一定值计为1。

4、SSD的数据写入、擦除

写入数据时，需要在控制极G施加一个高压，这样电子就可以穿过隧穿层，进入浮栅层，因为有绝缘层的存在，（就算去掉电压）电子不能再向前移动了，就被囚禁在了浮栅层。

擦除数据时，我们擦除固态硬盘上的数据其实就是在释放这些被困的电子，即在衬底上施加高压，这样电子被吸出来，信息也就被擦除了。

5、SSD的数据读取原理：

读取时数据，当浮栅层中不存在电子时（数据=1），给控制级一个低压，由于电压低，电子只能被吸引到靠近隧穿层的位置，却无法穿过隧穿层，因而源极漏极可以导通，形成电流代表1。

当浮栅层中存在电子时（存储数据为0），我们还给控制极一个低压，由于浮栅层里面的电子对这些电子有排斥作用，所以电子无法被吸引到靠近隧穿层的位置，源极漏极不会导通，不会形成电流代表0。

SSD写穿的含义：

是因为在浮栅晶体管擦写的过程中，电子反复在隧穿层反复进出，导致隧穿层损坏，不能有效的阻拦电子，失去了隧穿层应有的作用。

6、SSD对比HDD的优势

为什么SSD的延迟比HDD低：

SSD内部的无数浮栅晶体管堆叠在一块就可以存储大量的0和1，它们就类似于图书馆当中的书架一样，存储着无限的0101数据。相对于机械硬盘，固态硬盘这种纯电子结构在存取速度方面的优势就非常突出。

在机械硬盘在读取数据之前，需要先摆动磁头臂到对应的磁道上方，再等待对应的扇区转过来。而固态硬盘全程都是电子交互，电子信号的速度要远超磁头臂和磁盘这种机械结构。

7、为什么会有“写放大”

写入放大（Write amplification，简称WA）是闪存和固态硬盘之间相关联的一个属性，所谓放大指的是在执行写入操作的时候，SSD硬盘发生的写入量，要远大于实际写入的数据量，从而减少了SSD的使用寿命。

写入放大的原理：因为NAND flash数据写入的方式，以页面为单位写入，但是要想删除数据却需要以块为单位。当写入新数据时，如果SSD控制器找不到可以写入的page时，会执行GC过程，然后GC机制会将一些block中的有效数据合并写入其他的block中，然后将这些block的无效数据擦出，再将新数据写入到这些block中，而在整个过程中除了要写入用户的数据之外，实际上SSD还写入了一些其他block合并过来的数据。

8、SSD磨损均衡的原理

为什么需要磨损均衡：NAND Flash的寿命有限，也就是有限的编程/擦写（Program/Erase）次数。数据有冷热之分，经常用来存储热数据的 NAND 会更快被磨损，当超过限制的 P/E 次数后，存储单元的可靠性就会大幅下降，最终不可用（变成坏块），需要从预留空间中挑选有效 block 进行补充。

磨损均衡的原理：针对冷热数据的不同访问特点，采用静态和动态两种磨损均衡算法来提高固态硬盘的整体寿命。对于经常被读写的热态数据（热数据），会根据 PE 次数和 block 中有效数据的个数综合来选择数据要存放的 block，保证全盘 block 的 P/E 接近平均 P/E，同时做尽可能少的数据搬移，减小写放大。

五、服务器的硬盘“通道”设计

1、服务器支持的硬盘数量