2.1.1 物理接口层#

常见的接口有：M.2、2.5 英寸 SATA、U.2、E1.S 等

指的是盘插在哪儿、长什么样。M.2 就是一条 22mm 宽、长度有 2230/2242/2260/2280/22110 等规格的小卡（2280 最主流），直接插在主板上的 M.2 插槽里。2.5 英寸 SATA 盘则是一块 7mm 厚的小方盒，用 SATA 数据线 + 电源线连接。M.2 和 2.5 英寸只是”插座形状”，不代表速度。

2.1.2 总线层#

常见的总线有：SATA、PCIe

指的是数据传输走的”公路”。SATA 3.0 的带宽只有 6 Gbps，理论最高约 550~600 MB/s，这是 SATA 硬盘永远绕不过去的天花板。PCIe 是另一条带宽高得多的总线，PCIe 3.0 x4 约 32 Gbps、PCIe 4.0 x4 约 64 Gbps、PCIe 5.0 x4 约 128 Gbps，对应顺序读速约 3500 / 7500 / 15000 MB/s。

2.1.3 协议层#

常见的协议层：AHCI、NVMe

指的是数据在总线上”怎么说话”。SATA 总线配套的传统协议是 AHCI，针对机械硬盘时代设计，指令队列深、延迟高；NVMe 则是专为闪存和 PCIe 通道量身定制的新协议，并发队列多、延迟极低，性能上限远高于 AHCI。

2.1.4 主流方案组合#

2.1.5 其他注意事项#

M.2 ≠ 一定是 NVMe。 M.2 是物理形态，既可以走 SATA 总线（即”M.2 SATA”），也可以走 PCIe 总线（即”M.2 NVMe”）。市面上有一种 M.2 SATA 盘，外形和 M.2 NVMe 一模一样，但走的仍是 SATA 协议，速度同样被锁在 550 MB/s 左右，价格有时还挺贵。

从金手指缺口可辅助判断。 M.2 盘的金手指上通常有防呆缺口：B+M Key（双缺口）多为 M.2 SATA；M Key（单缺口，靠右侧）多为 M.2 NVMe。但这只是大概率规律，最可靠的方式仍是查看商品详情页的”接口协议”字段，或插上后用 CrystalDiskInfo 等工具验证。

速度瓶颈取决于整条链路中最弱的一环。 就算介质是顶级闪存、协议是 NVMe，如果走的是 SATA 总线，速度照样被压到 550 MB/s。反过来，M.2 NVMe 盘插在 PCIe 3.0 的主板上只能跑到 3500 MB/s，插在 PCIe 4.0 主板上才能跑到 7000 MB/s，PCIe 是向下兼容但会降速的。

2.2.1 SATA#

1. SATA协议栈#

SATA（串行高级技术附件）采用经典的四层分层设计模型，将复杂的功能分解到不同的逻辑层次中，各司其职：

• 物理层（Physical Layer）：负责最底层的电气连接和机械连接。它定义了传输线缆、连接器，并使用 8b/10b 编码将数字比特流转换为差分电信号。此外，它还通过带外信号（OOB）来完成链路初始化、速度协商和复位等功能。
• 链路层（Link Layer）：负责数据帧的可靠传递。它通过生成控制原语（Primitive）来管理通信状态，实现数据的加解扰、CRC校验以及基于 HOLD/HOLDA 机制的流量控制，防止数据溢出。
• 传输层（Transport Layer）：负责将上层的命令和数据封装成标准化的“帧信息结构”（FIS）。它定义了多种 FIS 帧类型（如寄存器 FIS、数据 FIS、DMA 激活 FIS 等），实现主机与设备间的数据交互和 NCQ 队列管理。
• 应用层（Application Layer）：直接与操作系统或驱动程序交互，负责解析和执行 ATA/ATAPI 指令集，管理设备的状态寄存器，并实现具体的读写缓存、SMART 监控等高级特性。

2. SATA工程化视角理解#

SATA 是面向消费级和入门级企业存储的接口，其设计核心是成本与容量的平衡。

• 物理接口层

• 连接器：采用 7针数据接口（L型防呆设计）和 15针电源接口。

• 信号：使用两对低压差分信号线（TX+/-, RX+/-）实现全双工通信，典型峰对峰值差模电压为 500mV。

• 线缆：内部线缆最大长度通常为 1-2 米（SATA 3.0 为 2米），不支持长距离传输。

• 拓扑：严格的点对点（Point-to-Point） 连接，一个端口只能连接一个设备，无总线争用。

• 总线层

• 链路管理：通过 OOB（带外信号） 机制（COMRESET, COMINIT, COMWAKE）完成链路初始化、速度协商和热插拔检测，不依赖高速数据时钟。

• 数据编码：采用 8b/10b 编码，将数据流转换为电信号，同时提供时钟恢复和直流平衡，但带来 20% 的协议开销。

• 流控与纠错：链路层通过原语（Primitives）进行流量控制（HOLD/HOLDA），并使用 CRC 校验和加解扰（Scrambling）保障数据完整性。

• 协议层

• 帧格式：使用 FIS（Frame Information Structure，帧信息结构） 作为数据传输的基本单元，包括寄存器 FIS、数据 FIS、DMA 激活 FIS 等。

• 命令集：上层运行 ATA/ATAPI 指令集，由主机通过 AHCI（高级主机控制器接口） 规范与设备交互，支持 NCQ（原生指令队列）优化机械硬盘的寻道性能。

2.2.2 SAS#

1. SAS协议栈#

SAS（串行连接 SCSI）为了突破并行 SCSI 的性能瓶颈，采用了更为细致的六层功能架构，实现了命令逻辑与传输层的解耦：

• 物理层（Physical Layer）：作为硬件基础层，规范了通信的硬件载体细节，包括线缆、连接器的物理形态、引脚布局以及传输介质的电气特性。
• PHY 层：衔接物理硬件与上层协议，包含 8b/10b 编解码方案，并规范了设备初始化流程（如复位序列、链路握手逻辑）。
• 链路层（Link Layer）：负责连接管理和数据预处理，通过原语实现链路初始化与维持，处理数据加解扰、CRC校验以及速率匹配，保障传输可靠性。
• 端口层（Port Layer）：作为调度接口层，协调链路层的硬件资源，完成多设备场景下的连接建立，处理中断信号并实现链路的动态切换或故障响应。
• 传输层（Transport Layer）：负责数据的封装与解包。它将应用层下发的命令、状态、数据按照 SAS 帧的结构规范进行封装，或拆解接收到的 SAS 帧并传递给应用层。
• 应用层（Application Layer）：作为业务落地层，聚焦于具体场景的交互逻辑。它内置了 SSP（串行 SCSI 协议）、STP（SATA 隧道协议）和 SMP（SCSI 管理协议）三大子协议，完美兼容 SCSI 和 SATA 设备的读写与管理需求。

2. SAS工程化视角理解#

SAS 是面向企业级存储的接口，其设计核心是高性能、高可靠与强扩展性，并在物理和协议层面向下兼容 SATA。

• 物理接口层

• 连接器：内部直连常用 SFF-8482 接口，外观与 SATA 类似但中间无缺口，且支持双端口（Dual Port） 设计以实现路径冗余。多盘连接则使用 Mini-SAS HD (SFF-8643) 等高密度接口。

• 信号：同样采用低压差分信号，但电气规范更严格，支持更长的线缆和更复杂的背板环境。

• 拓扑：支持点对点直连，更关键的是支持通过 SAS Expander（扩展器） 构建扇出（Fan-out）或边缘（Edge）拓扑，单域理论上可支持高达 65,535 个设备。

• 总线层

• 链路管理：链路建立机制与 SATA 类似，但支持更复杂的速率协商和链路宽度聚合（Wide Port），可将多个 PHY 捆绑以提升带宽和冗余。

• 数据编码：SAS-1/2/3 使用 8b/10b 编码；从 SAS-4 开始，为降低开销，演进为更高效的 128b/150b 编码（含 Reed-Solomon 前向纠错），有效带宽显著提升。

• 连接管理：端口层（Port Layer）负责管理 PHY 到 Port 的映射，处理连接的建立、断开及故障切换，这是 SATA 所不具备的。

• 协议层

• 多协议融合

  ：传输层包含三大核心协议：

  1. SSP (Serial SCSI Protocol)：用于与 SAS 设备通信，承载 SCSI 命令集，支持 T10 DIF/DIX 端到端数据保护、多路径 I/O (MPIO) 等企业级特性。
  2. STP (Serial ATA Tunneling Protocol)：用于在 SAS 域内透明传输 SATA 命令，实现 SAS 控制器对 SATA 硬盘的管理。
  3. SMP (Serial Management Protocol)：用于发现、配置和管理 SAS Expander 及域内设备。

• 命令集：上层运行 SCSI 指令集，支持更深的命令队列、更复杂的错误恢复逻辑和存储虚拟化功能。

2.2.3 FC#

1. FC协议栈#

FC（光纤通道）协议栈包含五层结构，主要应用于企业级存储区域网络（SAN），具备通道和网络的双重优势：

• FC-0（物理层）：定义了物理传输介质（光纤或铜缆）、连接器、信号速率及电气特性，支持热插拔。
• FC-1（传输/编码层）：负责信号的编码与解码（如 8B/10B 或 64b/66b 编码），确保数据流的直流平衡和时钟恢复。
• FC-2（信令/帧层）：这是 FC 协议的核心层，定义了帧结构、流控制（基于硬件的 BB_Credits 机制）、服务类别及交换机制。FC 交换机在此层基于 24 位 Fabric ID 进行数据帧的转发。
• FC-3（公共服务层）：提供数据条带化、组播、加密等通用服务。
• FC-4（协议映射层）：实现上层协议（如 SCSI、IP、NVMe 等）到 FC 网络的映射，支持这些协议的透明传输。

2. FC工程化视角理解#

FC 是面向高端 SAN 网络的接口，其设计核心是无损网络、低延迟与长距离传输，本质上是一个存储网络协议。

• 物理接口层 (FC-0)

• 连接器：主流为 SFP/SFP+ 光模块接口，也支持铜缆（如 Twinax），但非 L型 SATA 接口。

• 介质：支持光纤（长距离、高抗扰）和铜缆（短距离、低成本），传输距离可达数公里甚至更远，这是 SATA/SAS 无法企及的。

• 拓扑：支持 点对点、仲裁环（FC-AL） 和 交换式 Fabric（FC-SW） 拓扑，其中 Fabric 是主流，通过 FC 交换机连接大量设备。

• 总线层 (FC-1 & FC-2)

• 编码与帧：FC-1 层负责 8b/10b 或 64b/66b 编码；FC-2 层定义帧结构、流控制和交换机制。

• 无损流控：核心是 BB_Credits（Buffer-to-Buffer Credits） 机制，这是一种基于硬件的、逐跳的信用流控，确保在链路拥塞时发送方暂停，从根本上杜绝丢包，保障存储 I/O 的确定性延迟。

• 寻址：在 Fabric 拓扑中，设备通过 24位 Fabric ID 进行寻址和路由，由交换机基于硬件转发表进行线速转发。

• 协议层 (FC-4)

• 协议映射：FC-4 层是协议映射层，负责将上层协议封装到 FC 帧中。

• 主流协议

  ：

  1. FCP (Fibre Channel Protocol for SCSI)：最主流的映射，将 SCSI 命令 封装在 FC 帧中传输，保留了 SCSI 的全部企业级特性。
  2. FC-NVMe：新兴标准，将 NVMe 命令 直接映射到 FC，以发挥 NVMe SSD 的低延迟优势，同时利用 FC 网络的无损和长距离特性。
  3. 也支持 IP、FICON 等其他协议的映射。

3. FC涉及的组件#

当有人说“这台服务器走 FC”时，通常意味着一整套东西：

• HBA 卡：服务器端的 FC 主机总线适配器（区别于网卡和 RAID 卡）；

• SFP/SFP+ 光模块 + LC 光纤：物理连接介质；

• FC 交换机：组建 Fabric，做 zoning（分区隔离）；

• 存储阵列的 FC 前端端口：接收主机访问；

• 多路径软件（如 multipath、PowerPath）：利用 FC 多链路实现冗余。

2.3.1 SAN网络存储协议（网络块存储，远端裸 LUN）#

给主机提供块设备，主机需要自己格式化建文件系统

1. FCP（SCSI over FC） 光纤通道 SAN，FC 网络上承载 SCSI 命令。 网络：专用 FC 光纤交换机网络；协议栈：SCSI → FCP → FC 五层协议。 场景：传统企业核心 SAN，数据库。

2. FCoE（FC over Ethernet） FC 帧封装在以太网，保留 FC 原生 FCP，跑在以太网上，不需要单独 FC 交换机，但要无损以太网。 缺点：对网络要求高，现在用得少。

3. iSCSI SCSI over TCP/IP，普通以太网承载 SCSI。 协议栈：SCSI → iSCSI → TCP → IP → 以太网。 优点：复用现有局域网，成本低；虚拟化、中小型 SAN 大量使用。

4. NVMe-oF（NVMe over Fabrics）

   新一代高性能网络块协议，把 NVMe 命令放到网络传输，包含 3 种传输：

   • NVMe/TCP：NVMe over TCP/IP，普通以太网，目前主流
   • NVMe/RoCE：RDMA over 以太网，低延迟，需要无损网络
   • NVMe/IB：NVMe over InfiniBand，高性能 HPC 集群

2.3.2 NAS 网络存储协议（网络文件存储，远端文件共享）#

存储自带文件系统，客户端直接挂载目录，读写文件，不需要格式化裸盘

1. NFS（Network File System） Unix/Linux 主流文件共享，基于 RPC。版本：v3 /v4 /v4.2；v4 支持锁、安全认证。
2. SMB / CIFS（Server Message Block） Windows 原生文件共享协议，CIFS 是老版本，SMB2/SMB3 现代版本。Windows、Linux、mac 都可以访问 NAS。
3. WebDAV HTTP 扩展协议，通过 HTTP 访问远程文件，跨平台，性能一般。
4. FTP / SFTP 文件传输协议，多用于下载上传，不支持操作系统原生挂载作为持久存储，一般不算标准 NAS 协议。

2.3.3 对象存储网络协议（网络对象访问，REST API）#

基于 HTTP，操作对象（数据 + 元数据），不是块也不是传统文件

1. S3（S3 REST API） AWS S3 协议，对象存储事实标准。MinIO、各大厂商对象存储全部兼容 S3。
2. Swift API OpenStack Swift 原生对象 API，现在使用变少。
3. Azure Blob Storage API 微软对象存储接口。

3.1.1 控制器#

• 控制器，Ctrl：存储系统中承载业务处理的核心模块。

• 控制器上的CPU和Cache共同实现对来自主机系统I/O请求的操作和对磁盘阵列的RAID管理。

• 每个控制器可内置多个硬盘，用于保存存储系统的数据和系统掉电后Cache中的数据。控制器间的硬盘互相冗余。

• 前端端口, FE ( Front End) <用于应用服务器和存储设备进行业务通信>,即对主机I/0进行处理。

• 后端端口， BE ( Back End )：负责连接控制框和硬盘框，是数据从硬盘读写的通道。

• 缓存(Cache)<是硬盘控制器上的一块内存芯片>,具有极快的存取速度,它是硬盘内部存储和外界接口之间的缓冲器。

• 引擎(Engine)：引擎（Engine）是电子平台上开发程序或系统的核心组件，通常是一个程序或一套系统的支持部分。

3.1.2 BBU和风扇模板#

• “风扇模块`为系统提供散热功能，可以支持控制框在最大功耗下的正常运行。
• BBU能够在系统外部供电失效的情况下，提供后备电源支持，以保证存储阵列中业务数据的安全性。
  • 在系统电源输出正常时处于备份状态，当外部电源断开时，BBU能够继续给系统供电。BBU支持失效隔离，当BBU出故障时不会影响系统的正常运行。当系统掉电时BBU能确保系统将Cache数据写入控制器内置硬盘，保证数据不丢失。在系统外部电源故障恢复时，驱动软件将保存在控制器内置硬盘上的数据读出恢复至Cache中。使用锂电池备电的系统，都需要通过对电池进行充放电来刷新和检测电池容量，用于提前发现电池部件在网长时间不使用导致容量衰减，无法满足系统备电应用，导致数据备份失败的问题，提升系统掉电数据保护的可靠性。

3.1.3 保险箱盘#

• 保险箱盘用于保存存储系统的数据、系统配置信息和日志、系统掉电后Cache中的数据。

• 存储系统中存在两种保险箱盘:内置的保险箱盘和外置的保险箱盘。

• 内置的保险箱盘：

  • Huawei OceanStor Dorado V6每个控制器内置1块或2块SSD硬盘作为保险箱盘，详细配置请参考产品文档。

• 外置的保险箱盘：

  • 存储系统会自动选择系统中的4块硬盘规划为保险箱盘，每块硬盘各取2GB空间组成RAID1，保险箱盘上的其他容量可以用来存储业务数据。当保险箱盘故障时，为保障冗余性，系统会自动从其余硬盘中选择状态正常的盘来替代故障保险箱盘。

3.1.4 电源模块#

3.3.1 级联所需设备组件#

3.3.1.1 CE交换机#

• 华为CloudEngine系列盒式交换机是面向数据中心推出的新一代高性能、高密度、低时延以太网交换机，采用灵活的前后/后前风道设计。
• 可以应用于IP SAN组网，分布式存储组网场景。

3.3.1.2 FC交换机#

• 光纤交换机是一种高速的网络传输中继设备，它较普通交换机而言采用了光纤电缆作为传输介质。光纤传输的优点是速度快、抗干扰能力强。
• 可应用于FC SAN组网场景。

3.3.1.3 设备线缆#

• 串口线缆：用来连接设备的系统串口到维护终端。

• mini SASHD线缆：存储系统中mini SASHD线缆用于连接级联端口，连接控制框到硬盘框。线缆分为mini SAS HD电缆和mini SAS HD光缆。

• 100GQSFP28线缆：主要用于多控间直连组网或连接智能硬盘框。

• 25GSFP28线缆<主要用于前端主机组网>。

• 光纤：设备通过光纤与光纤交换机进行通信。光纤的一端可连接FC(FibreChannel)HBA(Host Bus Adapter)卡，另一端连接光纤交换机或存储。光纤两端都为LC(Lucent Connector)连接器。存储到光纤交换机可以使用MPO-4*DLC光纤线连接，MPO-4*DLC光纤是8GbFC接口模块(8端口)和16GbFC接口模块(8端口)专用线缆。