1.2.1 历史演进#

SCSI 最初是并行总线架构（Parallel SCSI），多个设备共享一条总线，存在严重的先天限制：

• 地址空间极小：总线最多只能挂 8 或 16 个设备
• 传输距离极短：单端模式仅 6 米，差分模式 25 米
• 无法共享链路：多个 I/O 控制器不能共享一条 SCSI 总线，存在单一故障点
• 带宽瓶颈：并行信号在高频下的串扰问题限制了速率提升

并行 SCSI 已被彻底淘汰，但它定义的命令集（CDB 命令描述块）生命力极强，至今仍在 SAS、FCP、iSCSI 中被广泛承载。

1.2.2 核心地位#

SCSI 命令集是整个存储协议体系的”上层语言”。无论是后来的 SAS 直连、FC 光纤网络还是 iSCSI 以太网，本质上都是用不同的传输方式搬运 SCSI 命令。理解这一点，是理解后续所有协议的关键。

1.3.1 核心技术特点#

• 点对点架构：每个设备独享一条链路，不再有总线争用问题
• 强大的寻址能力：通过 SAS Expander（扩展器），一个域最多可寻址 65,535 个设备，远超并行 SCSI 的 16 个上限
• 双端口冗余：支持双端口连接，提供链路级容错
• 向下兼容 SATA：SAS 接口在物理层和协议层兼容 SATA 设备，SATA 硬盘可以直接插入 SAS 背板使用
• 交换式组网：支持通过 Expander 构建交换拓扑，实现灵活的存储连接

1.3.2 速率演进#

1.3.3 定位与场景#

SAS 是企业级硬盘（HDD 和 SSD）的主流直连接口，主要用于服务器内部连接硬盘、磁盘阵列柜（JBOD/ enclosure）。它的连接距离短（通常数米以内），不适合远距离组网，但在机箱内和近距扩展场景中仍是主力。

1.4.1 FCP：FC上的SCSI#

FCP（Fibre Channel Protocol）是 FC-4 层最重要的映射协议，它把 SCSI 命令封装在 FC 帧中传输。传统 FC-SAN 的核心就是 FC + FCP 的组合。

1.4.2 三种拓扑结构#

• 点对点（Point-to-Point）：两台设备直连
• 仲裁环（FC-AL）：设备以环形拓扑连接，共享带宽
• 交换式 Fabric（最主流）：通过 FC 交换机构建大规模存储网络，支持多设备并发通信

1.4.3 核心优势与代价#

优势：

• 高带宽：主流速率 16Gbps / 32Gbps，Gen6 可达 128Gbps
• 极低延迟：端到端延迟可低至 2 微秒以内
• 无损传输：内建流控机制，天然保证不丢包、不乱序
• 高可靠性：专为存储设计的协议栈，成熟稳定

代价：

• 需要专用硬件：必须使用 FC HBA 卡和 FC 光纤交换机
• 成本高昂：整套基础设施（HBA、交换机、光模块、光纤线缆）价格远高于以太网方案
• 管理复杂：需要独立的存储专网，运维门槛高

1.4.4 适用场景#

FC-SAN 长期是企业核心数据库、金融交易系统、大型虚拟化的首选存储网络方案，尤其在对延迟和可靠性要求极高的场景中占据主导地位。

1.5.1 协议封装#

1
┌──────────────┐
2
│  SCSI 命令    │  ← 存储命令集
3
├──────────────┤
4
│  iSCSI 协议   │  ← 封装层：添加 iSCSI 头
5
├──────────────┤
6
│  TCP          │  ← 保证可靠传输
7
├──────────────┤
8
│  IP           │  ← 路由寻址
9
├──────────────┤
10
│  以太网       │  ← 物理承载
11
└──────────────┘

1.5.2 核心优势与代价#

优势：

• 成本极低：复用现有以太网基础设施（网卡、交换机、网线），无需专用硬件
• 部署灵活：不受距离限制，可跨广域网传输
• 管理简单：IT 团队熟悉的 IP 网络技术即可管理
• 兼容性好：任何支持 TCP/IP 的网络都能运行

代价：

• 延迟较高：TCP/IP 协议栈开销大，每个数据包处理需消耗约 500-1000 个 CPU 周期
• CPU 占用高：大部分 iSCSI 实现依赖主机 CPU 处理协议栈，缺乏硬件卸载
• 无内建流控：TCP 本身有拥塞控制，但不像 FC 那样提供存储级别的流控保障
• 传输效率低：多层封装导致额外开销，性能受网络带宽和延迟影响明显

1.5.3 适用场景#

iSCSI-SAN 适合中小型企业或中等性能需求场景。建议配合独立 VLAN 或万兆以太网使用，避免与业务流量争抢带宽。

1.7.1 NVMe作用#

传统 SCSI/AHCI 协议面对闪存时暴露了严重瓶颈：

NVMe 的设计充分利用了闪存的并行特性和 PCIe 的高带宽，大幅降低延迟并提升 IOPS。

1.7.2 NVMe的核心设计#

• 多队列 + 深队列：64K 个 I/O 队列，每队列 64K 深度，完美匹配多核 CPU 和多闪存芯片的并行能力
• 多核无锁提交：每个 CPU 核心拥有独立的提交队列和完成队列，避免锁竞争
• 精简命令集：去掉了 SCSI 中大量针对机械硬盘的复杂命令，命令处理更高效
• 流控制优化：减少软件层面的开销，让硬件直接处理 I/O 调度

1.7.3 NVMe 的定位#

NVMe 是命令集层面的革新（对标 SCSI），PCIe 是它的本地物理载体（对标 SAS）。两者的关系正如 SCSI 之于 SAS：SCSI 定义”说什么语言”，SAS 定义”用什么线传输”；NVMe 定义”闪存时代的新语言”，PCIe 定义”本地高速通道”。

1.8.1 NVMe-oF作用#

NVMe SSD 的延迟已经做到 10 微秒级别，但如果通过 iSCSI（延迟约 100 微秒）或传统 SCSI 协议栈连接到远端存储，网络延迟会完全抵消 NVMe 的性能优势。NVMe-oF 的使命就是：将 NVMe 的低延迟、高并行语义端到端地保留到网络中，不被中间协议”打折”。

1.8.2 NVMe-oF 的三种传输方式#

NVMe-oF 使用 Capsule 封装格式统一屏蔽传输层差异，引入 NQN（NVMe Qualified Name）作为存储目标的全局唯一标识。

1.8.3 NVMe-oF 三大主流方案对比#

总结建议：

• 如果您的组织已有大量FC SAN资产且业务对稳定性要求极高，NVMe over FC 是利旧升级的最佳跳板。
• 如果业务属于AI智算、高频交易，对存储延迟有极致要求且预算充足，NVMe over RoCE 是不二之选。
• 如果面向云原生、分布式架构，追求高性价比、易部署与强兼容性，NVMe over TCP 是最具潜力的主流选择。

1.9.1 RDMA的存储重要性#

传统 TCP/IP 协议栈处理每个数据包需要消耗约 500-1000 个 CPU 周期，而 RDMA 仅需硬件层面的几个时钟周期即可完成一次内存读写。在 100GbE 网络下：

• RDMA 单流延迟：约 0.7 微秒
• TCP 延迟：约 15-20 微秒
• 差距：20 倍以上

这意味着 RDMA 可以将网络存储的延迟降低到接近本地 PCIe 直连的水平。

1.9.2 RDMA 的三种实现#

RDMA 本身是一套编程接口标准（Verbs API），底层有三种物理实现：

1.9.3 RDMA 的核心操作语义#

• Send/Recv：双边操作，发送端和接收端都需参与（类似传统消息传递）
• RDMA Write：单边操作，发起端直接写入远端内存，远端 CPU 完全不感知
• RDMA Read：单边操作，发起端直接读取远端内存，远端 CPU 完全不感知
• Atomic 操作：原子的 Compare&Swap、Fetch&Add 等操作

单边操作（Read/Write）是 RDMA 最强大的特性——远端 CPU 和操作系统对数据搬运完全无感知，真正实现了”零开销”。

1.10.1 无损网络：RoCE 的”生命线”#

RDMA 对丢包极度敏感（因为绕过了 TCP 的重传机制），因此 RoCE 网络必须配置为无损网络。这依赖以下关键机制：

• PFC（Priority-based Flow Control）：基于优先级的链路级流控，当某个优先级的队列即将溢出时，向上游发送暂停帧，防止丢包
• ECN（Explicit Congestion Notification）：交换机在队列拥塞时标记报文，接收端生成 CNP（拥塞通知包）反馈给发送端降速
• DCQCN 算法：发送端根据 CNP 反馈动态调整发送速率，缓解全局拥塞
• ETS（Enhanced Transmission Selection）：按优先级分配带宽，隔离存储流量与普通流量

这些机制需要在主机网卡、交换机、存储设备三端统一配置，任何一个环节缺失都可能导致性能劣化。

1.10.2 RoCE 的部署要点#

• 需使用支持 RDMA 的网卡（RNIC），主流厂商包括 NVIDIA（Mellanox）、Broadcom、QLogic
• RoCE 流量通常标记为 DSCP=48（CS6）和 VLAN PCP Priority 3
• 推荐 Spine-Leaf 三层 ECMP 架构，RoCE 存储网与业务 TCP 网物理隔离
• 全链路 MTU 必须一致（25GE 建议 2500，100GE 建议 5500）

1.11.1 协议关系图谱#

1
存储命令层:     SCSI ──────────────────────→ NVMe
2
                  │                           │
3
本地直连接口:    SAS（串行SCSI）             PCIe（高速总线）
4
                  │                           │
5
网络传输层:    ┌──┴──┐                    ┌───┴──────────────┐
6
              FC/FCP  iSCSI          NVMe/RDMA    NVMe/FC   NVMe/TCP
7
             (光纤)  (以太网/TCP)     (RDMA网络)  (光纤)    (以太网/TCP)
8
                                        │
9
                                    ┌───┴───┐
10
                              RDMA 实现方式
11
                             IB   RoCE   iWARP

1.11.2 关键指标横向对比#

1.11.3 技术演进趋势#

• FC-SAN → NVMe/FC：传统 FC 网络通过 FC-NVMe 升级，复用现有基础设施获得 NVMe 性能
• iSCSI → NVMe/TCP：IP-SAN 的自然演进路径，无需专用硬件
• RoCE v2 成为主流：在以太网生态上实现接近 InfiniBand 的性能，已成为新建高性能存储网络的首选
• NVMe-oF 统一存储网络：NVMe 命令集 + 多种 Fabric 传输，端到端保留闪存性能，正在成为现代数据中心的标配

总结一句话：SCSI 和 NVMe 是”说什么”（命令语言），SAS 和 PCIe 是”本地怎么说”（直连接口），FC、iSCSI、RDMA/RoCE 是”远程怎么说”（网络传输），而 NVMe-oF 则是把闪存时代的新语言高效地搬到远程网络上的完整方案。