月度归档： 2026 年 3 月

新增两台联想 ThinkSystem SR860 V3 服务器到虚拟化生产集群

• VMware、服务器 • 评论关闭

新增两台联想 ThinkSystem SR860 V3 服务器到虚拟化生产集群 Add Two Lenovo ThinkSystem SR860 V3 Servers to the Virtualization Production Cluster
1、将两台 SR860 V3 服务器上架到机柜。确认电源四路接入，并做好标识与基础检查。检查服务器硬件完整性（CPU、内存、RAID 控制器、HBA、网卡）

2、SAN 连接

- 每台服务器至少双 HBA（多路径）。
- 连接到两个独立 Fabric（A/B）SAN 交换机。

3、网络连接

- 每台服务器四网口绑定（链路聚合）。
- 配置管理 VLAN。

4、SAN光交换机配置

#1、登录10.77.77.77、10.77.77.78
telnet 10.77.77.77
telnet 10.77.77.78

#2、检查 zoneset 已有成员
# show zoneset active vsan 10
zoneset name server vsan 10
  zone name zone1 vsan 10
  * fcid 0x880000 [interface fc1/1 swwn 20:00:00:3a:9c:ca:62:70]
  * fcid 0x881500 [interface fc1/2 swwn 20:00:00:3a:9c:ca:62:70]
  * fcid 0x880200 [interface fc1/3 swwn 20:00:00:3a:9c:ca:62:70]

  zone name zone2 vsan 10
  * fcid 0x880000 [interface fc1/1 swwn 20:00:00:3a:9c:ca:62:70]
  * fcid 0x881500 [interface fc1/2 swwn 20:00:00:3a:9c:ca:62:70]
  * fcid 0x880600 [interface fc1/4 swwn 20:00:00:3a:9c:ca:62:70]

  zone name zone3 vsan 10
  * fcid 0x880000 [interface fc1/1 swwn 20:00:00:3a:9c:ca:62:70]
  * fcid 0x881500 [interface fc1/2 swwn 20:00:00:3a:9c:ca:62:70]
  * fcid 0x881600 [interface fc1/5 swwn 20:00:00:3a:9c:ca:62:70]

  zone name zone4 vsan 10
  * fcid 0x880000 [interface fc1/1 swwn 20:00:00:3a:9c:ca:62:70]
  * fcid 0x881500 [interface fc1/2 swwn 20:00:00:3a:9c:ca:62:70]
  * fcid 0x880800 [interface fc1/6 swwn 20:00:00:3a:9c:ca:62:70]

  zone name zone5 vsan 10
  * fcid 0x880000 [interface fc1/1 swwn 20:00:00:3a:9c:ca:62:70]
  * fcid 0x881500 [interface fc1/2 swwn 20:00:00:3a:9c:ca:62:70]
  * fcid 0x880500 [interface fc1/7 swwn 20:00:00:3a:9c:ca:62:70]

  zone name zone6 vsan 10
  * fcid 0x880000 [interface fc1/1 swwn 20:00:00:3a:9c:ca:62:70]
  * fcid 0x881500 [interface fc1/2 swwn 20:00:00:3a:9c:ca:62:70]
  * fcid 0x880400 [interface fc1/8 swwn 20:00:00:3a:9c:ca:62:70]

  zone name desktop01 vsan 10
  * fcid 0x881300 [interface fc1/37 swwn 20:00:00:3a:9c:ca:62:70]
  * fcid 0x880b00 [interface fc1/38 swwn 20:00:00:3a:9c:ca:62:70]
  * fcid 0x880c00 [interface fc1/39 swwn 20:00:00:3a:9c:ca:62:70]

  zone name desktop02 vsan 10
  * fcid 0x881300 [interface fc1/37 swwn 20:00:00:3a:9c:ca:62:70]
  * fcid 0x880b00 [interface fc1/38 swwn 20:00:00:3a:9c:ca:62:70]
  * fcid 0x880d00 [interface fc1/40 swwn 20:00:00:3a:9c:ca:62:70]

  zone name desktop03 vsan 10
  * fcid 0x881300 [interface fc1/37 swwn 20:00:00:3a:9c:ca:62:70]
  * fcid 0x880b00 [interface fc1/38 swwn 20:00:00:3a:9c:ca:62:70]
  * fcid 0x880e00 [interface fc1/41 swwn 20:00:00:3a:9c:ca:62:70]

  zone name desktop04 vsan 10
  * fcid 0x881300 [interface fc1/37 swwn 20:00:00:3a:9c:ca:62:70]
  * fcid 0x880b00 [interface fc1/38 swwn 20:00:00:3a:9c:ca:62:70]
  * fcid 0x880f00 [interface fc1/42 swwn 20:00:00:3a:9c:ca:62:70]

  zone name desktop05 vsan 10
  * fcid 0x881300 [interface fc1/37 swwn 20:00:00:3a:9c:ca:62:70]
  * fcid 0x880b00 [interface fc1/38 swwn 20:00:00:3a:9c:ca:62:70]
  * fcid 0x881000 [interface fc1/43 swwn 20:00:00:3a:9c:ca:62:70]

  zone name desktop06 vsan 10
  * fcid 0x881300 [interface fc1/37 swwn 20:00:00:3a:9c:ca:62:70]
  * fcid 0x880b00 [interface fc1/38 swwn 20:00:00:3a:9c:ca:62:70]
  * fcid 0x881200 [interface fc1/44 swwn 20:00:00:3a:9c:ca:62:70]

#3、确认服务器是否成功连接到SAN交换机
SWFS6700UP(config)# show flogi database detail
--------------------------------------------------------------------------------------------
INTERFACE        VSAN    FCID           PORT NAME               NODE NAME            FLAGS
--------------------------------------------------------------------------------------------
fc1/1            10    0x880000  56:c9:2b:fa:00:21:7e:20 56:c9:2b:fa:00:00:7e:20 P
fc1/2            10    0x881500  56:c9:2b:fa:00:21:7e:21 56:c9:2b:fa:00:00:7e:21 P
fc1/3            10    0x880200  21:00:f4:e9:d4:59:b1:04 20:00:f4:e9:d4:59:b1:04 P
fc1/4            10    0x880600  21:00:f4:e9:d4:59:a6:fa 20:00:f4:e9:d4:59:a6:fa P
fc1/5            10    0x881600  21:00:f4:e9:d4:59:ae:13 20:00:f4:e9:d4:59:ae:13 P
fc1/6            10    0x880800  21:00:f4:e9:d4:59:a6:fe 20:00:f4:e9:d4:59:a6:fe P
fc1/7            10    0x880500  21:00:34:80:0d:6e:21:98 20:00:34:80:0d:6e:21:98 P
fc1/8            10    0x880400  21:00:f4:e9:d4:59:a6:e8 20:00:f4:e9:d4:59:a6:e8 P
fc1/9            10    0x881700  10:00:70:b7:e4:2d:91:a6 20:00:70:b7:e4:2d:91:a6 P
fc1/10           10    0x881800  10:00:70:b7:e4:2d:91:6a 20:00:70:b7:e4:2d:91:6a P
fc1/37           10    0x881300  56:c9:2b:fa:00:21:89:90 56:c9:2b:fa:00:00:89:90 P
fc1/38           10    0x880b00  56:c9:2b:fa:00:22:89:91 56:c9:2b:fa:00:00:89:91 P
fc1/39           10    0x880c00  10:00:00:10:9b:c6:9f:ab 20:00:00:10:9b:c6:9f:ab P
fc1/40           10    0x880d00  10:00:00:10:9b:c6:9f:cf 20:00:00:10:9b:c6:9f:cf P
fc1/41           10    0x880e00  10:00:00:10:9b:c6:9b:45 20:00:00:10:9b:c6:9b:45 P
fc1/42           10    0x880f00  10:00:00:10:9b:c6:b1:3c 20:00:00:10:9b:c6:b1:3c P
fc1/43           10    0x881000  10:00:00:10:9b:c6:9d:f9 20:00:00:10:9b:c6:9d:f9 P
fc1/44           10    0x881200  10:00:00:10:9b:c6:b4:2d 20:00:00:10:9b:c6:b4:2d P

Total number of flogi = 18.

FLAGS:
A area FCID allocation
L loop device
V FDISC
D the wwn matches the default OUI list
O the wwn matches the configured OUI list
P allocation was done based on the persistency table
M indicates a VMID capable FCID
#4、新增zone，添加新服务器接口
#zone name zone7 vsan 10
member interface fc1/1
member interface fc1/2
member interface fc1/9

#zone name zone8 vsan 10
member interface fc1/1
member interface fc1/2
member interface fc1/10

zoneset name server vsan 10
member zone7
member zone8

#5、激活 zoneset
zoneset activate name server vsan 10

show zoneset active vsan 10
show flogi database vsan 10

#6、保存配置
copy running-config startup-config


#7、修改 zone 成员（如有误）（fc1/7 → fc1/9）
进入 zone 配置模式
conf t
zone name zone7 vsan 10
  no member interface fc1/7
  member interface fc1/9


5、网络交换机配置

#
interface Eth-Trunk7
 description LenovoUP
 port link-type trunk
 port trunk allow-pass vlan 2 to 4094
 mode lacp-dynamic
#
interface Eth-Trunk8
 port link-type trunk
 port trunk allow-pass vlan 2 to 4094
 mode lacp-dynamic
#
#
interface 10GE1/0/25
 eth-trunk 7
 device transceiver 10GBASE-FIBER
#
interface 10GE1/0/26
 eth-trunk 7
 device transceiver 10GBASE-FIBER
#
interface 10GE1/0/27
 eth-trunk 7
 device transceiver 10GBASE-FIBER
#
interface 10GE1/0/28
 eth-trunk 7
 device transceiver 10GBASE-FIBER
#
interface 10GE1/0/29
 eth-trunk 8
 device transceiver 10GBASE-FIBER
#
interface 10GE1/0/30
 eth-trunk 8
 device transceiver 10GBASE-FIBER
#               
interface 10GE1/0/31
 eth-trunk 8
 device transceiver 10GBASE-FIBER
#
interface 10GE1/0/32
 eth-trunk 8
 device transceiver 10GBASE-FIBER
#

6、存储添加和卷映射主机


6、服务器安装ESXi7操作系统


7、更新ESXi补丁

# esxcli software sources profile list -d /vmfs/volumes/60071865-c14e10d6-bc6f-b4055d4dc1b4/ISO/VMware-ESXi-7.0U3w-24784741-depot.zip

Name                           Vendor        Acceptance Level  Creation Time        Modification Time
-----------------------------  ------------  ----------------  -------------------  -----------------
ESXi-7.0U3w-24784741-standard  VMware, Inc.  PartnerSupported  2025-07-15T00:00:00  2025-07-15T00:00:00
ESXi-7.0U3w-24784741-no-tools  VMware, Inc.  PartnerSupported  2025-07-15T00:00:00  2025-06-09T07:05:28

# esxcli software profile update -p ESXi-7.0U3w-24784741-standard -d  /vmfs/volumes/60071865-c14e10d6-bc6f-b4055d4dc1b4/ISO/VMware-ESXi-7.0U3w-24784741-depot.zip

8、配置 vSwitch0
负载均衡 修改为 基于 IP 哈希的路由
9、创建 vMotion 网络（vMotion_Network）用于虚拟机迁移。

10、FS6700和博科620SAN交换机配置区别

功能 Cisco（思科 MDS） Brocade（博科） 核心区别 / 注意事项
进入配置模式 conf t configure（很少用在zoning） Cisco 强依赖配置模式；Brocade zoning 多为直接命令
定义逻辑域 vsan database vsan 10 ❌（无 VSAN，单 Fabric） 最大区别：Cisco 支持 VSAN 多租户隔离，Brocade 不支持**
创建别名 fcalias name host1 vsan 10 member pwwn xx alicreate "host1","pwwn" 本质一样（alias），但 Cisco 必须绑定 VSAN
创建zone（两个成员） zone name zone1 vsan 10 member fcalias host1 member fcalias storage1 zonecreate "zone1","host1;storage1" Cisco 多行配置；Brocade 一行完成
添加成员到zone member fcalias host2 zoneadd "zone1","host2" Brocade 支持直接追加；Cisco 在 zone 下操作
创建zone集合 zoneset name zs1 vsan 10 member zone1 cfgcreate "cfg1","zone1" zoneset = cfg（最关键映射）
添加zone到集合 member zone2 cfgadd "cfg1","zone2" Cisco 是上下文命令；Brocade 是独立命令
激活配置 zoneset activate name zs1 vsan 10 cfgenable "cfg1" Cisco 按 VSAN 激活；Brocade 全局激活
保存配置 copy running-config startup-config cfgsave Brocade 不保存会丢；Cisco 也一样但机制不同
查看激活配置 show zoneset active vsan 10 cfgactvshow Cisco 需要指定 VSAN
查看全部配置 show zone cfgshow Brocade 输出更集中（含 alias/zone/cfg）

KVM 手动直通 NVIDIA 2080 Ti 显卡和 PCIe NVMe SSD

• KVM、服务器 • 评论关闭

KVM 手动直通 NVIDIA 2080 Ti 显卡和 PCIe NVMe SSD

本文介绍在 KVM 虚拟化环境 下，将 NVIDIA 2080 Ti 显卡 和 PCIe NVMe SSD 手动直通到虚拟机（VM）的完整流程，包括：查看硬件、绑定 VFIO、修改 XML、更新 initramfs、启动虚拟机 等操作。

1、硬件信息查看
使用 lspci 命令查看 PCI 设备信息：
# 查看 NVMe 和显卡相关设备

 lspci -nn | grep NV
41:00.0 VGA compatible controller [0300]: NVIDIA Corporation TU102 [GeForce RTX 2080 Ti] [10de:1e04] (rev a1)
41:00.1 Audio device [0403]: NVIDIA Corporation Device [10de:10f7] (rev a1)
41:00.2 USB controller [0c03]: NVIDIA Corporation Device [10de:1ad6] (rev a1)
41:00.3 Serial bus controller [0c80]: NVIDIA Corporation Device [10de:1ad7] (rev a1)

# 查看NVMe SSD
3d:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd Device a825

2、PCI设备加入 VFIO
VFIO（Virtual Function I/O）是 Linux 提供的一种 安全直通 PCI/PCIe 设备给虚拟机 的机制。
它的作用主要有：
将 PCIe 设备交给 QEMU/KVM 使用
避免宿主系统占用或干扰设备
提供安全、稳定的直通环境
绑定规则：
对显卡（多功能 device：GPU + Audio + USB + Serial）来说，需要 VFIO 绑定所有相关 function。
对 NVMe SSD，只需要绑定对应 device（通常 function 0）即可。
GPU：绑定所有功能（function 0~3）
NVMe SSD：只绑定 function 0

VFIO 配置（lspci -nn）
# VFIO 绑定绑定 Samsung NVMe SSD（ lspci -nn ）
echo "options vfio-pci ids=144d:a825" > /etc/modprobe.d/vfio.conf

# VFIO 绑定绑定显卡（lspci -nn）
echo "options vfio-pci ids=10de:1e04,10de:10f7,10de:1ad6,10de:1ad7" >> /etc/modprobe.d/vfio.conf

#加载模块
modprobe vfio
modprobe vfio-pci

3、更新 initramfs
为了保证 VFIO 模块在系统启动前加载，需要更新 initramfs

dracut -f
重启
reboot
验证是否成功
lspci -nnk | grep -A3 3d:00.0

4、虚拟机 XML 配置示例
#显卡直通 虚拟机XML文件

 <video>
      <model type='cirrus' vram='16384' heads='1' primary='yes'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x0'/>
    </video>
    <hostdev mode='subsystem' type='pci' managed='no'>
      <driver name='vfio'/>
      <source>
        <address domain='0x0000' bus='0x41' slot='0x00' function='0x0'/>
      </source>
      <rom bar='on' file='/var/lib/zstack/pcirom/50aa30f480ed4937a300585c6b668fdf'/>
    </hostdev>
    <hostdev mode='subsystem' type='pci' managed='no'>
      <driver name='vfio'/>
      <source>
        <address domain='0x0000' bus='0x41' slot='0x00' function='0x1'/>
      </source>
    </hostdev>
    <hostdev mode='subsystem' type='pci' managed='no'>
      <driver name='vfio'/>
      <source>
        <address domain='0x0000' bus='0x41' slot='0x00' function='0x2'/>
      </source>
    </hostdev>
    <hostdev mode='subsystem' type='pci' managed='no'>
      <driver name='vfio'/>
      <source>
        <address domain='0x0000' bus='0x41' slot='0x00' function='0x3'/>
      </source>
    </hostdev>
可以删除 <address> 元素，让 libvirt 自动选择空闲 PCI 地址，避免冲突。

#硬盘直通 虚拟机XML文件
<hostdev mode='subsystem' type='pci' managed='yes'>
  <driver name='vfio'/>
  <source>
    <address domain='0x0000' bus='0x3d' slot='0x00' function='0x0'/>
  </source>
  <address type='pci' domain='0x0000' bus='0x0f' slot='0x00' function='0x0'/>
</hostdev>
SSD PCI 地址必须与虚拟机其他设备不冲突，可手动指定唯一 bus/slot/function，或删除 <address> 让 libvirt 自动分配。

5、启动虚拟机

 virsh start ad7f750b87694a27a29f099e1c0dcd44

6、查看虚拟机的VNC端口号

[root@localhost ~]#  virsh vncdisplay ad7f750b87694a27a29f099e1c0dcd44
:0
#表示端口默认是5900，可以使用VNC客户端进行链接。

浪潮NF5280M7（Xeon 4514Y）与CS5280H3（HYGON 5480）平台对比及CPU升级指南

• KVM、VMware、服务器、硬件 • 评论关闭

浪潮NF5280M7（Xeon 4514Y）与CS5280H3（HYGON 5480）平台对比及CPU升级指南
1、浪潮NF5280M7（Xeon 4514Y）平台

2、浪潮CS5280H3（HYGON 5480）平台

3、Intel 第四代与第五代 Xeon 平台说明
以 4514Y / 2.0GHz 为代表的 Intel 第四代、第五代 Xeon 可扩展处理器，已经全面进入新一代服务器平台，其核心硬件特征如下：

CPU 插槽：FCLGA4677（Socket E）
内存类型：DDR5
PCIe：5.0

平台代号：
* 第四代：Sapphire Rapids
* 第五代：Emerald Rapids

### 平台关键变化

与第三代平台相比，这一代属于架构级升级：

插槽由 LGA4189 → FCLGA4677
内存由 DDR4 → DDR5
PCIe 由 4.0 → 5.0
单颗 CPU 功耗明显提升
核心数密度提升

结论：第四/五代 CPU 必须搭配 DDR5 主板和内存，无法向下兼容。

4、Intel 第六代 Xeon 发展现状

目前 Intel 已推出更新一代 Xeon（行业通常称为第六代 Xeon），整体技术趋势包括：

继续基于 DDR5 内存体系
更高核心密度（含 E-core 架构）
更高带宽互连
更强调 AI / 向量计算能力
平台功耗进一步提升

重要判断：

从第四代开始，Xeon 平台已经全面进入 DDR5 时代，后续代际基本不会再回到 DDR4。

5、Intel Xeon 可扩展处理器代际与插槽

代际 架构代号 常见插槽 内存
第一代 Skylake-SP LGA3647 DDR4
第二代 Cascade Lake LGA3647 DDR4
第三代 Ice Lake LGA4189 DDR4
第四代 Sapphire Rapids FCLGA4677 DDR5
第五代 Emerald Rapids FCLGA4677 DDR5
第六代 Granite Rapids（演进中） 新平台演进 DDR5

### 规律总结
Intel 路线非常清晰：
1–2 代：同插槽
3 代：换插槽
4–5 代：新插槽
6 代：继续平台演进
几乎每 1–2 代就会出现平台级不兼容

6、海光（HYGON）平台说明

CPU_HYGON_5480 / 2.5GHz，属于海光四号处理器平台，是当前国产服务器的重要路线之一。

## 海光四号平台特征

内存类型：DDR5
面向：双路/多路服务器
架构：x86 兼容体系
定位：国产高性能服务器 CPU
与海光三号相比属于平台代际跃迁。

7、海光 CPU 插槽与代际关系
海光的升级逻辑与 Intel 类似：

代际升级 ≈ 平台升级

## 海光平台演进

平台代号 常见名称 内存代际 平台定位
海光三号 Dhyana DDR4 上一代主流
海光四号 新一代 Hygon DDR5 当前主流

### 兼容性结论

海光3号 ≠ 海光4号（CPU不可互换）
DDR4 平台 ≠ DDR5 平台
主板必须原生支持对应代际

8、标准升级检查清单（建议纳入流程）

在实施 CPU 或整机升级前，必须逐项确认：
[ ] CPU 插槽完全一致
[ ] 主板官方支持列表（QVL）
[ ] 内存代际匹配（DDR4 / DDR5）
[ ] 散热器满足 TDP
[ ] 电源冗余 ≥20%
[ ] BIOS / BMC 已更新
[ ] 是否涉及整个平台更换