10.9 PCI(e)直通
PCI(e)直通可以让虚拟机直接控制物理服务器的PCI硬件设备。与使用虚拟化硬件相比，这种方式的优势有低延迟，高性能以及其他功能特性（例如，任务卸载）。
主要缺点是，一旦采用直通方式，对应硬件就不能再被主机或其他虚拟机使用。
10.9.1通用要求
硬件直通往往需要硬件设备的支持，以下是启用该功能的前置检查项目和准备工作清单。
硬件设备
硬件设备需要支持IOMMU（I/O Memory Management Unit）中断重映射，这需要CPU和主板的支持。
通常，具备Intel VT-d功能的Intel硬件系统，或具备AMD-Vi功能的AMD硬件系统均可以满足要求。但这不意味着直通功能可以开箱即用，硬件设备缺陷，驱动软件不完备等因素都可能导致硬件直通无法正常工作。
一般来说，大部分硬件都可以支持该功能，但服务器级硬件一般比消费级硬件能更好支持直通功能。
可以联系硬件设备厂商，以确定你的硬件设备是否在Linux下支持直通功能。
配置
确定硬件支持直通功能后，还需要完成相应配置才行。
IOMMU
首先需要在内核命令行启用IOMMU功能，见3.10.4节。命令行参数如下：
Intel CPU
Intel_iommu=on
AMD CPU
amd_iommu=on
内核模块
将以下内容添加到配置文件’/etc/modules‘中，确保内核加载相应模块
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd
然后还需要更新initramfs。命令行如下：
update-initramfs -u -k all
完成配置
配置完成后，需要重启以启用新配置。可用以下命令行查看新配置是否已启用。
dmesg | grep -e DMAR -e IOMMU -e AMD-Vi
如果显示IOMMU，Directed I/O或Interrupt Remapping已启用则表明配置已生效。具体显示内容随硬件类型而有所不同。
此外还需要确保直通硬件在独立的IOMMU组中。可用如下命令查看：
find /sys/kernel/iommu_groups/ -type 1
如硬件与其功能、根端口或PCI(e)桥在同一IOMMU组也可以正常直通，不受影响。
PCI(e)插槽
某些平台处理PCI(e)插槽的方式较为特别。如果发现硬件所在IOMMU组不符合直通要求，可以换个插槽试试看。
不安全的中断
某些平台允许使用不安全的中断。如需启用该功能，可以在/etc/modprobe.d/目录下新增.conf配置文件，并在配置文件中增加以下内容：
options vfio_iommu_type1 allow_unsafe_interrupts=1
务必注意，启用该功能可能导致系统运行不稳定。
GPU直通注意事项
首先，Web GUI的NoVNC和SPICE控制台都不能显示直通GPU的显存内容。
如果要通过直通GPU或vGPU显示图形输出，必须将物理显示器连接到显卡，或者通过虚拟机内的远程桌面软件（如VNC或RDP）才可以。
如果只是把GPU当做硬件加速器使用，比如运行OpenCL或CUDA程序，则不受以上所说情况影响。
10.9.2主机设备直通
大部分PCI(e)直通就是把整个PCI(e)卡直通，例如GPU或网卡直通。
主机配置
硬件设备一旦设为直通，主机将不能再使用。具体有两种配置方法：
1.将设备IDs作为参数传递给vfio-pci模块
在/etc/modprobe.d/目录新增’.conf’配置文件，文件内容示例如下
options vfio-pci ids=1234:5678,4321:8765
其中1234:5678和4321:8765是厂商和设备IDs，具体可以执行以下命令查看获取
lcpci -nn
2.对主机屏蔽驱动以确保可供直通使用
在/etc/modprobe.d/目录新增.conf配置文件，文件内容示例如下
blacklist DRIVERNAME
两种方法都需要更新initramfs并重启系统确保配置生效，具体参见10.9.1节。
确认配置
为了确认上面的配置生效，你可以在重启之后，执行下面命令
lspci -nnk
在输出的结果中，找到设备信息，如果有下面字段：
Kernel driver in use: vfio-pci
或者没有上面in use，也说明设备可以用于直通。
虚拟机配置
完成设备直通，还需要为虚拟机设置hostpciX参数，示例如下：
#qm set VMID -hostpci0 00:02.0
如果设备有多个功能（例如，00:02.0和00:02.1），可以用00:02即可将其一并直通。
另外，根据设备类型和客户机操作系统的不同，可能还需要设置一些附加参数：
x-vga=on|off
用于将PCI(e)设备标记为客户机的主GPU。启用该参数后，虚拟机的vga配置将被忽略。注意，某些设备不支持x-vga参数，则需要off。
pcie=on|off
通知Proxmox VE启用PCIe或PCI端口。某些客户机/设备组合需要启用PCIe，而不是PCI。而PCIe仅在某些q35类型的机器上可用。
rombar=on|off
用于设置ROM是否对客户机可见。默认为可见。某些PCI(e)设备需要设为对客户机不可见。
Romfile=
用于设置设备ROM文件路径，为可选参数。该路径是相对于/usr/share/kvm/的相对路径。
示例
下面的例子通过PCIe直通主GPU设备：
qm set VMID -hostpci0 02:00,pcie=on,x-vga=on
其他注意事项
为获得更好的兼容性，在直通GPU设备时，最好选择q35芯片组，并选择使用OVMF（针对虚拟机的EFI）代替SeaBIOS，选择PCIe代替PCI。注意，在使用OVMF时，同时需要准备好EFI ROM，否则还得使用SeaBIOS。
10.9.3 SR-IOV
另一种PCI(e)直通方法是利用设备自带的硬件虚拟化功能。当然，这需要硬件设备本身具备相应功能。
SR-IOV（Single-Root Input/Output Virtualization）技术可以支持硬件同时提供多个VF（Virtual Function）供系统使用。每个VF都可以用于不同虚拟机，不仅可以提供硬件的全部功能，而且比软件虚拟化设备性能更好，延迟更低。
目前，最常见的支持SR-IOV的设备是网卡（Network Interface Card）。能将单一物理端口虚拟化为多个VF，同时允许虚拟机调用校验卸载等等硬件特性，从而降低主机CPU负载。
主机配置
有两种方法可以启用硬件设备虚拟化功能VF。
1.设置启用驱动程序中的相应参数
例如Intel驱动中的
max_vfs=4
该参数可以配置在/etc/modprobe.d/目录下的.conf配置文件中。（修改配置后不要忘记更新initramfs文件）
参数的具体信息和设置方法可以查看驱动程序文档。
2.通过sysfs设置启用
如果设备硬件和驱动程序支持，可以在线调整VF数量。例如，可以通过以下命令在设备0000:01:00.0上启用4个VF：
#echo 4 > /sys/bus/pci/devices/0000:01:00.0/sriov_numvfs
如果需要将该配置永久生效，可以安装‘sysfsutils’软件包，并在/etc/sysfs.conf中配置相关参数，或在/etc/sysfs.d/目录下专门创建.conf配置文件也可以。
虚拟机配置
创建VF后，可以运行lspci命令查看相应的PCI(e)设备信息，并根据相应设备ID进行直通配置，具体步骤可参考10.9.2 节普通PCI(e)设备直通配置。
其他注意事项
配置SR-IOV直通，硬件平台支持是尤为重要的。有可能首先要在BIOS/EFI中设置启用相关功能，或使用特定PCI(e)端口。如有疑问，还要咨询平台厂商或查看有关手册才可以。
10.9.4中介设备（vGPU，GVT-g）
中介设备（mediated device）也是一种实现硬件功能和性能复用的硬件虚拟化技术，多见于GPU虚拟化配置中，如Intel GVT-g和Nvidia vGPU。
利用该技术，一个物理硬件设备可以创建多个虚拟设备，效果类似于SR-IOV。主要区别在于，中介设备不产生新的PCI(e)设备，并且只适用于虚拟机。
主机配置
首先，硬件卡需要支持中介设备技术。可以从厂商获取驱动以及相关配置文档。
Intel的GVG-g驱动已经集成在Linux内核，并可以在第5、6、7代Intel Core CPU直接使用，在E3 v4、E3 v5和E3 v6版本的Xeon CPU上也可以直接使用。
在Intel显卡上启用该技术，首先要确保已经加载kvmgt内核模块（例如将其写进配置文件/etc/modules），并按3.10.4节内核命令行相关内容，添加如下参数：
I915.enable_gvt=1
然后还要按10.9.1节内容更新initramfs，并重启服务器主机。
虚拟机配置
配置直通中介设备，只需要设置虚拟机的hostpciX参数的mdev属性即可。
具体可以通过sysfs查看所支持的硬件设备。如下例，列出0000:00:02.0下所有的设备类型：
#ls /sys/bus/pci/devices/0000:00:02.0/mdev_supported_types
每个条目都是一个目录，其中需要关注的重要文件有：
available_instances
用于记录当前可用的实例数量，每在虚拟机中使用一个mdev，该计数都会减1。
description
包含该类设备的功能简短描述
create
是一个功能点，用于创建该类设备。如果hostpciX的mdev属性被配置启用，Proxmox VE会自动调用该功能点。
下面是针对Intel GVT-g vGPU（Intel Skylake 6700k）的配置示例：
qm set VMID -hostpci0 00:02.0,mdev=i915-GVTg_V5_4
执行以上命令后，Proxmox VE会在虚拟机启动时自动创建该设备，并在虚拟机停止时自动删除清理。