必要なハードウェア

• （Intelの場合）VT-xとVT-dをサポートしたチップセット・CPU
• UEFI（GOP）をサポートするVGA

VT-dはちょっと前までローエンドや倍率ロックフリーのCPUだとサポートされてなかったので注意が必要です。他はすごく古くなければ問題なさそうです。

このあたりの機能がない場合、色々無理をしないとGPUのパススルーはできないです。技術的な詳細を追っていないので不正確かとは思いますがわたしの理解を書いておきます。

VT-dはIntelによるIOMMUの仕様です。IOMMUは、MMUがプロセスがアクセスする仮想メモリアドレスを物理メモリアドレスにマップするのと同様に、PCIデバイスがDMAする先を物理メモリアドレスにマップします。これによって、PCIデバイスが仮想マシンの下にある物理アドレスに正しくDMAできるようになると同時に、メモリ保護を実現できます。また、IOMMUはPCIデバイスが発生させる割り込みをVMに送信する機能も提供しています。

QEMUはVFIOというLinuxの機構を通じてPCIパススルーを行います。VFIOとはPCIデバイスに対応するioctlで操作できるファイルディスクリプタをユーザー空間に公開することで、ユーザー空間からPCIデバイスをフルに操作できるようにする機構です。ユーザー空間からDMAリクエストを行ったときに好き勝手なメモリアクセスをしないようIOMMUが使われます。QEMUはVFIOファイルディスクリプタをPCIデバイスとして仮想マシンに見せるわけです。

しかしGPUは普通のPCIデバイスみたいに単純ではありません。OSが起動する前に画面に何か描いてる地点でそれは明らかなのですが、特にBIOSで起動する場合はVGA BIOSというレガシーなABIを用いることとなり、システム全体にわたって固定されたアドレスを使ってデバイスとやり取りすることになります。なので複数のVGAを使う場合VGA BIOSをがんばって切り替える必要が生じてきて、さらにVGA BIOS領域にVFIO fdを介した変換される前のMMIOアドレスが見えてしまうのをなんとかしないといけません。このためパッチが必要になったりします。

一方でUEFIではそういったアドレス空間に関する問題はなく、OS起動前の画面表示はGOPというプロトコルで行っています。なのでより安全にパススルーができることになります。

参考

• Linuxカーネルソース添付のvfio.txt
• VFIO tips and tricks このAlexさんがLinuxカーネルのこの辺を色々開発してるらしい。IntelチップセットでのIOMMUグループのQuirkもこの人のおかげ。
• VGA Assignment Using VFIO Alexさんのスライド
• Replacing VGA, GOP implementation for UEFI AMDの人のスライド
• ハイパーバイザの作り方 syuuさん
• PCI configuration space - Wikipedia, the free encyclopedia

その他有ったほうがいいハードウェア

要するにこれは二台のマシンを動かすのと大体同じような構成です。 よって以下のものは有ったほうがいいです。

           +----------+
ポート1----|          |----USBオーディオIF
           | スイッチ |
ポート2----|          |----キーボード（HHKB）----トラックボール
           +----------+

PCIデバイス・IOMMUグループの確認

PCI passthrough via OVMF - ArchWikiを参考にやりました。

わたしのマシンは

MB

ASUS P8H77-M

CPU

Core i5-3550 (IvyBridge)

GPU

GTX750Ti

です。ArchWikiにあるように

$ for iommu_group in $(find /sys/kernel/iommu_groups/ -maxdepth 1 -mindepth 1 -type d); do echo "IOMMU group $(basename "$iommu_group")"; for device in $(ls -1 "$iommu_group"/devices/); do echo -n $'\t'; lspci -nns "$device"; done; done

を実行すると、

IOMMU group 0
        00:00.0 Host bridge [0600]: Intel Corporation Xeon E3-1200 v2/3rd Gen Core processor DRAM Controller [8086:0150] (rev 09)
IOMMU group 1
        00:01.0 PCI bridge [0604]: Intel Corporation Xeon E3-1200 v2/3rd Gen Core processor PCI Express Root Port [8086:0151] (rev 09)
        01:00.0 VGA compatible controller [0300]: NVIDIA Corporation GM107 [GeForce GTX 750 Ti] [10de:1380] (rev a2)
        01:00.1 Audio device [0403]: NVIDIA Corporation Device [10de:0fbc] (rev a1)
IOMMU group 2
        00:02.0 VGA compatible controller [0300]: Intel Corporation Xeon E3-1200 v2/3rd Gen Core processor Graphics Controller [8086:0152] (rev 09)
IOMMU group 3
        00:14.0 USB controller [0c03]: Intel Corporation 7 Series/C210 Series Chipset Family USB xHCI Host Controller [8086:1e31] (rev 04)
IOMMU group 4
        00:16.0 Communication controller [0780]: Intel Corporation 7 Series/C210 Series Chipset Family MEI Controller #1 [8086:1e3a] (rev 04)
IOMMU group 5
        00:1a.0 USB controller [0c03]: Intel Corporation 7 Series/C210 Series Chipset Family USB Enhanced Host Controller #2 [8086:1e2d] (rev 04)
IOMMU group 6
        00:1b.0 Audio device [0403]: Intel Corporation 7 Series/C210 Series Chipset Family High Definition Audio Controller [8086:1e20] (rev 04)
IOMMU group 7
        00:1c.0 PCI bridge [0604]: Intel Corporation 7 Series/C210 Series Chipset Family PCI Express Root Port 1 [8086:1e10] (rev c4)
IOMMU group 8
        00:1c.4 PCI bridge [0604]: Intel Corporation 7 Series/C210 Series Chipset Family PCI Express Root Port 5 [8086:1e18] (rev c4)
IOMMU group 9
        00:1c.5 PCI bridge [0604]: Intel Corporation 82801 PCI Bridge [8086:244e] (rev c4)
        04:00.0 PCI bridge [0604]: ASMedia Technology Inc. ASM1083/1085 PCIe to PCI Bridge [1b21:1080] (rev 03)
        05:00.0 USB controller [0c03]: VIA Technologies, Inc. VT82xx/62xx UHCI USB 1.1 Controller [1106:3038] (rev 62)
        05:00.1 USB controller [0c03]: VIA Technologies, Inc. VT82xx/62xx UHCI USB 1.1 Controller [1106:3038] (rev 62)
        05:00.2 USB controller [0c03]: VIA Technologies, Inc. USB 2.0 [1106:3104] (rev 65)
IOMMU group 10
        00:1d.0 USB controller [0c03]: Intel Corporation 7 Series/C210 Series Chipset Family USB Enhanced Host Controller #1 [8086:1e26] (rev 04)
IOMMU group 11
        00:1f.0 ISA bridge [0601]: Intel Corporation H77 Express Chipset LPC Controller [8086:1e4a] (rev 04)
        00:1f.2 SATA controller [0106]: Intel Corporation 7 Series/C210 Series Chipset Family 6-port SATA Controller [AHCI mode] [8086:1e02] (rev 04)
        00:1f.3 SMBus [0c05]: Intel Corporation 7 Series/C210 Series Chipset Family SMBus Controller [8086:1e22] (rev 04)
IOMMU group 12
        02:00.0 Multimedia controller [0480]: Altera Corporation Device [1172:4c15] (rev 01)
IOMMU group 13
        03:00.0 Ethernet controller [0200]: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller [10ec:8168] (rev 09)

となっています。GPUはIOMMU group 1です。USBは、結局使ってないもののPCIでUSB2.0ポートを増設してしまっていたり、背面ポートと前面用のポートが別のコントローラにぶら下がってたりして見にくいですが、IOMMU group 10とIOMMU group 5をゲストに渡します。

ホストのLinuxの設定

わたしの環境は

• カーネルを自分でビルド
• initramfsは使わない
• systemdで起動

というものです。ディストリビューションはGentoo Linuxですが、ディストリビューション依存の設定は特に行っていません。

vfio-pci

options vfio-pci ids=10de:1380,10de:0fbc,8086:1e26,8086:1e2d

SUBSYSTEM=="vfio", OWNER="root", GROUP="kvm"

[NetDev]
Name=br0
Kind=bridge

[Match]
Name=eth0

[Network]
Bridge=br0

[Match]
Name=br0

[Network]
Address=192.168.1.40/24
Gateway=192.168.1.1

[NetDev]
Name=tap0
Kind=tap
User=root
Group=kvm

[Match]
Name=tap0

[Network]
Bridge=br0

#!/bin/sh

## to add the optical drive
# device_add scsi-block,bus=scsi0.0,drive=sr0dr,id=sr0
## to remove the optical drive
# device_del sr0

qemu-system-x86_64 \
        -nographic -nodefaults -monitor stdio \
        -rtc base=localtime -enable-kvm -cpu host,kvm=off -smp 3 -m 4096 \
        -drive file="$HOME/edk2/Build/OvmfX64/DEBUG_GCC49/FV/OVMF.fd",readonly,if=pflash \
        -drive file=/dev/sdb,format=raw,cache=none,if=virtio \
        -device virtio-scsi-pci,id=scsi0 \
        -drive file=/dev/sr0,format=raw,cache=none,if=none,id=sr0dr \
        -vga none -device vfio-pci,host=01:00.0,x-vga=on -device vfio-pci,host=01:00.1 \
        -device vfio-pci,host=00:1a.0 -device vfio-pci,host=00:1d.0 \
        -netdev tap,id=vmnic,ifname=tap0,script=no,downscript=no -device virtio-net,netdev=vmnic