PCIem

Фреймворк ядра Linux для эмуляции синтетических PCIe-устройств из пользовательского пространства. | Документация

Что такое PCIem?

PCIem — это фреймворк, создающий виртуальные PCIe-устройства в ядре Linux с использованием нескольких новых методик для представления синтетических карт в качестве легитимных PCI-устройств для хост-ОС.

Если кратко: PCIem — это фреймворк для (хотя и не ограничиваясь) разработки и тестирования драйверов PCIe-устройств без необходимости наличия реального оборудования на хосте.

Сравнение с libfvio-user

PCIem и libfvio-user — это два разных решения для разных задач; между ними может возникнуть путаница, поэтому ниже приведены различия (см. рисунок 1 для подробностей).

Основное отличие в том, что libvfio-user обычно полагается на клиент (реализующий протокол vfio-user), обычно QEMU (через KVM, с использованием VM-exit'ов), чтобы предоставить эмулированное PCIe-устройство гостевой системе. Вы пишете свой vfio-сервер (обычно с механизмом обратных вызовов), который взаимодействует с клиентом.

PCIem же делает следующее: выставляет устройство напрямую на хосте; никакого KVM, гостей, виртуальных машин — ничего. Устройство появляется на шине PCIe хоста так, как если бы оно было физически подключено.

Возможность	PCIem	libfvio-user
Соединение	Файл устройства (`/dev/pciem`)	UNIX-сокеты (протокол `vfio-user`)
Целевой драйвер выполняется на	Хост	Гостевая ОС
Эмулируемое устройство выполняется на	Пользовательское пространство	Пользовательское пространство
Доступы к устройству	Прямые (на хосте)	Виртуализированные (гость → хост)

Рисунок 1: Сравнение фреймворков

Архитектура

graph LR
    subgraph Kernel ["Host Linux Kernel"]
        direction TB

        RealDriver["Real PCIe Driver"]

        subgraph Framework ["PCIem Framework"]
            direction TB
            Config["PCI Config Space"]
            BARs["BARs"]
            IRQ["Interrupts"]
            DMA["DMA / IOMMU"]
        end

    end

    Interface(("/dev/pciem"))

    subgraph User ["Linux Userspace"]
        direction TB
        Shim["Device Emulation"]
    end

    Framework <==> Interface
    Interface <==> Shim

Текущие возможности

Создание BAR: Программное создание и мониторинг областей BAR.
Трассировка MMIO BAR: Обнаружение операций чтения/записи MMIO и уведомление о них для избежания опроса на предмет доступа.
Поддержка прерываний: Внедрение прерываний Legacy/MSI/MSI-X.
Фреймворк возможностей PCI: Система возможностей PCI (основана на связном списке).
Система DMA: DMA-доступы с учётом IOMMU из/в пользовательское пространство устройства.
- Предварительная поддержка P2P: Прямой доступ к памяти между устройствами с контролем доступа на основе белого списка.
Пользовательское пространство: Реализуйте свои PCIe-устройства полностью в пользовательском пространстве.