В современных ИИ-системах огромную роль играет перемещение больших объёмов данных, однако механика этого перемещения далеко не оптимальны. Google представила экспериментальную реализацию механизма Device Memory TCP для ядра Linux, который позволяет избавиться от ненужного копирование данных в буфер хост-системы, сообщает Phoronix.
Инициатива Device Memory TCP как раз и нацелена на то, чтобы избавиться от лишних перемещений больших объёмов данных при копировании их с устройств хранения на удалённые ускорители GPU/TPU в тех случаях, когда эти данные не требуют обработки хост-системой. То есть Devmem TCP позволяет открыть прямой сетевой доступ к ресурсам памяти GPU, TPU и прочих сопроцессоров.
Google: TPU Pod. В системах такого масштаба использование Devmem TCP позволит существенно поднять эффективность
Если технология Devmem TCP будет внедрена в Linux, то в ОС появятся новые API для работы с сокетами, позволяющие непосредственно отсылать содержимое памяти по сети, а также и принимать напрямую в память пакеты, приходящие из сети, без промежуточной буферизации. По словам Google, это позволит существенно снизить нагрузку на подсистемы памяти и более эффективно использовать доступную пропускную способность PCI Express. В тестовой реализации уже удалось добиться утилизации сетевого канала на уровне 96,6 %.
Источник:
