在上一篇文章 RDMA Overview 中簡單了介紹了一下 RDMA 這個技術，這次將為 Microsoft 在 2016 年 SIGCOMM 發表關於他們資料中心大規模應用 RDMA 所撰寫的論文 RDMA over Commodity Ethernet at Scale 做簡單的導讀。 Abstract Over the past one and half years, we have been using RDMA over commodity Ethernet (RoCEv2) to support some of Microsoft’s highly-reliable, latency-sensitive services. This paper describes the challenges we encountered during the […]
RoCE
RDMA Overview
Latency problems are harder because the speed of light is fixed; you can’t bribe God —David Clark 近年來網路頻寬雖然大幅提升，kernel 處理封包的能力卻沒有顯著提高。為了更進一步提高頻寬跟降低延遲，RDMA 和 DPDK 等技術出現，跳過了 kernel 直接處理 packet。本篇將會介紹現今 RDMA 相關的技術，比較，以及一些問題。 High Level Overview RDMA 技術基本上都是把 transport layer offload 到網卡上，避免使用 kernel 做封包處理，把 CPU 從 critical path 中拿除。顧名思義，這可以讓設備直接寫入其他設備的虛擬記憶體，在可控制的環境中達成 10 毫秒左右的傳輸延遲。但是傳統的 RDMA 有兩個很大的缺點： 需要支援 RDMA 的 lossless network，也就是 Infiniband 因而需要在環境中額外放 Infiniband […]