CXL 訪問座標計算

延遲和頻寬計算

記憶體區域效能座標（延遲和頻寬）通常透過 ACPI 表 SRAT 和 HMAT 提供。但是，平臺韌體 (BIOS) 無法為熱插拔的 CXL 設備註釋這些資訊，因為它們在平臺韌體初始化期間不存在。CXL 驅動程式可以透過從多個元件檢索資料來計算效能座標。

SRAT 提供了一個通用埠親和性子表，該子表將鄰近域繫結到裝置控制代碼，在這種情況下，該控制代碼將是 CXL 主橋。使用此關聯，可以從 HMAT 子表中檢索通用埠的效能座標。這部分表示 CPU 和通用埠（CXL 主橋）之間的效能座標。

CDAT 提供了 CXL 裝置本身的效能座標。即訪問該裝置記憶體區域的頻寬和延遲。DSMAS 子表提供了一個 DSMADHandle，它繫結到裝置物理地址 (DPA) 範圍。DSLBIS 子表提供了與 DSMADhandle 繫結的效能座標，並將兩個表條目繫結在一起，從而為每個 DPA 區域提供效能座標。例如，如果裝置匯出一個 DRAM 區域和一個 PMEM 區域，那麼每個區域將具有不同的效能特徵。

如果拓撲中存在 CXL 交換機，則交換機的效能座標由 SSLBIS 子表提供。這提供了用於遍歷交換機的頻寬和延遲，從交換機上游埠到指向端點裝置的交換機下游埠。

簡單的拓撲示例

GP0/HB0/ACPI0016-0
       RP0
        |
        | L0
        |
    SW 0 / USP0
    SW 0 / DSP0
        |
        | L1
        |
       EP0

在此示例中，端點和根埠之間有一個 CXL 交換機。本示例中的延遲計算如下： L(EP0) - 來自 EP0 CDAT DSMAS+DSLBIS 的延遲 L(L1) - EP0 和 SW0DSP0 之間的鏈路延遲 L(SW0) - 來自 SW0 CDAT SSLBIS 的交換機延遲。 L(L0) - SW0 和 RP0 之間的鏈路延遲 L(RP0) - 透過 SRAT 和 HMAT（通用埠）從根埠到 CPU 的延遲。總讀取和寫入延遲是所有這些部分的總和。

本示例中的頻寬計算如下： B(EP0) - 來自 EP0 CDAT DSMAS+DSLBIS 的頻寬 B(L1) - EP0 和 SW0DSP0 之間的鏈路頻寬 B(SW0) - 來自 SW0 CDAT SSLBIS 的交換機頻寬。 B(L0) - SW0 和 RP0 之間的鏈路頻寬 B(RP0) - 透過 SRAT 和 HMAT（通用埠）從根埠到 CPU 的頻寬。總讀取和寫入頻寬是所有這些部分中的 min()。

要計算鏈路頻寬： LinkOperatingFrequency (GT/s) 是當前協商的鏈路速度。 DataRatePerLink (MB/s) = LinkOperatingFrequency / 8 頻寬 (MB/s) = PCIeCurrentLinkWidth * DataRatePerLink 其中 PCIeCurrentLinkWidth 是鏈路中的通道數。

要計算鏈路延遲： LinkLatency (皮秒) = FlitSize / LinkBandwidth (MB/s)

有關詳細資訊，請參見 CXL 記憶體裝置 SW 指南 r1.0，第 2.11.3 和 2.11.4 節。

最後，構造的記憶體區域的訪問座標是從每個 CXL 裝置的一個或多個記憶體分割槽計算得出的。

共享上游鏈路計算

對於某些 CXL 區域構造，端點位於 CXL 交換機 (SW) 或根埠 (RP) 之後，交換機後面所有端點的總頻寬可能大於交換機上游鏈路。在主機內部、根埠的上游也可能發生類似的情況。CXL 驅動程式在所有目標都已到達區域後執行額外的傳遞，以便重新計算頻寬，同時考慮到可能的上游鏈路是限制因素。

該演算法假定配置是對稱拓撲，因為這樣可以最大限度地提高效能。當檢測到不對稱拓撲時，計算將中止。在拓撲遍歷期間檢測到不對稱拓撲，其中檢測為祖父母的 RP 數量不等於同一迭代迴圈中迭代的裝置數量。假設屬性的細微不對稱性不會發生，並且到 EP 的所有路徑都相等。

一個 RP 下可以有多個交換機。一個 CXL 主橋 (HB) 下可以有多個 RP。在 CEDT 中，一個 CXL 固定記憶體視窗結構 (CFMWS) 下可以有多個 HB。

層次結構示例

               CFMWS 0
                 |
        _________|_________
       |                   |
   ACPI0017-0          ACPI0017-1
GP0/HB0/ACPI0016-0   GP1/HB1/ACPI0016-1
   |          |        |           |
  RP0        RP1      RP2         RP3
   |          |        |           |
 SW 0       SW 1     SW 2        SW 3
 |   |      |   |    |   |       |   |
EP0 EP1    EP2 EP3  EP4  EP5    EP6 EP7

示例層次結構的計算

Min (GP0 到 CPU BW,

Min(SW 0 到 RP0 的上游鏈路 BW,

Min(SW0SSLBIS for SW0DSP0 (EP0), EP0 DSLBIS, EP0 上游鏈路) + Min(SW0SSLBIS for SW0DSP1 (EP1), EP1 DSLBIS, EP1 上游鏈路)) +

Min(SW 1 到 RP1 的上游鏈路 BW,

Min(SW1SSLBIS for SW1DSP0 (EP2), EP2 DSLBIS, EP2 上游鏈路) + Min(SW1SSLBIS for SW1DSP1 (EP3), EP3 DSLBIS, EP3 上游鏈路))) +

Min (GP1 到 CPU BW,

Min(SW 2 到 RP2 的上游鏈路 BW,

Min(SW2SSLBIS for SW2DSP0 (EP4), EP4 DSLBIS, EP4 上游鏈路) + Min(SW2SSLBIS for SW2DSP1 (EP5), EP5 DSLBIS, EP5 上游鏈路)) +

Min(SW 3 到 RP3 的上游鏈路 BW,

Min(SW3SSLBIS for SW3DSP0 (EP6), EP6 DSLBIS, EP6 上游鏈路) + Min(SW3SSLBIS for SW3DSP1 (EP7), EP7 DSLBIS, EP7 上游鏈路))))

計算從 cxl_region_shared_upstream_perf_update() 開始。建立一個 xarray 以透過 cxl_endpoint_gather_bandwidth() 函式收集所有端點頻寬。計算來自端點 CDAT 的頻寬和上游鏈路頻寬的 min()。如果端點的父級是 CXL 交換機，則計算計算出的頻寬與來自與端點關聯的交換機下游埠的 SSLBIS 的頻寬的 min()。最終頻寬儲存在 xarray 中的“struct cxl_perf_ctx”中，由裝置指標索引。如果端點直接連線到根埠 (RP)，則裝置指標將是 RP 裝置。如果端點位於交換機之後，則裝置指標將是父交換機的上游裝置。

在下一階段，如果拓撲中存在一個或多個交換機，則程式碼會遍歷這些交換機。對於直接連線到 RP 的端點，此步驟將被跳過。如果還有另一個交換機位於上游，則程式碼採用當前收集的頻寬和上游鏈路頻寬的 min()。如果上游有交換機，則為上游交換機的 SSLBIS。

一旦拓撲遍歷到達 RP，無論是直接連線的端點還是遍歷交換機，都會呼叫 cxl_rp_gather_bandwidth()。此時，每個主橋聚合所有頻寬，這也是生成 xarray 的索引。

下一步是採用每個主橋頻寬和來自通用埠 (GP) 的頻寬的 min()。GP 的頻寬透過 ACPI 表 (SRAT 和 HMAT) 檢索。最小頻寬在同一 ACPI0017 裝置下聚合，以形成新的 xarray。

最後，呼叫 cxl_region_update_bandwidth()，併為駐留在 cxl 區域 (cxlr) 上下文中的訪問座標更新來自最後一個 xarray 的所有成員的聚合頻寬。

QTG ID

每個 CEDT 都有一個 QTG ID 欄位。此欄位提供與 CFMWS 視窗的 QoS 節流組 (QTG) 關聯的 ID。一旦計算出訪問座標，就可以向 ACPI0016 裝置發出 ACPI 裝置特定方法，以檢索 QTG ID，具體取決於提供的訪問座標。該裝置的 QTG ID 可用作匹配 CFMWS 的指導，以設定裝置的最佳 Linux 根解碼器效能。