過去經常聽說 AMD GPU 用於執行深度學習相關軟體非常麻煩，建議有深度學習需求的使用者購買 Nvidia 顯卡。然而，最近 LLM（大型語言模型）很熱門，許多研究單位釋出了基於 LLaMA 的模型，讓我覺得有趣並想測試。我手邊有較多 VRAM 的顯示卡都是 AMD 的，因此決定嘗試使用這些顯示卡來執行。 測試環境 目前測試的環境是利用 VM 再進行顯卡 passthrough，環境如下： CPU: 16 core AMD Eypc 7302P RAM: 96GB DDR4 ECC 2933 GPU: AMD Instinct MI25 (WX9100 BIOS) OS: Ubuntu 20.04 Host OS: PVE 7.4-3 ROCm 4.5.2 其中 ROCm 是 AMD 開發的用於執行深度學習相關應用的開源平台，其中包括 CUDA 轉換層的 HIP。 系統設定 ROCm 安裝步驟 […]