AMD GPU 與深度學習:實用教學指南

AMD GPU 與深度學習:實用教學指南

過去經常聽說 AMD GPU 用於執行深度學習相關軟體非常麻煩,建議有深度學習需求的使用者購買 Nvidia 顯卡。然而,最近 LLM(大型語言模型)很熱門,許多研究單位釋出了基於 LLaMA 的模型,讓我覺得有趣並想測試。我手邊有較多 VRAM 的顯示卡都是 AMD 的,因此決定嘗試使用這些顯示卡來執行。 測試環境 目前測試的環境是利用 VM 再進行顯卡 passthrough,環境如下: CPU: 16 core AMD Eypc 7302P RAM: 96GB DDR4 ECC 2933 GPU: AMD Instinct MI25 (WX9100 BIOS) OS: Ubuntu 20.04 Host OS: PVE 7.4-3 ROCm 4.5.2 其中 ROCm 是 AMD 開發的用於執行深度學習相關應用的開源平台,其中包括 CUDA 轉換層的 HIP。 系統設定 ROCm 安裝步驟 […]