過去經常聽說 AMD GPU 用於執行深度學習相關軟體非常麻煩，建議有深度學習需求的使用者購買 Nvidia 顯卡。然而，最近 LLM（大型語言模型）很熱門，許多研究單位釋出了基於 LLaMA 的模型，讓我覺得有趣並想測試。我手邊有較多 VRAM 的顯示卡都是 AMD 的，因此決定嘗試使用這些顯示卡來執行。 測試環境 目前測試的環境是利用 VM 再進行顯卡 passthrough，環境如下： CPU: 16 core AMD Eypc 7302P RAM: 96GB DDR4 ECC 2933 GPU: AMD Instinct MI25 (WX9100 BIOS) OS: Ubuntu 20.04 Host OS: PVE 7.4-3 ROCm 4.5.2 其中 ROCm 是 AMD 開發的用於執行深度學習相關應用的開源平台，其中包括 CUDA 轉換層的 HIP。 系統設定 ROCm 安裝步驟 […]
Misc
FOSDEM 2023 回顧
在忙著畢業找工作後又經過 3 年的疫情，已經很久沒有參加過國外的大型會議了。這次看到 OCF 有要去 FOSDEM 擺攤並且將能部分補助參與經費，思考了一下決定來參加看看這場歐洲大型的開放原始碼相關會議 FOSDEM 介紹 FOSDEM 全名是 Free and Open source Software Developers’ European Meeting，顧名思義就是歐洲的開源/自由軟體會議。從 2000 年開始舉辦已經有相當悠久的歷史，而前兩年 (2021/2022)，由於疫情的緣故轉為全線上進行的模式，於今年 (2023) 改回實體會議。 個人今年參與的覺得 FOSDEM 整體來講與 COSCUP 非常相似，不過議程軌的豐富度跟多元性還是比 COSCUP 來得多，畢竟是聚集了整個歐洲的開源/自由軟體相關人員。 FOSDEM 議程 FOSDEM 議程的模式跟 COSCUP 類似，每個 Developer Room (簡稱 dev room)通常都會有一個主題，而大家可以選擇自己喜歡的主題待一整天或是在不同 dev room之間穿梭聽不一樣的主題。 這次主要參加了下列幾個 dev room Containers Kernel Software Defined Storage Virtualization and IaaS […]
在 Proxmox VE 上使用 Nvidia vGPU
前言 前幾週在中國的二手平台上看到了很便宜的 Nvidia Tesla P4，由於 Tesla P4 是半高單槽顯示卡，又不需要額外插電，非常適合放在 1U 伺服器上做使用，於是就買了幾張來測試 vGPU 看看。本篇將會介紹如何在 Proxmox VE 上使用 Nvidia 的 vGPU 功能。 vGPU 技術 先前一直對 vGPU 技術還蠻有興趣的，尤其是 AMD 號稱是開源且只要硬體支援就可以使用的 MxGPU 技術。但是在獲得一張 AMD Instinct MI25 後，卻發現開源的驅動程式只有支援到古老的 S7150，連不開源的驅動程式也沒有發布下載，只有大間的雲端廠商如 Microsoft Azure、阿里雲等才能夠獲得。在經過各種 patching 後 kernel driver 還是沒辦法正常運作，於是那張卡就被我放置在倉庫了。 Nvidia 自己獨有的 GRID 技術則是沒有開源，但是只需要註冊帳號就可以下載到驅動程式，這點相較於 AMD 我覺得是做得好很多。 至於運作的方式，AMD 的 MxGPU 是使用 SR-IOV，而 Nvidia GRID 在這張 Tesla […]
軟體工程師的 Work From Home 環境
最近因為疫情關係越來越多公司採取在家工作的形式，本人服務的日本 LINE 也從 2 月底開始就在家工作了。也因為如此，為了讓自己有一個良好的工作環境也陸續購入了許多設備來增進自己在家工作的效率。這篇文章將會介紹筆者在家工作的一些設備已使用經驗等等，給因為各種原因要在家工作的讀者參考。 文章架構 本篇會將各種設備分成四大類來介紹，分別是： 電腦相關 視訊會議相關 娛樂相關 其他 裡面有些設備僅因個人興趣購入，一般在家工作可能不需要用到如此設備，在內文中也會有其他方案的簡單介紹。 電腦相關 使用設備： MacBook Pro 13 吋 Dell U2718Q 4K 螢幕 LG 27GL850-B QHD 螢幕 Amazon Basics 螢幕支架 Realforce for Mac 87 鍵鍵盤 筆電或桌上型電腦 一台好的筆電或是桌上型電腦可以大大增加工作效率，尤其是一個軟體工程師，在測試或編譯程式的時候一台好一點的電腦可以讓你省下不少時間。 筆者使用的是公司發的 MacBook Pro 13 吋筆電，拿來打 code 還蠻夠用的，大部分編譯測試等等都是在雲端上面跑，所以其實效能問題影響比較沒有那麼大。 當然 Mac 算是稍稍貴一點，當然如果公司已經有配發筆電的話也不需要另外購買，如果要額外購買的話一台有 SSD 2 萬台幣左右的筆電或桌機其實也是足夠一般使用了。 螢幕 一兩個大螢幕對於一個工程師來說是必須的。通常在 coding 的時候能夠一台顯示 code，另外一台螢幕放參考資料，如此不需要一直切換螢幕能夠提升工作效率。筆者比較習慣 27 […]
Stax SR-009BK/SRM-727A 開箱
身為一個軟體工程師在 coding 時怎麼可以沒有一副好耳機呢？於是就有了這篇跟技術毫無關係的 Stax 限量 180 隻 SR-009BK 跟靜電耳機擴大器 SRM-727A 的開箱文。 前言 在疫情之際待在家裡悶著無聊沒事就上各種網購網站亂逛，逛著逛著逛到了 Fujiya-Avic，手又默默的癢了起來。看到竟然有 009BK 而且比 009 還便宜一點…，自從上一次聽完 D8000 pro 後就一直有想升級的耳機的念頭，一不小心手滑就連著一台 727A 整修品一起刷下去了。 開箱 於是昨天在家 Zoom 開會開到一半，突然間門鈴響了。 趕緊跟同事說有包裹，跑去簽收。 黑貓送來一個已知內裝大箱子 廢話不多說開完會趕緊開箱 009BK 外箱： 箱子裡面是個木盒，拿起來意外的很輕，不過外觀還蠻有質感的 打開箱子取出裡面泡棉墊就能看到 009BK 本體了 拿到的是限量 180 隻中的 178 號 外觀非常有質感，工藝品等級 727A 的外箱相對簡單，就是一般的紙箱，打開來就是本體了 直接接上電源上機開聽 心得 曲目: Eagles: Desperado The Last Resort いきものばかかり: SAKURA YELL […]