近期在逛中國閒魚時意外發現了一張獨特的顯示卡 – Tesla T10。這款源自專業數據中心的 GPU 原本是 NVIDIA 專門為雲端遊戲服務設計的產品，主要用於 GeForce NOW 雲端遊戲伺服器。現在這些退役的顯示卡進入了二手市場，在中國閒魚上目前約以 1350 人民幣（約 190 美金）價格販售。由於價格便宜，我買了兩張來研究其效能表現。
GPU
- Cloud
- ...
在 Kubernetes 上利用 Nvidia GPU 部署 LLM Chatbot
隨著人工智慧技術的快速發展，越來越多的企業和開發者希望在自己的系統中整合語言模型聊天機器人（LLM Chatbot）。本文旨在引導讀者如何在 Kubernetes 環境中使用 Nvidia GPU，來部署一個高效能的 LLM Chatbot，從安裝必要的驅動和工具到具體的部署步驟，逐一介紹。
AMD GPU 與深度學習：實用教學指南
過去經常聽說 AMD GPU 用於執行深度學習相關軟體非常麻煩，建議有深度學習需求的使用者購買 Nvidia 顯卡。然而，最近 LLM（大型語言模型）很熱門，許多研究單位釋出了基於 LLaMA 的模型，讓我覺得有趣並想測試。我手邊有較多 VRAM 的顯示卡都是 AMD 的，因此決定嘗試使用這些顯示卡來執行。