近期在逛中國閒魚時意外發現了一張獨特的顯示卡 – Tesla T10。這款源自專業數據中心的 GPU 原本是 NVIDIA 專門為雲端遊戲服務設計的產品，主要用於 GeForce NOW 雲端遊戲伺服器。現在這些退役的顯示卡進入了二手市場，在中國閒魚上目前約以 1350 人民幣（約 190 美金）價格販售。由於價格便宜，我買了兩張來研究其效能表現。
llm
- Cloud
- ...
在 Kubernetes 上利用 Nvidia GPU 部署 LLM Chatbot
隨著人工智慧技術的快速發展，越來越多的企業和開發者希望在自己的系統中整合語言模型聊天機器人（LLM Chatbot）。本文旨在引導讀者如何在 Kubernetes 環境中使用 Nvidia GPU，來部署一個高效能的 LLM Chatbot，從安裝必要的驅動和工具到具體的部署步驟，逐一介紹。