在 Kubernetes 上利用 Nvidia GPU 部署 LLM Chatbot

在 Kubernetes 上利用 Nvidia GPU 部署 LLM Chatbot

隨著人工智慧技術的快速發展,越來越多的企業和開發者希望在自己的系統中整合語言模型聊天機器人(LLM Chatbot)。本文旨在引導讀者如何在 Kubernetes 環境中使用 Nvidia GPU,來部署一個高效能的 LLM Chatbot,從安裝必要的驅動和工具到具體的部署步驟,逐一介紹。

Linux PSI (Pressure Stall Information) 指標的解讀與應用

如何監控 container 的 PSI 資訊

前言 當 CPU、記憶體或 I/O 裝置發生競爭時,工作負載會經歷延遲峰值、吞吐量損失,並且面臨 OOM 終止的風險。在沒有準確測量此類競爭的情況下,使用者被迫要麼保守地運用他們的硬體資源,要麼冒險經常遭受因過度設定而引起的中斷。在 Linux kernel 4.20 之後,Linux kernel 加入了 PSI (Pressure Stall Information) 這個資訊,讓使用者可以跟精確的了解到資源不足對整個系統的效能影響。本篇文章將會簡單介紹 PSI 跟如何解讀其資訊。

部署 Charmed Kubernetes with OpenStack Integrator

部署 Charmed Kubernetes with OpenStack Integrator

前言 Charmed Kuberenetes 是 Canonical 提供的 Kubernetes 部署方式,可以透過 juju 將 Kubernetes 部署至各種不同環境。 本篇將介紹如何部署 Charmed Kubernetes 至 OpenStack 上,並且利用 OpenStack Integrator 使用 OpenStack 提供 Persistent Volume 和 Load Balancer 給 Kubernetes 使用。

AMD GPU 與深度學習:實用教學指南

AMD GPU 與深度學習:實用教學指南

過去經常聽說 AMD GPU 用於執行深度學習相關軟體非常麻煩,建議有深度學習需求的使用者購買 Nvidia 顯卡。然而,最近 LLM(大型語言模型)很熱門,許多研究單位釋出了基於 LLaMA 的模型,讓我覺得有趣並想測試。我手邊有較多 VRAM 的顯示卡都是 AMD 的,因此決定嘗試使用這些顯示卡來執行。