PewDiePie har byggt sitt eget AI-system ChatOS

Felix Kjellberg (PewDiePie) publicerade en video där han visade sitt hemmabyggda AI‑projekt ChatOS.
10‑GPU mini‑datacenter med PCIe‑bifurcation och blandade RTX 4000 Ada + moddade RTX 4090, byggt för lokal LLM‑körning.
Kör öppna modeller som Llama 70B och Qwen i ett eget UI (“ChatOS”) med verktyg som webbsök, RAG, röst och minne.
Riggen har även donerat beräkning till forskning via Folding@home när den varit ledig.

PewDiePie har byggt ett självhostat AI-system kallat ChatOS på en lokal, multi‑GPU‑rack för att köra stora öppna modeller utan molntjänster. Det är ett coolt rätt imponerande AI-projekt eller mini‑lab av svensken Felix Kjellberg (PewDiePie).

ChatOS är ett egenbyggt webbgränssnitt där PewDiePie hostar öppna LLM:er lokalt för integritet, kontroll och låg latens i stället för att förlita sig på moln‑API:er. Plattformen binder ihop flera komponenter så att modellerna kan söka, hämta kontext och prata, vilket gör systemet användbart i vardagliga uppgifter.

Hårdvaran

Riggen använder tio GPU:er via PCIe‑bifurcation: en mix av 2× RTX 4000 Ada och 8× moddade RTX 4090‑kort, vilket ger rejäl VRAM‑kapacitet för stora modeller. Sammanlagt når systemet omkring 256 GB VRAM i vissa beskrivningar vilket underlättar körning av 70B+‑modeller lokalt.

En utmaning med att köra ett 10-GPU-system hemma är den enorma watt kraven och strömförbrukningen. PewDiePie nämner i videon att han har sänkt GPU:ns klockfrekvens något.