Det är överraskande att IBM har tagit ett modigt steg mot mer tillgänglig AI genom att släppa Granite 4.0 Nano som öppen källkod, En familj av fyra kompakta språkmodeller som faktiskt kan köras på din laptop eller telefon.
Granite 4.0 modellerna:
Dessa modeller är små nog att köra direkt i din webbläsare utan att behöva ladda upp data till molnet. Du kan testa dem redan nu på IBMs Granite Playground.
Prestanda som överraskar
Modellerna presterar bra på Qualcomms senaste NPU:er når Granite-4.0-Micro 36,4 tokens per sekund på X2 Elite-datorer och 28,7 tokens per sekund på smartphones med Snapdragon 8 Elite Gen 5.
En 3 miljarders parametermodell med 128K token context length behöver bara 4 GB minne kanske tillräckligt litet för att köras på en Raspberry Pi.
Så här kommer du igång
Vill du testa Granite 4.0 Nano? Det finns flera sätt att komma igång. Du kan köra modellerna lokalt på din laptop, mobil eller till och med direkt i webbläsaren med WebGPU-acceleration.
IBMs Granite Playground: https://www.ibm.com/granite/playground
Granite WebGPU HuggingFace: https://huggingface.co/spaces/ibm-granite/Granite-4.0-Nano-WebGPU
För utvecklare finns modellerna tillgängliga på Hugging Face, Docker och IBMs egen watsonx.ai plattform. Alla modeller är öppen källkod med Apache 2.0-licens, vilket betyder att du fritt kan använda och modifiera dem.