Med NVIDIAs nya billiga AI-superdator kan du köra lokal AI

Posted by By admin 2 Min Read


VIDIA har lanserat en uppdatering av sin Jetson Orin Nano Developer Kit kallad “Super”, som erbjuder upp till 70% ökad prestanda för generativ AI och en prissänkning till 249 dollar.

Enligt rapporter från NVIDIA:s egna blogg ger denna uppgradering betydande förbättringar i AI-bearbetning och minnesbandbredd, vilket gör den till ett kraftfullt verktyg för utvecklare inom robotik och edge AI-applikationer.

Generativa AI-modeller och Jetson

Jetson Orin Nano Super är särskilt lämpad för att köra populära generativa AI-modeller och transformerbaserade datorseendemodeller.

Den kan hantera en mängd olika stora språkmodeller (LLM), visuella språkmodeller (VLM) och Vision Transformers (ViT), inklusive modeller med upp till 8 miljarder parametrar som Llama-3.1-8B.

Jetson-plattformen stöder samma maskininlärningsramverk och optimerade inferensinfrastruktur som andra plattformar, såsom HuggingFace Transformers, Ollama och NVIDIA TensorRT-LLM

Möjligheter för utvecklare

Jetson Orin Nano Super Developer Kit öppnar upp nya möjligheter för utvecklare att arbeta med generativ AI på kanten. Detta inkluderar:

  • Utveckling av LLM-baserade chattbotar med förbättrad prestanda.

  • Skapande av visuella AI-agenter som kan tolka och reagera på sin omgivning.

  • Implementering av AI-baserad robotik för en mängd olika applikationer.

Nyckelfunktioner och fördelar

  • Förbättrad prestanda: Upp till 67 INT8 TOPS AI-prestanda, en ökning med 70% jämfört med föregångaren.

  • Ökad minnesbandbredd: Från 68 GB/s till 102 GB/s, vilket ger 50% bättre prestanda.

  • Kompatibilitet: Stöder populära generativa AI-modeller som LLMs (Large Language Models), VLMs (Vision Language Models) och ViTs (Vision Transformers).

  • Kompakt design: Passar i handflatan och är idealisk för prototypning av edge-AI-applikationer.

  • Bred ekosystemstöd: Kompatibel med NVIDIA:s AI-programvara inklusive Isaac för robotik, Metropolis för vision AI och Holoscan för sensorbearbetning.

https://developer.nvidia.com/buy-jetson?product=all&location=SE

https://blogs.nvidia.com/blog/jetson-generative-ai-supercomputer/