De plus en plus de personnes excutent des LLMs (Large Language Models) directement sur leurs PC pour rduire les cots d’abonnement et bnficier d’une meilleure confidentialit ainsi que d’un contrle total sur leurs projets. Grce aux nouveaux modles open-source avancs et aux outils gratuits pour les excuter localement, l’exprimentation de l’IA sur ordinateur portable ou de bureau devient plus accessible que jamais. Les GPU RTX acclrent ces expriences, offrant une IA rapide et ractive. De plus, avec les mises jour de Project G-Assist, les utilisateurs de PC portables peuvent dsormais utiliser des commandes vocales et textuelles bases sur l’IA pour contrler leur machine.
Le dernier article du blog NVIDIA RTX AI Garage met en lumire comment les tudiants, les passionns d’IA et les dveloppeurs peuvent commencer utiliser des LLMs sur leurs PC ds aujourd’hui :
- – Ollama : L’une des faons les plus accessibles de se lancer. Cet outil open-source offre une interface simple pour excuter et interagir avec des LLMs. Les utilisateurs peuvent glisser-dposer des PDF dans des prompts, tenir des conversations interactives et mme essayer des workflows multimodaux combinant texte et images.
- – AnythingLLM : Crez un assistant IA personnel. Fonctionnant sur Ollama, il permet aux utilisateurs de charger des notes, des diapositives ou des documents pour crer un tuteur capable de gnrer des quiz et des fiches de rvision pour les travaux scolaires. Priv, rapide et gratuit.
- – LM Studio : Explorez des dizaines de modles. Aliment par le framework populaire llama.cpp, il fournit une interface ergonomique pour excuter des modles localement. Les utilisateurs peuvent charger diffrents LLMs, discuter avec elles en temps rel et mme sen servir en tant qu’endpoints dAPI locale pour une intgration dans des projets personnaliss.
- – Project G-Assist : Contrlez votre PC avec l’IA. Grce aux dernires mises jour, les utilisateurs de PC peuvent dsormais utiliser la voix ou le texte pour ajuster les paramtres de batterie, de ventilateur et de performance.
Les dernires avances des PC IA RTX sont les suivantes :
- – Ollama bnficie d’une amlioration majeure des performances sur RTX : Les dernires mises jour incluent une optimisation allant jusqu’ 50 % pour le modle gpt-oss-20B d’OpenAI et des modles Gemma 3 jusqu’ 60 % plus rapides, ainsi qu’une planification plus intelligente des modles pour rduire les problmes de mmoire et amliorer l’efficacit multi-GPU.
- – Llama.cpp et GGML optimiss pour RTX : Les dernires mises jour offrent une infrence plus rapide et plus efficace sur les GPU RTX, incluant le support du modle NVIDIA Nemotron Nano v2 9B, la fonction Flash Attention active par dfaut et les optimisations du noyau CUDA.
- – Tlchargez la mise jour G-Assist v0.1.18 via l’application NVIDIA, qui propose de nouvelles commandes pour les utilisateurs de PC portables et une qualit de rponse amliore.
- – Microsoft a publi Windows ML avec NVIDIA TensorRT pour l’acclration RTX, offrant une infrence jusqu’ 50 % plus rapide, un dploiement simplifi et un support pour les LLMs, les modles de diffusion et autres types de modles sur les PC Windows 11.
Pour en savoir plus, consultez le RTX AI Garage de cette semaine.