Hugging Face et Llama.cpp ont frappé Llama pour Windows dans le discours d'ouverture de Microsoft.
Lama pour Windows est un gadget léger de la barre d'état système de Windows 11 qui a été annoncé dans le cadre de la conférence Microsoft. NET Conf. L'utilitaire, pesant seulement 1 Mo, lance des réseaux de neurones locaux en un clic sans console, configuration manuelle de l'environnement, et c'est tout.
L'application fonctionne comme un serveur d'inférence local avec une compatibilité totale avec les API OpenAI et Anthropic (port localhost :9931) et permet de connecter des agents de codage, des IDE et des extensions sans clés API dans le cloud. Le moteur analyse automatiquement la configuration de l'ordinateur et sélectionne le niveau de quantification du poids, la limite de contexte, la taille du lot et le mode de décodage optimaux pour la quantité de RAM et de mémoire vidéo disponibles. Eh bien, je veux dire, il s'avère qu'il est une sorte d'auditeur symbolique.
Tous les poids sont stockés en une seule copie dans le cache global des visages câlins et partagés avec d'autres outils, et lorsqu'il est inactif pendant plus de 5 minutes, le modèle est automatiquement déchargé de la mémoire pour économiser les ressources système. En plus de l'interface Web de chat classique, l'installation est disponible avec une seule commande dans PowerShell, et une version apparaîtra prochainement dans la boutique officielle Microsoft.