Guides, tutoriels, glossaire, retours d’expérience et outils testés par des membres des Hauts-de-France. Écrits pour être compris sans connaissances techniques.
Un modèle de raisonnement « réfléchit » plus longtemps avant de répondre : il génère souvent une trace de réflexion interne, puis une réponse. Utile sur des problèmes structurés ; plus coûteux en temps et en tokens. Voici comment le situer sans mythe, et quand un modèle classique reste préférable au quotidien.
La distillation transfère une partie des capacités d’un grand modèle (enseignant) vers un modèle plus petit (élève). Ce n’est pas la même chose que compresser les bits. Voici la définition utile pour choisir un modèle local sans confondre les étiquettes, ni croire qu’un petit fichier égale automatiquement le géant.
Les tokens par seconde (tokens/s) mesurent la vitesse de génération d’une IA. C’est un indicateur de confort, pas une note de qualité. Voici comment le lire, ce qui le fait chuter, et comment en parler sans faux tableaux universels ni chiffres magiques inventés pour toutes les machines et tous les usages.
L’inférence locale, c’est exécuter un modèle d’IA sur votre matériel (PC, serveur interne) plutôt que d’envoyer chaque requête à un cloud. Avantages de maîtrise, limites de puissance et de maintenance : voici le cadre clair pour décider sans promesse magique de souveraineté automatique ni conformité instantanée.
Un contexte d’un million de tokens promet d’avaler l’équivalent de centaines de pages d’un coup. Utile en théorie ; coûteux en mémoire et pas magique en compréhension. Voici ce que ça veut dire vraiment, les limites d’attention du modèle, et quand préférer un [[gl17|RAG]] bien cadré sur vos documents.
YaRN est une technique pour étendre la longueur de contexte d’un modèle au-delà de son entraînement d’origine. Elle apparaît souvent dans les fiches de modèles long context. Voici ce que ça désigne pour décoder une card technique, sans promettre une lecture parfaite d’un million de tokens sur votre machine.
Hugging Face est la grande plateforme de partage de modèles, datasets et démos d’IA, surtout open weights. Ce n’est pas un modèle unique. Voici comment s’orienter pour trouver un fichier fiable, lire une licence, et éviter les pièges du catalogue immense quand on débute l’[[gt21|inférence locale]] chez soi.
vLLM est un moteur conçu pour servir efficacement un modèle d’IA à plusieurs requêtes. Ce n’est pas un chatbot grand public. Voici ce qu’il change face à [[gt07|Ollama]], quand une structure HdF devrait s’y intéresser, et pourquoi la plupart des débutants peuvent attendre avant de l’installer tout de suite.
Vous voulez un assistant privé qui lit vos PDF sans envoyer le contenu dans le cloud. Ce tutoriel construit la chaîne complète : Ollama pour le modèle, Open WebUI pour l’interface, un embedding multilingue et une base de connaissances. L’exemple fil rouge s’appuie sur des documents publics régionaux (délibérations, guides d’aides) tels qu’une collectivité lilloise ou une association amiénoise pourrait les traiter en interne. Les noms de tags et les libellés de menus changent : on vous montre le geste, puis vous copiez le tag exact du jour.
Open WebUI donne une interface de chat familière au-dessus d’Ollama, sans envoyer vos conversations vers un service distant. Ce tutoriel pose Docker Compose, démarre l’image, crée le premier compte administrateur, connecte Ollama et fixe les réglages essentiels avant une mise à jour. Idéal pour une TPE de Tourcoing, un labo associatif à Compiègne ou un poste technique de collectivité qui veut un « ChatGPT privé » sur le réseau local. Les variables d’environnement évoluent : on indique le geste, vous vérifiez le README de la version épinglée.
La question revient dans chaque atelier IAHDF : mon PC peut-il faire tourner une IA locale, et laquelle ? Ce guide vous apprend à lire votre mémoire (VRAM ou unifiée), à relier ordres de grandeur et familles de modèles (Gemma 4, Qwen3, Qwen 3.8 27B, Ministral 3, Mistral Small 4, gpt-oss…), et à choisir une quantification sans croire aux captures marketing. Pas de classement chiffré inventé : une méthode pour mesurer chez vous, à Lille comme à Beauvais.
Les Mac Apple Silicon (M1, M2, M3, M4 et suivants) sont devenus des postes sérieux pour l’IA locale grâce à la mémoire unifiée. Ce tutoriel explique pourquoi, démarre MLX et Ollama sans promettre de débits inventés, situe LM Studio, et pose les limites honnêtes — y compris pour un Qwen 3.8 27B. Que vous soyez indépendant à Lille, designer à Roubaix ou médiateur numérique à Amiens, vous repartirez avec une méthode de comparaison sur votre machine, pas avec un tableau de scores fantômes.
