Tuto complet : Qwen 3.8 27B en local avec Ollama, Open WebUI et un RAG sur vos documents

Vous voulez un assistant privé qui lit vos PDF sans envoyer le contenu dans le cloud. Ce tutoriel construit la chaîne complète : Ollama pour le modèle, Open WebUI pour l’interface, un embedding multilingue et une base de connaissances. L’exemple fil rouge s’appuie sur des documents publics régionaux (délibérations, guides d’aides) tels qu’une collectivité lilloise ou une association amiénoise pourrait les traiter en interne. Les noms de tags et les libellés de menus changent : on vous montre le geste, puis vous copiez le tag exact du jour.

Ce que l’on va construire

L’architecture tient en quatre briques. Ollama héberge le grand modèle de langage et, selon votre configuration, peut aussi servir un modèle d’embedding. Open WebUI fournit le chat, les comptes, l’upload de documents et le pipeline RAG. Vos fichiers (PDF, textes, notes) restent dans un volume Docker ou un dossier local. Enfin, un modèle personnalisé dans Open WebUI fixe le système prompt, la base Knowledge et les réglages de récupération. Comprendre ce découpage évite de tout mélanger dans un seul conteneur « magique ».

Dans une TPE de Roubaix ou une mairie de Cambrai, le besoin typique est le même : répondre à partir d’un règlement intérieur, d’un guide d’aides ou d’un recueil de délibérations, sans coller ces textes dans un service distant. Le RAG (Retrieval-Augmented Generation) découpe les documents, les indexe, retrouve les passages utiles, puis demande au LLM de rédiger une réponse ancrée dans ces passages. Si la récupération est mauvaise, le modèle invente : d’où l’importance des réglages traités aussi dans optimiser le RAG d’Open WebUI.

LLM

Le modèle qui rédige (ici Qwen 3.8 27B via Ollama). Il ne « lit » pas le PDF directement : il reçoit des extraits choisis par le RAG.

Embedding

Modèle qui transforme un texte en vecteur pour comparer similarités. Pour le français, privilégiez un embedding multilingue (ex. famille bge-m3) et vérifiez le tag du jour.

Knowledge

Dans Open WebUI, collection de documents indexés que vous attachez à un chat ou à un modèle personnalisé.

Quantification

Compression des poids (Q4, Q3…) qui réduit la VRAM au prix d’une petite perte de qualité. Ordre de grandeur, pas mesure de labo IAHDF.

Matériel et ordres de grandeur

Pour un dense 27B, comptez plutôt une carte avec de l’ordre de 24 Go de VRAM en quantification moyenne (souvent présentée autour de Q4). Avec 16 Go, une quantification plus agressive (souvent Q3) peut tenir, au prix de plus d’hallucinations et d’un contexte plus serré. Sur Mac Apple Silicon, la mémoire unifiée change la donne : un Mac avec 32 Go ou plus est un ordre de grandeur réaliste pour expérimenter confortablement ; en dessous, ciblez un modèle plus petit ou une quantification plus serrée. Prévoyez aussi de l’ordre de 50 Go de disque pour le modèle, l’embedding, les images Docker et les index.

Ces chiffres sont des ordres de grandeur à ajuster selon la quantification exacte, le contexte demandé et les autres logiciels ouverts. Ils ne remplacent pas un essai sur votre machine. Si votre PC de bureau à Valenciennes n’a que 8 Go de VRAM, ce tutoriel reste utile pour comprendre la chaîne, mais vous choisirez un modèle plus léger (voir quel modèle local selon la machine) avant de monter un RAG sérieux.

Prérequis : Docker et terminal

Vous devez pouvoir ouvrir un terminal, installer Docker Desktop (Windows/Mac) ou le moteur Docker (Linux), et lancer des commandes `docker compose`. Ollama s’installe à part : ce n’est pas un conteneur obligatoire, même si certaines équipes le containerisent aussi. Vérifiez que `docker version` et, après installation, `ollama --version` répondent sans erreur. Sur un portable de mission à Arras, testez d’abord sur le Wi-Fi de confiance : les gros téléchargements saturent vite une connexion partagée.

Si Docker n’est pas encore en place, suivez d’abord installer Open WebUI avec Docker pour valider l’interface seule, puis revenez ici pour le modèle 27B et le RAG. L’ordre inverse (modèle d’abord, interface ensuite) fonctionne aussi : Ollama peut servir en ligne de commande avant que le chat web n’existe.

Installer Ollama et tirer Qwen 3.8 27B

Ollama centralise le téléchargement, la quantification proposée par la fiche modèle, et l’API locale. Après installation, le réflexe est de consulter la bibliothèque officielle plutôt que de recopier un tag vu dans un vieux tutoriel. Pour Qwen 3.8 27B, cherchez la fiche, lisez la quantification proposée et l’espace disque annoncé, puis lancez le pull. Un échec fréquent en entreprise est le proxy HTTPS : configurez les variables d’environnement proxy avant le pull, sinon le téléchargement se coupe à 99 %.

# 1. Vérifier Ollama
ollama --version

# 2. Copier le tag EXACT depuis https://ollama.com/library (exemple de forme)
ollama pull TAG_EXACT_QWEN_3_8_27B

# 3. Essai conversationnel
ollama run TAG_EXACT_QWEN_3_8_27B

# 4. Lister / retirer si besoin
ollama list
# ollama rm TAG_EXACT_QWEN_3_8_27B

Si le modèle charge puis le ventilateur sature sans réponse, réduisez le contexte dans les options Ollama ou Open WebUI, fermez les applications gourmandes, ou passez à une quantification plus légère. Sur une machine de démonstration à Lens, gardez un second tag plus petit pour les ateliers publics : le 27B reste pour les postes techniques.

Installer Open WebUI (Docker)

Open WebUI apporte comptes, historique, outils et pipeline documents. L’installation recommandée pour ce tutoriel est Docker Compose avec volume persistant. Épinglez une version d’image plutôt que `latest` en production artisanale : vous saurez quoi rollback. La documentation du dépôt évolue : en cas de doute sur une variable d’environnement, lisez le README de la version que vous avez choisie, pas un article daté.

# Exemple de forme — vérifiez l’image et les variables sur le dépôt Open WebUI du jour
services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:MAIN_OU_TAG_EPINGLE
    ports:
      - "3000:8080"
    volumes:
      - open-webui-data:/app/backend/data
    environment:
      # Indiquez l’URL Ollama joignable DEPUIS le conteneur
      # (souvent host.docker.internal sur Docker Desktop)
      - OLLAMA_BASE_URL=http://host.docker.internal:11434
    restart: unless-stopped

volumes:
  open-webui-data:

Démarrez avec `docker compose up -d`, consultez les logs si la page ne répond pas, puis créez le compte admin. Tant que la liste des modèles Ollama est vide, ne touchez pas aux documents : vous perdriez du temps à indexer pour un chat muet. Le tutoriel Open WebUI Docker détaille comptes, mises à jour et sauvegarde du volume.

Choisir l’embedding pour le français

Le LLM peut être excellent et le RAG médiocre si l’embedding comprend mal le français administratif. Orientations prudentes : un modèle multilingue explicitement documenté pour le retrieval ; cohérence entre la langue du corpus et celle des questions ; éviter de changer d’embedding au milieu d’un projet sans ré-indexation. Le comparatif qualitatif embeddings pour RAG français vous aide à trancher entre familles (bge-m3, e5 multilingue, nomic-embed, etc.) sans chiffres inventés.

Dans Open WebUI, le menu Admin dédié aux documents (le libellé exact varie) est l’endroit où se règle l’engine d’embedding. Si l’interface propose de télécharger via Ollama, utilisez encore une fois le tag affiché le jour J. Testez avec une phrase typique de votre corpus (« critère d’éligibilité », « délibération du conseil ») et vérifiez que des voisins sémantiques remontent.

Créer la base de connaissances

Nettoyez avant d’uploader. Retirez les pages scannées sans OCR, les fichiers protégés par mot de passe, les brouillons obsolètes. Pour une démo régionale : prenez des documents déjà publics (guide d’aides, FAQ d’une collectivité, compte rendu publié). Anonymisez tout ce qui ne l’est pas. Nommez les fichiers `2024-guide-aides-habitat.pdf` plutôt que `scan2.pdf` : les citations dans la réponse seront lisibles pour un collègue de Beauvais qui ne connaît pas votre disque.

Importez par lots. Après chaque lot, posez deux questions dont vous connaissez la réponse exacte. Si le modèle répond juste sur le premier lot et se trompe après le second, vous avez probablement un problème de chunking ou de top-k, pas de « mauvais LLM ». Gardez une feuille de calcul simple : question, fichier attendu, OK/KO, remarque.

Régler le RAG (chunks, top-k, hybride, reranker)

La taille des morceaux (chunk size) et le chevauchement (overlap) déterminent si un article de règlement reste intact ou est coupé au milieu d’une condition. Le top-k contrôle combien d’extraits le LLM voit. La recherche hybride mélange similarité vectorielle et mots-clés (utile pour les acronymes locaux). Un reranker, s’il est disponible, réordonne les candidats : coûteux en calcul, souvent utile quand le premier jet est bruyant.

Ne changez qu’un paramètre à la fois, avec votre batterie de vingt questions. L’article réglages RAG Open WebUI développe chaque curseur. Ici, la règle d’or : si les bons passages n’apparaissent pas dans les sources affichées, inutile de « mieux prompter » le 27B — réparez la récupération d’abord.

Tester avant d’ouvrir à l’équipe

Invitez une personne métier (secrétaire de mairie à Abbeville, responsable RH d’une PME de Saint-Quentin) à poser ses vraies questions sans regarder vos notes. Observez où elle reformule. Les échecs métier révèlent souvent un vocabulaire absent de l’index (synonymes, noms de dispositifs locaux). Enrichissez le corpus ou ajoutez un petit glossaire interne indexé avec le reste.

Mesurez aussi le confort : temps de réponse, bruit ventilateur, stabilité après une heure. Un outil trop lent ne sera pas adopté, même s’il est privé. Si le 27B est trop lourd pour le poste partagé, gardez-le pour la rédaction finale et utilisez un modèle plus petit pour le brouillon, ou réduisez le contexte.

Ouvrir à l’équipe sans se tirer une balle

Créez des comptes non admin. Documentez en une page : URL interne, qui contacter, quels dossiers sont autorisés à l’indexation, rappel données sensibles. Désactivez l’exposition Internet : accès VPN ou réseau local uniquement. Planifiez la mise à jour d’image Open WebUI et le re-pull éventuel du modèle. Une association de Boulogne qui perd son volume Docker perd chats et index : la sauvegarde fait partie du déploiement, pas de la « phase 2 ».

• Volume Docker sauvegardé (et test de restauration une fois).
• Liste des tags Ollama et version d’image Open WebUI écrits dans un README.
• Compte admin distinct des comptes métiers.
• Corpus versionné (dossier daté) pour savoir quoi ré-indexer.
• Procédure de retrait d’un document sensible publié par erreur.

Dépannage concret

Modèles invisibles dans Open WebUI : le conteneur n’atteint pas Ollama. Testez depuis le conteneur (ou ajustez host.docker.internal / IP de l’hôte). Réponses hors sujet avec sources vides : embedding ou Knowledge non liés au chat. Réponses hors sujet avec sources présentes mais mauvaises : chunking ou top-k. Port déjà utilisé : changez le mapping de ports. Disque plein au pull : nettoyez les anciens tags avec `ollama rm`. Sous Windows, un redémarrage de Docker Desktop résout encore trop souvent des états réseau bizarres après veille.

Pour aller plus loin