Un contexte d’un million de tokens promet d’avaler l’équivalent de centaines de pages d’un coup. Utile en théorie ; coûteux en mémoire et pas magique en compréhension. Voici ce que ça veut dire vraiment, les limites d’attention du modèle, et quand préférer un [[gl17|RAG]] bien cadré sur vos documents.
Définition
Quand vous discutez avec un modèle, tout ce qui entre dans la fenêtre de contexte compte : prompt système, messages, fichiers injectés. La taille maximale annoncée (8k, 128k, 1M tokens…) fixe une borne théorique. Un contexte d’environ un million de tokens correspond, en ordre de grandeur, à un volume énorme de texte — souvent décrit comme des centaines de pages, selon la langue et le tokeniseur. C’est la promesse du « long context ».
Ce que le mot ne désigne pas : ce n’est pas une mémoire permanente infinie hors session, ni une garantie que le modèle « retienne » uniformément le début et la fin. Des études et retours d’usage montrent souvent une attention inégale (détails perdus au milieu, par exemple). Ce n’est pas non plus gratuit : allonger le contexte augmente le calcul et la mémoire, donc fait chuter les tokens par seconde et stresser la VRAM.
Des techniques comme YaRN servent à étendre la longueur utile d’un modèle au-delà de son entraînement d’origine. L’extension technique et la qualité réelle sur vos documents sont deux sujets. Lisez la fiche du modèle, testez une question dont la réponse est cachée au milieu d’un long texte, et mesurez. Le chiffre 1M est un plafond ; votre usage définit le besoin.
Un exemple du quotidien
Imaginez un bureau avec une table de plus en plus longue. Vous pouvez y étaler tout le dossier. En théorie, tout est « sous les yeux ». En pratique, retrouver une note précise au milieu reste difficile si personne ne classe. Le contexte long élargit la table ; il ne remplace pas l’indexation, le chunking, ou une question bien posée.
Coller un livre entier pour demander « résume » peut marcher approximativement, ou produire un résumé générique. Coller un livre pour demander un détail page 187 exige que le modèle retrouve l’aiguille. Parfois oui, parfois non. D’où l’intérêt de comparer avec un RAG qui ne ramène que des passages candidats.
Un exemple en Hauts-de-France
À Noyon, un service d’archives municipales explore un modèle à grand contexte pour interroger des liasses numérisées (textes non sensibles de démonstration). Sur des questions ciblées (« quelle date apparaît pour tel arrêté ? »), l’équipe constate que découper et rechercher reste souvent plus fiable que tout injecter d’un bloc. Le contexte long sert d’option, pas de réflexe.
À Clermont (Oise), une PME industrielle teste le résumé d’un manuel machine. Le fichier tient dans la fenêtre annoncée, mais la machine locale souffre : débit faible, ventilateurs à fond. Ils réduisent au chapitre utile et gagnent en confort. La leçon : le marketing « 1M » se confronte à votre matériel et à la qualité d’attention du modèle.
On confond souvent
Première confusion : contexte long = plus besoin de RAG. Faux dans beaucoup de cas réels. Le RAG limite le bruit, maîtrise les sources, et réduit le coût. Le long contexte aide quand le document est déjà court-moyen ou quand vous devez comparer des sections déjà sélectionnées. Les deux approches se complètent.
Deuxième confusion : croire que « 1M tokens » signifie une compréhension parfaite de chaque phrase. Non. Autre mélange : confondre taille de contexte et taille en paramètres. Un petit modèle peut annoncer un grand contexte ; un grand modèle peut être limité. Lisez les deux chiffres séparément, puis testez.
En pratique, que faire avec ce mot
Quand vous choisissez un modèle, notez la fenêtre annoncée, la mémoire conseillée, et les réserves sur la qualité à très long contexte. Partez du besoin réel : dix pages ? cent ? Déterminez si un découpage intelligent suffit. Mesurez latence et justesse sur une question piège placée au milieu du texte.
Pour une structure, documentez une règle : « on ne colle pas tout le SI dans le prompt ». Préférez classification, droits d’accès, et RAG. Croisez YaRN si la fiche mentionne une extension. Et rappelez-vous : plus de contexte, c’est aussi plus de surface pour coller des données qu’il ne fallait pas coller.
Termes voisins
| Terme | Rôle utile |
|---|---|
| Fenêtre de contexte | Borne de tokens pris en compte dans une génération. |
| YaRN | Technique d’extension de contexte. Voir YaRN. |
| RAG | Récupère des passages au lieu de tout injecter. Voir RAG. |
| Chunking | Découpe des documents pour recherche ou injection. Voir chunking. |
Pour aller plus loin
Pour l’extension technique, lisez YaRN ; pour la recherche documentaire, RAG. Ateliers : l’agenda. Communauté : l’inscription.
Questions fréquentes
L’IA peut-elle lire un livre entier ?
Certains modèles acceptent un volume comparable à un livre dans leur fenêtre de contexte, en ordre de grandeur. « Lire » au sens humain — tout retenir uniformément — est une autre affaire. Pour un résumé global, le résultat peut être utile. Pour un détail précis, testez. Souvent, un sommaire + chapitres ciblés ou un RAG donnent un meilleur contrôle. Vérifiez aussi que votre machine tient la charge mémoire. Notez le choix, testez sur vos textes, et faites relire un humain avant tout envoi engageant.
Pourquoi mon PC rame avec un grand contexte ?
Parce que le calcul d’attention et les caches grandissent avec le texte fourni. La VRAM ou la RAM se remplissent, le débit (tokens/s) chute, parfois jusqu’au plantage. Réduisez le contexte, quantifiez, ou choisissez un modèle plus modeste. Le chiffre marketing 1M n’est utilisable que si le runtime et le matériel suivent. Notez le choix, testez sur vos textes, et faites relire un humain avant tout envoi engageant. Conservez la version d’outil et du modèle pour pouvoir expliquer la décision à un collègue.
1M tokens, ça fait combien de pages ?
Cela dépend de la langue, du format et du tokeniseur. On parle souvent de l’ordre de centaines de pages pour un million de tokens, mais ce n’est pas une conversion exacte universelle. Préférez expérimenter avec vos documents : regardez le compteur de tokens de l’outil. Méfiez-vous des conversions trop précises non sourcées. Notez le choix, testez sur vos textes, et faites relire un humain avant tout envoi engageant. Conservez la version d’outil et du modèle pour pouvoir expliquer la décision à un collègue.
Quand choisir RAG plutôt que tout coller ?
Quand le corpus est grand, change souvent, nécessite des sources citables, ou dépasse confortablement votre mémoire. Le RAG ramène peu de passages ; vous gardez de la place pour la question et le prompt système. Le long contexte reste intéressant pour un dossier déjà borné que vous voulez faire comparer d’un coup. Notez le choix, testez sur vos textes, et faites relire un humain avant tout envoi engageant. Conservez la version d’outil et du modèle pour pouvoir expliquer la décision à un collègue.
Le milieu du document est-il moins bien lu ?
C’est un risque connu des longs contextes : certaines informations centrales sont moins bien exploitées que le début ou la fin, selon modèles et tâches. D’où l’intérêt des tests « aiguille dans une botte de foin ». Si le détail critique est perdu, découpez, réordonnez, ou passez par une recherche. Ne supposez pas une attention plate sur un million de tokens. Notez le choix, testez sur vos textes, et faites relire un humain avant tout envoi engageant.