Chunk (fragment)

Un chunk est un fragment de document extrait par un système de recherche augmentée pour être injecté dans le contexte d’un modèle de langage. La structure d’un contenu détermine directement la façon dont il sera découpé, et donc ce qui en sera retenu.

Comment un contenu est découpé

Les systèmes de découpage s’appuient largement sur la structure du document : les titres, les paragraphes, les listes, les cellules de tableau. Un texte sans hiérarchie claire est découpé arbitrairement, souvent au milieu d’une idée. Un texte bien structuré est découpé sur ses articulations naturelles.

Ce qui fait un bon chunk

• Il contient une idée complète, du début à la fin.
• Il nomme son sujet explicitement, sans dépendre d’un pronom défini plus haut.
• Il porte sa propre source quand il avance un chiffre.
• Il est précédé d’un intertitre qui annonce précisément son contenu.

Les formats qui se découpent le mieux

Les tableaux HTML natifs, les listes à puces et les définitions courtes se prêtent particulièrement bien à l’extraction, parce que leur unité sémantique coïncide avec leur unité de mise en forme. À l’inverse, un long développement d’un seul tenant, sans intertitres, est le format le plus mal servi par les systèmes de recherche augmentée.

Où ce terme intervient dans la méthode

Ce terme relève de la Phase 2, aligner votre entité de la méthode Passeport vers la Citation.