Chunking
Aufteilung langer Dokumente in sinnvolle, durchsuchbare Abschnitte.
Definition
Chunking bezeichnet die Aufteilung langer Dokumente in kleinere, in sich sinnvolle Abschnitte. Diese Abschnitte werden einzeln in Embeddings umgewandelt und indexiert. Die Größe und Abgrenzung der Abschnitte hat erheblichen Einfluss auf die Qualität der späteren Suche.
Warum das wichtig ist
Gutes Chunking entscheidet maßgeblich über die Qualität einer RAG-Anwendung. Zu große Abschnitte verwässern die Relevanz, zu kleine reißen Zusammenhänge auseinander.
Vidasus-Kontext
Bei der Entwicklung von Wissensanwendungen stimmen wir die Chunking-Strategie auf die Struktur Ihrer Dokumente ab, etwa Verträge, Handbücher oder Protokolle.