Terug naar Kennisbank
Definitie
Tokenizer
Software die tekst opdeelt in tokens (woorden of subwoorden) als input voor een taalmodel.
Uitleg
De tokenizer bepaalt hoe tekst wordt verwerkt. Nederlandse woorden kunnen meer tokens kosten dan Engelse, wat invloed heeft op kosten en context window.
Synoniemen
Text SplitterToken Parser