Back to Knowledge Base
Definition
Tokenizer
Software die tekst opdeelt in tokens (woorden of subwoorden) als input voor een taalmodel.
Explanation
De tokenizer bepaalt hoe tekst wordt verwerkt. Nederlandse woorden kunnen meer tokens kosten dan Engelse, wat invloed heeft op kosten en context window.
Synonyms
Text SplitterToken Parser