Tokenisierung (tokenization) Vorgang, mit dem eine Suchmaschine Text in minimale Einheiten zerlegt, Wörter, Wortteile oder Zeichen, um Informationen analysieren, vergleichen und abrufen zu können. Definition Die Engine zerlegt sowohl Anfrage als auch indexierten Inhalt in Tokens. Ein Token entspricht meist einem Wort, kann aber je nach Strategie auch Silbe, Präfix, Suffix oder Zeichen sein. Der Prozess wirkt auf Suche und indexierten Inhalt. Begleitet wird er üblicherweise von: Umwandlung in Kleinbuchstaben, Entfernung von Stopwörtern und Stemming/Lemmatisierung (Reduktion von Verbformen auf eine gemeinsame Wurzel). Wofür es nützlich ist Macht Suchen robust: «Laufschuhe HERREN Trail» findet dieselben Ergebnisse wie «laufschuhe herren trail». Ohne Tokenisierung wären das verschiedene Zeichenketten, und das System könnte keine Treffer finden. Doofinder Doofinder wendet Tokenisierung während der Indexierung über morphologische Analyse an. Es normalisiert Katalogbegriffe und Anfragen auf ihre Wurzel. Das Verhalten variiert je nach gewählter Indexierungssprache. Quellen Introduction to Information Retrieval — Manning, Raghavan, Schütze (Cambridge) Search Engine Language — Doofinder Support