Tokenización (tokenization)
El proceso por el que un motor de búsqueda divide el texto en unidades mínimas —palabras, partes de palabras o caracteres— para poder analizar, comparar y recuperar información.
Definición
Definición
El motor descompone la consulta y el contenido indexado en tokens. Un token suele coincidir con una palabra, pero puede ser sílaba, prefijo, sufijo o carácter según la estrategia. El proceso afecta tanto a la búsqueda como al contenido indexado. Suele acompañarse de: conversión a minúsculas, eliminación de stopwords y stemming/lematización (reducir formas verbales a raíz común).
Para qué sirve
Para qué sirve
Hace que las búsquedas sean robustas: «Zapatillas RUNNING Mujer» encuentra los mismos resultados que «zapatillas running mujer». Sin tokenización serían cadenas distintas y el sistema podría no encontrar coincidencias.
Doofinder
Doofinder aplica tokenización durante la indexación mediante análisis morfológico. Normaliza términos del catálogo y consultas a su raíz. El comportamiento varía según el idioma de indexación seleccionado para el motor.
Referencias
Fuentes
- Introduction to Information Retrieval — Manning, Raghavan, Schütze (Cambridge)
- Search Engine Language — Doofinder Support