Tokenización El proceso por el que un motor de búsqueda divide el texto en unidades mínimas —palabras, partes de palabras o caracteres— para poder analizar, comparar y recuperar información. Definición Definición El motor descompone la consulta y el contenido indexado en tokens. Un token suele coincidir con una palabra, pero puede ser sílaba, prefijo, sufijo o carácter según la estrategia. El proceso afecta tanto a la búsqueda como al contenido indexado. Suele acompañarse de: conversión a minúsculas, eliminación de stopwords y stemming/lematización (reducir formas verbales a raíz común). Para qué sirve Para qué sirve Hace que las búsquedas sean robustas: «Zapatillas RUNNING Mujer» encuentra los mismos resultados que «zapatillas running mujer». Sin tokenización serían cadenas distintas y el sistema podría no encontrar coincidencias. Doofinder Doofinder aplica tokenización durante la indexación mediante análisis morfológico. Normaliza términos del catálogo y consultas a su raíz. El comportamiento varía según el idioma de indexación seleccionado para el motor. Referencias Fuentes Introduction to Information Retrieval — Manning, Raghavan, Schütze (Cambridge) Search Engine Language — Doofinder Support