que es un lema
A lema es la forma canónica de diccionario de una palabra — la palabra clave que buscaría en un diccionario. Cada variación inflexible de una palabra mapas de vuelta a una sola lema. Las formas "correr", "correr", "ran", y "correr" comparten la lema correr; "mejor" y "mejor" comparten el lema bueno; "ratones" tiene el lema ratón. El proceso de reducción de una palabra a su lema se llama lematización.
Por qué es importante la lematización en el análisis de textos
La lemmatización importa para cualquier análisis en el que te importa el significado en lugar de la forma superficial. En el trabajo de frecuencias de palabras, contar "correr" + "corrimiento" + "ran" por separado dispersa lo que es realmente un concepto en cuatro bajos cargos; doblarlos en la lema "corrido" da una frecuencia única y más significativa.
Lematización versus derivación
Una distinción importante es lematización versus derivación. Robar los trocitos con reglas de crudo y puede producir no palabras — un estorbo podría reducir los "estudios" y "estudio" a "estudio". La lemmatización es más inteligente: usa vocabulario y parte de la palabra para devolver una palabra de diccionario real, así que "estudios" se convierte en "estudio". Esa precisión viene a un costo, porque un lemmatiser debe saber una palabra tokenización y a menudo junto palabra de parada eliminación en un oleoducto de análisis de texto, limpiador de alimentación recuento de palabras y listas de frecuencias. Véalo aplicado en nuestro contador de frecuencia de palabras.