¿Qué es la tokenización?
Tokenización es el proceso de dividir un flujo de texto en fichas — las unidades más pequeñas una herramienta contará o analizará, generalmente palabras pero a veces caracteres, subpalabras o oraciones. Es el primer paso invisible detrás de casi cada métrica de texto: antes de que usted pueda producir un recuento de palabras, medida densidad de palabras clave, o construir n-gramos, debes decidir dónde termina una señal y el siguiente comienza.
Los casos extremos que rompen los tokenizadores
La parte dura es los casos de borde. Considere la cadena "No me envíes un correo electrónico a bob@example.com, son $5.50, ¿no es así?". Un ingenuo tokenizador "dividido en espacios en blanco" bob@example.com y $5.50 como tokens individuales y se mantiene don't intacto. Un tokenizador más agresivo podría dividirse don't en do + n't, divida el correo electrónico en el @, o despojar el signo del dólar. Cada elección cambia los recuentos resultantes. Esta es la razón principal por la que dos herramientas reportan diferentes términos recuentos para el mismo párrafo: no están de acuerdo con los hipens, contracciones, URLs, decimales y emoji, no con aritmética.
Diferentes reglas para diferentes trabajos.
Los diferentes dominios necesitan reglas diferentes. Los motores de búsqueda bajan la puntuación y tiranas para que "Cat" y "cat", coincidan. Los oleoductos NLP pueden usar la tokenización de subpalabras (que se multiplican "increíble" en "un", "creer", "ser", "puede" para que un modelo pueda manejar palabras que nunca ha visto. palabra y personaje los recuentos varían, y esto sustenta lematización y palabra de parada filtrado aguas abajo. Pruebe nuestro contador de frecuencia de palabras para ver la tokenización en acción en su propio texto.