¿Qué es un n-grama?
un n-grama es una secuencia contigua de n artículos — generalmente palabras, pero a veces caracteres— tomados de un texto deslizando una ventana a través de ella. Los casos especiales tienen nombres: un 1-gram es un unigrama (una sola palabra), un 2 gramos es un bigrama (dos palabras consecutivas), y un 3 gramos es un trigrama.
Bigramas y trigramas, trabajados
Ejemplo resuelto. toma la frase "el rápido zorro marrón". Sus bigrams son: "el rápido", "marrón negro", y "franzo marrón" — tres de ellos. W las palabras producen W - norte + 1 n-gramos, por lo que la misma frase de cuatro palabras tiene 4 unigramas, 3 bigrams y 2 trigramas. La ventana es contigua y sensible al orden: "frajo" es un bigram pero "el zorro" no es, porque las palabras no están adyacentes.
Donde se usan n-gramas
Los N-gramas son fundamentales en el procesamiento de texto. Texto predictivo y autocompleto estiman la siguiente palabra de uno o dos anteriores (un modelo de lenguaje n-gram). SEO y análisis de contenido miran qué bigrams y trigramas parecen más a menudo encontrar las frases que la gente busca, que es más útil que una sola palabra densidad de palabras clave porque el significado generalmente vive en frases. Detectores de plagios comparan los n-gramas superpuestos entre documentos. Los n-gramas de nivel de caracteres ayudan con la identificación de idiomas y la coincidencia de fuzzy. Dos matices prácticos: n-gramos se computan después tokenización, por lo que las opciones de tokenizador sobre las hipnosis y el flujo de puntuación directamente a través; y superior n captura más contexto pero parece mucho menos a menudo, por lo que los bigrams y los trigramas son el lugar dulce para la mayoría de los trabajos de contenido. Explore las palabras y frases más frecuentes en su propio texto con nuestro contador de frecuencia de palabras.