什麼是 n 元語法
安 n-gram 是一個連續的序列 n 透過滑動視窗從文字中取得項目(通常是單字,但有時是字元)。特殊情況有名稱:a 1-gram is a 一元詞組 (單字),2-gram 是 二元組 (兩個連續的單字),3-gram 是 卦象.
二元組和三元組,已完成
工作過的例子。拿這句話來説 “敏捷的棕色狐狸”。它的二元字是:「the Quick」、「Quick Brown」和「Brown Fox」——其中三個。一般來説,一段文字 W 單字產量 W−n+1 n 元文法,因此同一個四個字句有 4 個一元文法、3 個二元文法和 2 個三元文法。該視窗是連續的並且對順序敏感:“brown Fox”是一個二元組,但“the Fox”不是,因為這些單字不相鄰。
使用 n 元語法的地方
N 元語法是文字處理的基礎。預測文字和自動完成功能根據前一個或兩個單字(n-gram 語言模型)估計下一個單字。 SEO 和內容研究著眼於哪些二元組和三元組最常出現,以找到人們實際搜尋的短語,這比單字更有用 關鍵字密度 因為意義通常存在於短語中。抄襲偵測器會比較文件之間重疊的 n 元語法。字符級 n-gram 有助於語言識別和模糊匹配。兩個實際的細微差別:n 元語法是在之後計算的 代幣化,因此分詞器對連字符和標點符號的選擇直接通過;及更高 n 捕捉更多上下文,但出現的頻率要低得多,因此二元組和三元組是大多數內容工作的最佳選擇。透過我們的工具探索您自己的文本中最常見的單字和短語 詞頻計數器.