什麼是停用詞
停用詞 是極為常見的功能詞－冠詞、連接詞、介詞、代名詞和助動詞，例如 the、a、an、of、to、in、is、and、but、it ——這些字詞出現得如此頻繁，它們本身幾乎沒有什麼話題意義。文字分析工具和搜尋引擎通常會在計算統計資料之前將其過濾掉，這一步驟稱為停用詞刪除。
為什麼他們被刪除
為什麼要刪除它們？在幾乎所有英語文本中，最常見的單字都是停用詞。如果您按原始計數對文件的單字進行排名，則清單的頂部主要是“the”、“of”和“and”，它們沒有告訴您有關該主題的任何資訊。去掉這些，真正的描述性字眼就會出現在頂部——這正是你想要的 關鍵字密度、主題偵測、標籤雲和文件相似度。刪除停用詞也會縮小搜尋索引必須儲存的資料並加快匹配速度。
沒有官方的停用詞列表
重要的細微差別是 沒有單一的官方停用詞列表 — 不同的工具和庫提供不同的列表，正確的列表取決於任務。域甚至可以翻轉單字的狀態：「IT」在一般散文中是一個停止式的代名詞，但在技術語料庫中是一個有意義的術語，而像「not」這樣的否定詞通常會被保留，因為刪除它們可能會顛倒情感分析中句子的含義。另一個短語搜尋是停用詞很重要的情況：查詢「to be or not to be」幾乎都是停用詞，因此將它們全部刪除的搜尋引擎將會失敗。停用詞過濾發生在 代幣化 並且經常並肩 詞形還原。我們的 詞頻計數器 預設隱藏停用詞，以便有意義的單字首先出現。