什麼是引理
A 引理 是單字的規範字典形式－您在字典中尋找的字頭。單字的每個變形都映射回單一引理。形式「run」、「runs」、「ran」和「running」都共享引理 跑; “更好”和“最好”共享引理 好; “mice”有引理 滑鼠。將單字還原為其引理的過程稱為 詞形還原.
為什麼詞形還原在文本分析中很重要
詞形還原對於任何您關心含義而不是表面形式的分析都很重要。在詞頻工作中，分別計數“run”+“runs”+“running”+“ran”會將真正的一個概念分散在四個低計數中；將它們折疊到引理“run”中給出一個單一的、更有意義的頻率。搜尋引擎進行詞形還原，以便「跑鞋」的查詢可以匹配「跑步者鞋」的頁面。同樣的想法也支持主題分析、情緒分析和文件相似性。
詞形還原與詞幹擷取
一個重要的區別是 詞形還原與詞幹擷取。詞幹詞綴帶有粗略的規則，並且可以產生非單字——詞幹提取器可能會將“studies”和“studying”簡化為“studi”。詞形還原更聰明：它使用詞彙和詞性訊息傳回真實的字典單詞，因此「studies」變成了「study」。這種準確性是有代價的，因為詞形還原者必須知道一個單字的詞性才能正確理解——“saw”是作為動詞的引理“see”，但作為名詞的引理“saw”（工具）。詞形還原之後運行 代幣化 並且經常並肩 停用詞 在文字分析管道中刪除，提供清潔劑 字數統計 和頻率列表。看看它是應用在我們的 詞頻計數器.