什麼是代幣化
代幣化 是將文字流劃分為標記的過程 - 工具將計數或分析的最小單位，通常是單詞，但有時是字符、子詞或句子。這是幾乎所有文字指標背後看不見的第一步：在您可以生成文字之前 字數統計, 測量 關鍵字密度，或構建 n 元語法，您必須決定一個標記在哪裡結束，下一個標記從哪裡開始。
破壞分詞器的邊緣情況
困難的部分是邊緣情況。考慮字串 “不要給我發電子郵件 bob@example.com — 價格為 5.50 美元，不是嗎？”。一個天真的“在空白上分割”標記器對待 bob@example.com 和 $5.50 作為單一令牌並保留 don't 完好無損。更激進的分詞器可能會分裂 don't 進入 do + n't，將電子郵件發送至 @，或去掉美元符號。每個選擇都會改變結果計數。這是兩個工具報告同一段落的字數不同的主要原因：它們在連字符、縮寫、URL、小數和表情符號上存在分歧，而不是在算術上存在分歧。
不同的工作有不同的規則
不同的領域需要不同的規則。搜尋引擎會小寫並去除標點符號，以便「Cat」和「cat,」匹配。 NLP 管道可以使用子詞標記化（將「難以置信」拆分為「不」、「相信」、「能夠」），以便模型可以處理它從未見過的單字。句子標記化（除以句子計數的可讀性公式所需）有其自身的陷阱：句號並不總是句子邊界（“Dr.”、“3.14”、“e.g.”）。瞭解標記化可以解釋原因 字詞 和 字元 計數各不相同，但它支撐著 詞形還原 和 停用詞 下游過濾。試試我們的 詞頻計數器 查看對您自己的文字執行的標記化操作。