刪除重複行
從任何文字區塊中刪除重複的行。保留每行的第一次出現；後續副本將被丟棄。保留原始訂單。
範例：
apple
banana
apple
cherry
banana → apple
banana
cherry
從文字區塊中刪除重複行。保留每行的第一次出現，並刪除所有後續重複項，因此保留原始順序。比較是精確且區分大小寫的－「Apple」和「apple」被視為不同的行。
對於清理單字清單、日誌檔案、匯出的 CSV、抓取的輸出以及任何可能出現重複內容的地方非常有用。完全在您的瀏覽器中運行 - 您的文字永遠不會離開頁面。
重複行出現的地方
清理電子郵件列表
貼上的電子郵件匯出通常包含由於表單填寫錯誤或合併人工製品而導致的重複項。在匯入 CRM 或發送行銷活動之前刪除重複項。
刪除重複單字列表
編制詞彙表、品牌腦力激盪或關鍵字集？該工具透過一次貼上為您提供了一個乾淨且獨特的清單。
過濾日誌文件
來自嘈雜服務的相同日誌行可能會淹沒真實信號。刪除重複項以查看獨特的事件。
清理 CSV 列
貼上單一 CSV 列並取得唯一值。比開啟電子表格執行一次性任務更快。
程式碼審查輸出審查
Linter 或編譯器輸出有時會在各個版本中重複相同的警告。重複資料刪除專注於獨特的問題。
如何偵測重複項以及保留哪個副本
該工具使用換行符號 (\n）。它規範了 CRLF 的行結尾（\r\n) 到 LF 以確保跨平台的一致分割。然後按順序處理每一行：內部哈希集記錄 準確的 每行的內容（區分大小寫，區分空格）。如果某行尚未在集合中，則將其附加到輸出並添加到集合中；如果它已經存在，則跳過它。嚴格保留首次出現的順序。最終輸出通過將保留的行與換行符連接來重新組裝，並且僅當原始輸入以 1 結尾時才添加尾隨換行符（以匹配典型的編輯器行為）。
如何從清單中刪除重複行
- 將文字貼上或鍵入到輸入框中。
- 點選 刪除重複項 按鈕。
- 消除重複的文字立即出現在輸出區域。
- 一鍵將結果複製到剪貼簿。
區分大小寫、尾隨空格和近似重複
- 尾隨換行符
- 只有當原始輸入以 1 結尾時，尾隨換行符號才會保留在輸出中，因此不會新增意外的空白行。
- 空行
- 空白行被視為不同的行；如果多個連續的空白行重複，則它們將成為單一空白行。
- 僅空白行
- 僅包含空格或製表符的行被認為與真正的空白行不同，並且會根據確切的內容進行重複資料刪除。
- 區分大小寫
- 「Apple」和「apple」被視為不同的行，因為比較是精確的且區分大小寫。
安全地刪除重複的電子郵件和關鍵字列表
- 如果您想將“apple”和“apple”視為相同，請在重複資料刪除之前修剪尾隨空格。
- 使用區分大小寫的特性來有意保留不同的大小寫變體。
- 對於大型資料集，請分塊貼上；該工具完全在瀏覽器中運行，不受伺服器限制。
- 結合 排序線 首先排序然後刪除重複以獲得不同結果的工具。
這與 Excel 的刪除重複項和「sort -u」比較
與常見的替代方案相比，該工具保留了原始順序，並且不需要命令列知識。
| 這個工具 | Unix 排序 -u | Excel 刪除重複項 | |
|---|---|---|---|
| 訂單保存 | 是的，保留第一次出現的狀況 | 否，按字母順序排序 | 否，刪除但可能會移動行 |
| 區分大小寫 | 精確（區分大小寫） | 區分大小寫（預設） | 不區分大小寫（預設） |
| 易於使用 | 貼上並單擊 | 需要終端和管道 | 需要導入資料並點擊 |
| 處理尾隨換行符 | 完全匹配輸入 | 新增尾隨換行符 | N/A（基於細胞） |
從“uniq”到電子表格選單的重複資料刪除
刪除重複行是一項基本的文字處理任務，起源於早期的 Unix 工具。經典之作 uniq 指令（V7 Unix，1979）只能刪除連續的重複項，需要事先 sort。後來， sort -u 組合排序和重複資料刪除。保留原始順序的需要導致了 awk 腳本，例如 awk '!seen[$0]++'，這種模式已成為慣用語。此工具在客户端實作相同的邏輯，以便即時、免安裝使用。
重複行問題
比較是否區分大小寫？
是的。 「Apple」和「apple」算是不同的線。若要忽略大小寫，請先使用以下指令將文字小寫 小寫轉換器.
前導空格或尾隨空格是否被忽略？
不——它們很重要。 「hello」和「hello」（尾隨空格）被視為不同的行。貫穿 修剪空白 如果你想要寬鬆的匹配，首先。
它保留訂單嗎？
是的。每行的第一次出現保持其位置；稍後的重複項將被刪除。唯一行的順序不變。
什麼算是換行符號？
兩者都是 Unix (\n) 和 Windows (\r\n) 行結尾被辨識。輸出使用 Unix 行結尾。