文字去重複工具
免費線上文字去重複:名單、關鍵字、Email 一行一筆貼上就刪掉重複的行,保留原順序;也能只列出重複的、看每筆重複幾次、排序。
把名單、關鍵字、Email 這類一行一筆的清單貼上(或開啟 .txt/.csv 檔),按「執行去重」就刪掉重複的行並保留原本順序;也能只列出有重複的行、看每筆重複幾次,或把結果排序。全部在瀏覽器處理,名單不會上傳。
三種輸出、兩種保留方式
同一份名單,選不同的輸出方式會得到不同結果。下面用這六行示範:
範例名單(王小明出現 3 次、李小華 2 次、陳大文 1 次)
王小明
李小華
王小明
陳大文
李小華
王小明| 設定 | 結果 | 什麼時候用 |
|---|---|---|
| 去重後全部(預設) | 王小明、李小華、陳大文 | 整理名單、合併兩份清單後去掉重複 |
| 只列有重複的 | 王小明、李小華 | 找出重複報名、重複下單的人 |
| 只列沒重複的 | 陳大文 | 找出只出現一次的項目(例如只來過一次的客人) |
| 重複時留最後一次 | 陳大文、李小華、王小明 | 名單越後面越新,要以最新那筆的位置為準 |
| 由小到大排序 | 王小明、李小華、陳大文 | 結果要照筆畫或數字排好 |
統計區另外會列出重複最多的內容與次數,例如「王小明 3 次」。
怎樣才算重複
以「整行」比對:兩行內容完全一樣才算重複。有三個選項會放寬標準:
- 忽略大小寫:Apple 與 apple 算同一筆,結果保留第一次(或最後一次)出現的寫法。適合 Email、英文關鍵字。
- 去除行首行尾空白:從網頁或 Excel 複製時常多帶空格,「 王小明」與「王小明」會被當成不同;勾選後先去掉前後空白再比對。
- 忽略空白行:空白行全部刪掉並另外統計;不勾的話空白行也當一行比對,只留第一個。
- 只刪連續重複的行:只刪「緊接著上一行一模一樣」的行,中間隔開的相同內容會留著。像日誌、逐字稿常一行重複好幾次,用這個清掉又不打亂前後。例如「A、A、B、A」會變成「A、B、A」(一般去重則是「A、B」)。
一行裡面重複的字或詞不會被拆開處理。要把一段文字的詞彙去重,先把詞彙換成一行一個再貼上。
排序怎麼排
「由小到大」照繁體中文(台灣)的排序規則:數字依大小排(2 在 10 前面,不會變成 10、2),英文不分大小寫,中文依筆畫由少到多(一、丁、王、李、陳)。排序只影響輸出順序,不會改變哪幾行被刪掉。
| 排法 | 「訂單 2、訂單 10、訂單 1」排完 |
|---|---|
| 一般文字排序(逐字比) | 訂單 1、訂單 10、訂單 2 |
| 本工具(數字依大小) | 訂單 1、訂單 2、訂單 10 |
從 Excel 或檔案來的資料
- Excel 一整欄:選取一欄複製貼上,每個儲存格就是一行;最後多出來的換行不會被算成一行。去重後直接複製貼回 Excel。
- 文字檔:按「開啟文字檔」可讀 .txt、.csv 等純文字檔(最大 20MB),Big5、GBK 等舊編碼會自動判斷。CSV 會以整行比對,要只看某一欄請先在 Excel 裡複製那一欄。
- 大量資料:十萬行以內通常一兩秒就處理完;處理在你的電腦上進行,速度取決於裝置。
按過一次「執行去重」後,修改內容或選項結果會自動更新;右上角的箭頭可以把結果放回輸入框,再做下一輪處理。
文字去重複工具功能特點
- 按行去重:完全相同的行只留一行
- 保留原本順序,重複時可選留第一次或最後一次
- 可只列出有重複的行,或只列出沒重複的行
- 可只刪連續重複的行(日誌、逐字稿),隔開的相同內容保留
- 結果可依原順序、由小到大或由大到小排序(數字依大小)
- 列出重複最多的內容與次數
- 可忽略大小寫(Apple 與 apple 視為重複)
- 可去除行首行尾空白(「 apple」與「apple」視為重複)
- 可忽略空白行
- 可開啟 .txt/.csv 文字檔,自動判斷 Big5 等編碼
- 可複製或下載 .txt
- 在瀏覽器處理,不上傳
如何使用文字去重複工具?
- 貼上一行一筆的文字(名單、關鍵字、Email…),或開啟文字檔
- 需要時勾選「忽略大小寫」「忽略空白行」「去除行首行尾空白」,選輸出內容、保留哪一次與排序
- 按「執行去重」(之後改選項會自動更新)
- 複製或下載結果,看重複最多的是哪幾筆
文字去重複工具常見問題
是怎麼判斷重複的?
以「整行」為單位:兩行文字完全一樣才算重複。勾選「忽略大小寫」後,英文大小寫不同也算重複(保留第一次出現的寫法);勾選「去除行首行尾空白」後,行首行尾多了空格的也算重複,結果會是去掉空格的版本。
「忽略空白行」是什麼意思?
勾選時空白行全部刪掉,統計下方另外寫刪了幾個空白行,不算進「移除重複行」;不勾的話空白行也當成一行比對,只保留第一個空白行。
去重後順序會變嗎?
預設不會:每一筆保留第一次出現的位置,後面重複的行被刪掉,原本的先後順序不變。選「重複時留最後一次」則改用最後出現的位置;也可以選由小到大、由大到小排序。
可以去除一行裡重複的字或詞嗎?
目前只做整行去重,不會拆開一行裡的字詞。要把一段文字裡的詞彙去重,可以先把詞彙換行成一行一個再貼上。
Excel 的資料可以用嗎?
可以。把 Excel 的一欄複製貼上,每個儲存格會變成一行(最後多出來的換行不會被算成一行),去重後再貼回 Excel 即可。十萬行以內都能在一兩秒內處理完。
怎麼找出名單裡重複的人?
輸出選「只列有重複的」,結果就只剩出現兩次以上的名字(每人一行);統計區還會列出每個名字重複幾次,次數多的排前面。
Excel 本身就能移除重複,為什麼用這個?
Excel 的「移除重複項」會直接改掉工作表、也不告訴你哪些重複了幾次。這裡不動原始資料,可以先看重複排行、選只列重複或沒重複的,再把結果貼回去;手機上沒有 Excel 時也能用。