文字去重複工具

免費線上文字去重複:名單、關鍵字、Email 一行一筆貼上就刪掉重複的行,保留原順序;也能只列出重複的、看每筆重複幾次、排序。

立即使用文字去重複工具(免費、免註冊)

把名單、關鍵字、Email 這類一行一筆的清單貼上(或開啟 .txt/.csv 檔),按「執行去重」就刪掉重複的行並保留原本順序;也能只列出有重複的行、看每筆重複幾次,或把結果排序。全部在瀏覽器處理,名單不會上傳。

三種輸出、兩種保留方式

同一份名單,選不同的輸出方式會得到不同結果。下面用這六行示範:

範例名單(王小明出現 3 次、李小華 2 次、陳大文 1 次)

王小明
李小華
王小明
陳大文
李小華
王小明
選項與結果
設定結果什麼時候用
去重後全部(預設)王小明、李小華、陳大文整理名單、合併兩份清單後去掉重複
只列有重複的王小明、李小華找出重複報名、重複下單的人
只列沒重複的陳大文找出只出現一次的項目(例如只來過一次的客人)
重複時留最後一次陳大文、李小華、王小明名單越後面越新,要以最新那筆的位置為準
由小到大排序王小明、李小華、陳大文結果要照筆畫或數字排好

統計區另外會列出重複最多的內容與次數,例如「王小明 3 次」。

怎樣才算重複

以「整行」比對:兩行內容完全一樣才算重複。有三個選項會放寬標準:

  • 忽略大小寫:Apple 與 apple 算同一筆,結果保留第一次(或最後一次)出現的寫法。適合 Email、英文關鍵字。
  • 去除行首行尾空白:從網頁或 Excel 複製時常多帶空格,「 王小明」與「王小明」會被當成不同;勾選後先去掉前後空白再比對。
  • 忽略空白行:空白行全部刪掉並另外統計;不勾的話空白行也當一行比對,只留第一個。
  • 只刪連續重複的行:只刪「緊接著上一行一模一樣」的行,中間隔開的相同內容會留著。像日誌、逐字稿常一行重複好幾次,用這個清掉又不打亂前後。例如「A、A、B、A」會變成「A、B、A」(一般去重則是「A、B」)。

一行裡面重複的字或詞不會被拆開處理。要把一段文字的詞彙去重,先把詞彙換成一行一個再貼上。

排序怎麼排

「由小到大」照繁體中文(台灣)的排序規則:數字依大小排(2 在 10 前面,不會變成 10、2),英文不分大小寫,中文依筆畫由少到多(一、丁、王、李、陳)。排序只影響輸出順序,不會改變哪幾行被刪掉。

數字排序的差別
排法「訂單 2、訂單 10、訂單 1」排完
一般文字排序(逐字比)訂單 1、訂單 10、訂單 2
本工具(數字依大小)訂單 1、訂單 2、訂單 10

從 Excel 或檔案來的資料

  • Excel 一整欄:選取一欄複製貼上,每個儲存格就是一行;最後多出來的換行不會被算成一行。去重後直接複製貼回 Excel。
  • 文字檔:按「開啟文字檔」可讀 .txt、.csv 等純文字檔(最大 20MB),Big5、GBK 等舊編碼會自動判斷。CSV 會以整行比對,要只看某一欄請先在 Excel 裡複製那一欄。
  • 大量資料:十萬行以內通常一兩秒就處理完;處理在你的電腦上進行,速度取決於裝置。

按過一次「執行去重」後,修改內容或選項結果會自動更新;右上角的箭頭可以把結果放回輸入框,再做下一輪處理。

文字去重複工具功能特點

  • 按行去重:完全相同的行只留一行
  • 保留原本順序,重複時可選留第一次或最後一次
  • 可只列出有重複的行,或只列出沒重複的行
  • 可只刪連續重複的行(日誌、逐字稿),隔開的相同內容保留
  • 結果可依原順序、由小到大或由大到小排序(數字依大小)
  • 列出重複最多的內容與次數
  • 可忽略大小寫(Apple 與 apple 視為重複)
  • 可去除行首行尾空白(「 apple」與「apple」視為重複)
  • 可忽略空白行
  • 可開啟 .txt/.csv 文字檔,自動判斷 Big5 等編碼
  • 可複製或下載 .txt
  • 在瀏覽器處理,不上傳

如何使用文字去重複工具?

  1. 貼上一行一筆的文字(名單、關鍵字、Email…),或開啟文字檔
  2. 需要時勾選「忽略大小寫」「忽略空白行」「去除行首行尾空白」,選輸出內容、保留哪一次與排序
  3. 按「執行去重」(之後改選項會自動更新)
  4. 複製或下載結果,看重複最多的是哪幾筆

文字去重複工具常見問題

是怎麼判斷重複的?

以「整行」為單位:兩行文字完全一樣才算重複。勾選「忽略大小寫」後,英文大小寫不同也算重複(保留第一次出現的寫法);勾選「去除行首行尾空白」後,行首行尾多了空格的也算重複,結果會是去掉空格的版本。

「忽略空白行」是什麼意思?

勾選時空白行全部刪掉,統計下方另外寫刪了幾個空白行,不算進「移除重複行」;不勾的話空白行也當成一行比對,只保留第一個空白行。

去重後順序會變嗎?

預設不會:每一筆保留第一次出現的位置,後面重複的行被刪掉,原本的先後順序不變。選「重複時留最後一次」則改用最後出現的位置;也可以選由小到大、由大到小排序。

可以去除一行裡重複的字或詞嗎?

目前只做整行去重,不會拆開一行裡的字詞。要把一段文字裡的詞彙去重,可以先把詞彙換行成一行一個再貼上。

Excel 的資料可以用嗎?

可以。把 Excel 的一欄複製貼上,每個儲存格會變成一行(最後多出來的換行不會被算成一行),去重後再貼回 Excel 即可。十萬行以內都能在一兩秒內處理完。

怎麼找出名單裡重複的人?

輸出選「只列有重複的」,結果就只剩出現兩次以上的名字(每人一行);統計區還會列出每個名字重複幾次,次數多的排前面。

Excel 本身就能移除重複,為什麼用這個?

Excel 的「移除重複項」會直接改掉工作表、也不告訴你哪些重複了幾次。這裡不動原始資料,可以先看重複排行、選只列重複或沒重複的,再把結果貼回去;手機上沒有 Excel 時也能用。