텍스트 · 2026년 7월 1일 · 읽는 시간 3분
중복된 줄 제거, 엑셀 없이 텍스트 그대로 처리하고 싶었음
여러 출처에서 이메일 주소 목록 합쳤더니 중복이 수백 개다. 이걸 일일이 눈으로 찾을 수가 없다.
중복 제거가 필요한 상황
데이터 정리하다 보면 자주 생긴다:
- 여러 파일에서 합친 이메일/연락처 목록 → 중복 항목 제거
- 여러 사람이 입력한 태그/키워드 → 겹치는 거 없애기
- 로그 파일에서 IP 주소 추출 → 고유한 IP만 남기기
- 설문조사 응답 텍스트 → 같은 답변 통합
- 코드에서 import 목록 → 중복 import 정리
- URL 목록 → 같은 링크 제거
규모가 크면 눈으로는 절대 못 찾는다. 데이터 정리할 때 거의 필수 과정이다.
기존 방법들의 문제
- 엑셀 중복 제거 → 엑셀 파일로 변환해야 하고, 텍스트 그대로 못 씀
- sort | uniq (Linux 명령) → 터미널 필요, 정렬까지 되어버림
- Python 스크립트 → 매번 짜기 귀찮음
- 텍스트 편집기 → 중복 제거 기능 없는 에디터가 대부분
엑셀로 옮겼다가 다시 텍스트로 뽑는 과정이 너무 번거롭다.
그래서 만들었음
텍스트 붙여넣으면 중복 줄 제거해준다. 옵션:
- 대소문자 구분 → "Apple"과 "apple"을 다른 것으로 볼지 같은 것으로 볼지
- 앞뒤 공백 무시 → 공백만 다른 중복도 제거
- 빈 줄 제거 → 중복 제거하면서 빈 줄도 함께 없애기
- 정렬 → 중복 제거 후 가나다/ABC순 정렬 옵션
결과 정보:
- 원본 줄 수 vs 결과 줄 수
- 제거된 중복 줄 수
- 복사 버튼 → 결과 바로 클립보드로
대소문자 구분이 중요한 이유
상황마다 다르게 처리해야 할 때가 있다:
- 이메일 주소 → 대소문자 무시(user@email.com = USER@EMAIL.COM)
- 프로그래밍 변수명 → 대소문자 구분(myVar ≠ myvar)
- 태그/키워드 → 보통 무시하는 게 낫지만 케이스 바이 케이스
- URL → 도메인은 무시, 경로는 구분하는 게 일반적
기본값은 대소문자 무시로 되어 있고, 필요하면 토글할 수 있다.
실제로 써보니
좋은 점:
- 순서 유지 → 중복 제거 후에도 원래 순서 그대로 (sort 불필요)
- 제거된 수 표시 → 얼마나 중복이 있었는지 바로 확인
- 옵션 세밀하게 조정 가능 → 상황에 맞게 처리
한계:
- 유사 중복(오탈자 등)은 감지 못 함 → 완전히 일치하는 줄만 제거
- 열(컬럼) 기준 중복 제거는 안 됨 → 줄 전체 기준
사용법
- 중복이 있는 텍스트 붙여넣기
- 옵션 설정 (대소문자, 공백 등)
- 결과 복사
- 끝
5초면 된다.
써보기
회원가입 없이 바로 쓸 수 있다.
#중복제거 #중복줄제거 #텍스트정리 #데이터정리 #텍스트도구 #무료도구