중복 줄 제거·텍스트 정렬·공백 정리

중복 줄 제거·텍스트 정렬·공백 정리 소개

이 도구는 줄 단위 텍스트를 다루는 네 가지 모드를 담고 있습니다. 중복 줄 제거, 줄 정렬, 공백·빈 줄 정리, 줄바꿈 합치기·다시 나누기입니다. 모두 입력을 줄로 쪼갠 뒤 규칙에 따라 줄을 지우거나, 순서를 바꾸거나, 줄 안의 공백을 고치거나, 줄 경계를 다시 긋는 작업입니다. 결과의 줄바꿈은 모두 LF(\n) 하나로 통일됩니다.

겉보기에 단순한 작업이지만 결과가 예상과 다를 때가 있습니다. 대부분 「같은 줄」과 「가나다순」의 기준이 사람 생각과 다르기 때문이고, 원인은 보이지 않는 문자나 언어별 정렬 규칙에 있습니다.

중복 제거: 무엇을 「같은 줄」로 볼 것인가

기본 설정은 앞뒤 공백을 잘라 내고, 대소문자를 구분하며, 처음 나온 줄을 남깁니다. 그래서 「apple」과 「 apple」은 같은 줄이지만 「Apple」은 다른 줄입니다. 대소문자 무시를 켜면 비교할 때만 소문자로 바꾸고, 결과에는 남긴 줄의 원래 표기가 나옵니다.

「마지막 항목 남기기」는 단순히 뒤쪽 것을 남기는 게 아니라 결과 순서도 바꿉니다. 각 줄이 마지막으로 등장한 위치를 기준으로 줄을 세웁니다. 최신 값이 아래에 쌓이는 로그나 명단에서 「가장 최근 것만 남기기」에 알맞습니다.

화면에서 같아 보이는 두 줄이 코드로는 다를 때가 있습니다. 줄바꿈 없는 공백(NBSP, U+00A0)은 일반 공백과 다른 문자이고, 폭 없는 공백(ZWSP, U+200B)은 앞뒤 공백 자르기로도 지워지지 않으며, é는 한 글자(U+00E9)로도 e+결합 부호(U+0301) 두 글자로도 적힙니다. 기본으로 켜진 「보이지 않는 차이 무시」 옵션은 비교할 때만 NFC 정규화를 하고 NBSP를 일반 공백으로, ZWSP와 BOM을 없는 것으로 봅니다. 그래서 「a b」와 「a[NBSP]b」는 같은 줄로 지워지고, 결과에는 처음 나온 줄의 원문이 그대로 남습니다. 이 차이까지 구별해야 하면 옵션을 끄세요.

정렬: 가나다순은 코드 순서가 아니다

정렬 모드는 문자 코드 값을 비교하지 않고 브라우저의 Intl.Collator에 「정렬 언어」로 고른 언어의 규칙을 넘겨 비교합니다. 기본값은 페이지 언어라 한국어 페이지에서는 한국어 규칙이 적용되어 한글이 먼저, 로마자가 뒤에 옵니다. 스페인어나 스웨덴어 목록이라면 정렬 언어를 그 언어로 바꾸세요. 한국어 규칙에서는 ñ을 n의 변형으로 봐서 「ñandú」가 「nube」보다 앞에 오지만, 스페인어로 바꾸면 n 다음의 독립 글자로 뒤에 옵니다. 코드 값으로 정렬하면 대문자 B가 소문자 a보다 앞에 오고, 「file10」이 「file2」보다 앞에 옵니다.

한글 음절은 유니코드에 초성·중성·종성 순서대로 배열되어 있어서 가나다순과 코드 순이 일치합니다. 된소리는 예사소리 바로 뒤(ㄱ, ㄲ, ㄴ …)에 옵니다. 그래서 「가방, 까치, 나무」 순서가 됩니다.

기본 설정은 대소문자뿐 아니라 악센트도 무시하는 기준(base)이라 「resume」와 「résumé」가 정렬상 같은 값으로 취급되고, 이럴 때는 입력 순서가 유지됩니다.

숫자 정렬(자연 정렬)을 켜면 문자열 속 숫자를 값으로 비교합니다. 「사진2, 사진10」, 「2번, 10번」처럼 번호가 붙은 파일명·목록은 이 옵션 없이 정렬하면 10이 2보다 앞에 옵니다.

공백 정리: CRLF, 전각 공백, NBSP

공백 정리 모드는 줄 끝 공백 제거, 줄 안의 연속 공백을 하나로 줄이기, 연속 빈 줄을 1줄로 줄이기, 문서 앞뒤 빈 줄 제거가 기본으로 켜져 있습니다. 여기서 「공백」에는 스페이스와 탭 말고도 NBSP와 전각 공백(U+3000)이 들어가서, 줄 중간의 전각 공백이나 웹에서 복사한 NBSP는 일반 공백 하나로 바뀝니다. 폭 없는 공백(ZWSP)과 BOM은 기본으로 지웁니다(이모지를 잇는 ZWJ는 남깁니다).

줄 맨 앞의 들여쓰기(스페이스·탭, 그리고 한중일 문단 들여쓰기에 쓰는 전각 공백)는 연속 공백 줄이기에서 제외됩니다. 코드의 들여쓰기와 원고의 문단 첫머리가 망가지지 않게 하려는 것입니다. 탭↔스페이스 변환은 탭을 다음 탭 위치(기본 4칸 배수)까지 채우는 실제 탭 동작대로 계산합니다.

Windows 메모장은 오랫동안 줄바꿈을 CRLF(\r\n) 두 글자로 저장했고, macOS·Linux는 LF(\n) 하나를 씁니다. 이 모드는 둘 다 인식하고 결과를 LF로 통일합니다. 셸 스크립트를 Windows에서 편집한 뒤 「\r: command not found」 오류가 난다면 이 변환으로 해결됩니다.

줄바꿈 합치기와 다시 나누기

PDF에서 복사한 글은 한 줄 끝마다 줄바꿈이 박혀 있습니다. 줄바꿈 모드는 빈 줄을 문단 경계로 보고, 문단 안의 줄바꿈만 공백(또는 빈 문자열)으로 이어 붙입니다. 한국어와 영어는 공백으로, 띄어쓰기를 하지 않는 일본어·중국어는 빈 문자열로 이어야 단어 사이에 엉뚱한 공백이 생기지 않습니다.

다시 나누기(워드랩)는 지정한 너비를 넘지 않게 줄을 바꿉니다. 너비는 고정폭 글꼴의 칸 수로 세서 영문·숫자는 1칸, 한글·한자·가나와 이모지는 2칸입니다. 한국어와 영어는 공백 위치에서, 공백이 없는 일본어·중국어는 글자 사이에서 줄을 바꿉니다. 이때 기본 금칙 처리를 해서 「。」「、」 닫는 괄호, 작은 가나(っ·ゃ), 장음(ー)이 줄 첫머리에, 여는 괄호가 줄 끝에 오지 않게 합니다. 「긴 단어 자르기」는 한 단어가 너비보다 길 때만 쓰이고, 금칙을 무시하고 너비로 자릅니다.

예시

사용 방법

1. 위쪽 탭에서 중복 제거·정렬·공백 정리·줄바꿈 중 하나를 고릅니다.
2. 텍스트를 붙여 넣고 옵션(대소문자, 숫자 정렬, 빈 줄 처리, 줄 너비 등)을 정합니다.
3. 결과와 줄 수 통계를 확인하고 복사합니다.

자주 묻는 질문