일본어 단어 수 계산（형태소 분석）
일본어 문장을 형태소 분석하여 단어 수·토큰 수·단어 출현 빈도를 자동으로 집계합니다. 반각 스페이스 구분에 의존하지 않기 때문에, 공백이 없는 일본어 문장에서도 정확하게 단어 수를 셀 수 있습니다.
단어 출현 빈도 TOP20
| 순위 | 단어 | 횟수 |
|---|---|---|
| 텍스트를 입력하면 단어 출현 빈도가 표시됩니다. | ||
Tips
- 영어나 독일어처럼 공백으로 단어를 구분하는 언어와 달리, 일본어는 단어의 경계를 자동으로 판단해야 합니다. 이 도구는 TinySegmenter라는 경량 통계적 기법으로 그 경계를 추정합니다.
- 단어 출현 빈도 TOP20은 블로그 게시물이나 SEO 콘텐츠에서 특정 키워드가 부자연스럽게 많이 사용되고 있지 않은지 확인하는 데 유용합니다.
- 구두점이나 괄호 등도 각각 1개의 토큰으로 계산되기 때문에, 이 도구는 "총 토큰 수"와 "단어 수（기호 제외）"를 별도의 지표로 나누어 표시합니다.
- 고유명사나 신조어, 사전에 없는 단어는 문맥에 따라 분할이 부자연스러워질 수 있습니다. 사전 기반의 엄밀한 형태소 분석이 필요한 용도라면 MeCab 등의 전문 도구 사용을 고려하세요.
자주 묻는 질문
여담 ― "すもももももももものうち"로 보는 일본어 분할의 어려움
일본어에는 영어처럼 단어 사이를 구분하는 공백（분할 표기）이 없으며, 이는 자연어 처리를 어렵게 만드는 큰 요인 중 하나입니다. 유명한 예로 잰말놀이（빨리 말하기 놀이）인 "すもももももももものうち"（읽는 법: sumomo mo momo mo momo no uchi, 대략 "자두도 복숭아의 한 종류"라는 뜻）를 들 수 있습니다. 사람이라면 "sumomo／mo／momo／mo／momo no／uchi"로 직관적으로 구분할 수 있지만, 사전이 없는 기계에게는 경계를 판단하는 것이 매우 어려운 문장입니다.
이 도구가 사용하는 TinySegmenter는 Google의 연구자로도 알려진 구도 다쿠（工藤拓, Taku Kudo）가 개발한 경량 일본어 분할 라이브러리입니다. 사전을 전혀 사용하지 않고, 문자의 배열（히라가나·가타카나·한자·숫자 등 문자 종류의 전환 패턴）로부터 통계적으로 단어 경계의 가능성을 학습한 모델로 분할하기 때문에, 크기가 수십 KB에 불과하면서도 브라우저에서 고속으로 동작합니다.
정식 형태소 분석 엔진（MeCab·Kuromoji 등）은 수 MB에서 수십 MB에 이르는 사전 데이터가 필요하지만, TinySegmenter는 사전이 필요 없기 때문에 이 도구처럼 서버로 데이터를 전혀 전송하지 않고 브라우저만으로 처리를 완료할 수 있습니다. 정확도는 사전 기반 방식에 약간 못 미치지만, 일상적인 문장의 단어 수를 파악하는 데는 충분히 실용적입니다.