Conteggio delle parole giapponesi | Preciso anche senza spazi
Il giapponese non separa le parole con gli spazi, quindi i normali contatori non riescono a contarle. Un motore di analisi morfologica divide automaticamente il testo in parole e ne analizza numero, token e le venti forme più frequenti, tutto nel browser e senza alcuna trasmissione.
Le venti parole più frequenti
| Posizione | Parola | Occorrenze |
|---|---|---|
| Inserite un testo per vedere la frequenza delle parole. | ||
Consigli
- A differenza dell'italiano o dell'inglese, in cui le parole sono separate da spazi, in giapponese il confine fra le parole va determinato automaticamente. Questo strumento lo stima con un metodo statistico leggero (TinySegmenter).
- L'elenco delle venti parole più frequenti è comodo per verificare che in un articolo di blog o in un testo ottimizzato per i motori di ricerca una parola chiave non sia ripetuta in modo innaturale.
- Poiché anche la punteggiatura e le parentesi contano come token, mostriamo due indicatori distinti: i «token totali» e le «parole, esclusi i simboli».
- Nomi propri, neologismi e termini assenti dai dizionari possono essere suddivisi in modo poco naturale a seconda del contesto. Se vi serve un'analisi morfologica rigorosa, basata su dizionario, valutate strumenti specialistici come MeCab.
Domande frequenti
A proposito — «Sumomo mo momo mo momo no uchi» e la difficoltà di separare le parole
Il giapponese non separa le parole con gli spazi, ed è una delle ragioni principali per cui l'elaborazione automatica di questa lingua è difficile. L'esempio classico è lo scioglilingua «sumomo mo momo mo momo no uchi» («sia la susina sia la pesca appartengono alle pesche»): un essere umano lo divide d'istinto in «sumomo / mo / momo / mo / momo no / uchi», ma per una macchina priva di dizionario stabilire quei confini è arduo.
Lo strumento usa TinySegmenter, una libreria leggera di segmentazione del giapponese sviluppata da Taku Kudo, noto anche per il lavoro svolto in Google. Non impiega alcun dizionario: divide il testo con un modello che ha appreso statisticamente la probabilità di un confine di parola dalla sequenza dei caratteri, cioè dai passaggi fra hiragana, katakana, ideogrammi e cifre. Pesa poche decine di kilobyte e funziona rapidamente nel browser.
I motori di analisi morfologica completi, come MeCab o Kuromoji, richiedono dizionari da alcuni megabyte a diverse decine. TinySegmenter, non avendone bisogno, permette a uno strumento come questo di concludere l'elaborazione interamente nel browser senza trasmettere alcun dato. La precisione resta un gradino sotto ai metodi con dizionario, ma per farsi un'idea del numero di parole di un testo comune è più che sufficiente.