文字の出現頻度

文字の出現頻度(もじのしゅつげんひんど、英: Letter frequency)とは、書記言語においてアルファベット(ひらがな、漢字)などの文字が出現する回数の平均をまとめたものを指す。文字の頻度分析はアラブ人数学者のアル=キンディー(801–873)が暗号解読を行うために確立したことから始まる[1]。またヨーロッパにおいては文字の頻度分析は1450年に活字が発明され、活字に必要な各字形の量を推定するために重要性を増した[2]。一方言語学者の間では未知の表記体系に対する言語同定の技法として文字の頻度分析を行っている[3]。
文字の出現頻度や頻度分析は暗号文やハングマン、スクラブル、Wordleのような単語パズルゲームにおいて利用されており[4]、米国のテレビ番組『ホイール・オブ・フォーチュン』においても利用されている[5]。エドガー・アラン・ポーの小説『黄金虫』では英文字の出現頻度の知見を活かして暗号文の解読を行った記述がある最も古い文献の一つであり、キャプテン・キッド秘蔵の財宝のありかを示すメッセージを頻度分析によって解読したことが書かれている[6]。
ハーバート・ジムは暗号学入門著書『Codes and Secret Writing』において英語の出現頻度は "ETAON RISHD LFCMU GYPWB VKJXZQ" の順序で出現頻度が高いとし、2文字(連接文字)に関しては "TH HE AN RE ER IN ON AT ND ST ES EN OF TE ED OR TI HI AS TO"、同じ文字が連続して出現する順序は "LL EE SS OO TT FF RR NN PP CC" である[7]。なお、出現頻度の加算方法の違いによって数値は多少変動する場合がある。
文字の出現頻度は一部のキーボード配列のデザインにも影響を与えている[8]。ブリッケンデルファー型タイプライターやDvorak配列、Colemak配列などは出現頻度の高い文字をホームポジションに配置している。
背景

文書中における文字の出現頻度は暗号解読において研究され、特にアラブ人数学者のアル=キンディー(801–873)が頻度分析の手法を確立したことで広まったとされる(頻度分析を用いて解読できる暗号は頻度分析の前から存在するガイウス・ユリウス・カエサルが発明したシーザー暗号が挙げられ[10]、頻度分析自体はより以前から研究されていた可能性がある。)[1]。1450年にはヨーロッパにおいて活版印刷が発明され、活字ケースの区画スペースの大きさがそれぞれ違うことからも読み取れるように、活版印刷に必要な各文字の字形の量を推定する必要が生じたことで文字の出現頻度分析の重要性が増した[2]。
すべての言語において厳密な文字の出現頻度の分布は文字の書き手によって使用する文法や単語が異なるため、求めることは不可能である。しかしながら、ほとんどの言語において一定量の文書内での文字の出現頻度は特有の分布が現れる。例として、(互いに理解することが困難とされ、)極端な言語の変遷を経た古英語と現代英語それぞれの文字の出現頻度においても類似した特徴を持つことがある[11]。聖書のある一節における両者の文字の出現頻度は高い順に、古英語: enaid sorhm tgþlwu æcfy ðbpxz、現代英語: eotha sinrd luymw fgcbp kvjqxz となり[12]、違いとしては第一にそれぞれでのみ使用されている文字が存在することが挙げられるが、両者とも ⟨e⟩ が最も出現頻度の高い文字である[13]。
英語圏でのライノタイプを使用していた職人の長年の経験と習慣から文字の出現頻度の高い順から低い順に etaoin shrdlu cmfwyp vbgkqj xz であると考えられており[14]、フランス語圏においては elaoin sdrétu cmfhyp vbgwqj xz の出現頻度であると考えられていた[15]。

各アルファベットのモールス符号を通信にかかる時間が短いまとまり順に並べると e it san hurdm wgvlfbk opxcz jyq となる[注釈 1]。文字の出現頻度はMurray Codeのような他の電信システムにおいても考慮されている[17]。
文字の出現頻度における同様の利用例としてはハフマン符号のような現代のデータ圧縮などが挙げられる[18]。
文字の出現頻度は単語の出現頻度と同様に書き手や記述されている内容によって異なった出現頻度となる[19]。フィクション小説を例としてみると、文章の時制が過去形で書かれることが多くなることから、⟨d⟩ の出現頻度が高くなるとされている。またX線に関するエッセイの文字の出現頻度は ⟨x⟩ が異様に高くなることが考えられる。また執筆者の言葉の言い回しからも文字の出現頻度は影響を受けるとされる。例として、アーネスト・ヘミングウェイの文体とウィリアム・フォークナーの文体は明確に異なっている。単文字、bigram、trigram、単語の出現頻度、単語の長さ、文章の長さを求めることで文章の表現方法が類似している著者の作品に対して、識別することが可能となる[20]。
より厳密な文字の出現頻度は大規模な文書データを分析することで求めることができる。大規模な文書データに対する分析は現代のコンピュータと大規模なテキストコーパスを使用することで容易に行うことができる。より具体的には(出版記事、宗教文書、学術文書、フィクション小説など)さまざまな資料をもとに出現頻度を求めることができ、フィクション小説においては ⟨h⟩ と ⟨i⟩ の出現頻度の順は異なる位置となり、⟨h⟩ の方がより普遍的に出現する文字とされている。
また同じ言語を使用する地域ごとにも文字の出現頻度はそれぞれ違いが存在している。例として、米国では "analyze"、"apologize"、"recognize" のように ⟨z⟩ が含まれた単語を用いているが、英国においてはこれらの単語がそれぞれ "analyse"、"apologise"、"recognise" のように異なった綴りで書かれている[21]。このことから米国における ⟨z⟩ の出現頻度は英国と比べて高くなっている。
アルファベットにおいて出現頻度の高い上位十二文字の割合は約 80% にも達する[22]。また上位八文字のみについても出現頻度は 65% に達する。文字の出現頻度はいくつかのランク関数によく適合し、中でも2つパラメータを持つコチョのベータランク関数が最も適合する[23]。パラメータを持たないランク関数も文字の出現頻度の分布に適合される(これらのランク関数はタンパク質構造におけるアミノ塩基の出現頻度を表す際にも使用されている[24])[25]。VIC暗号やストラドリング・チェッカーボードに基づいた暗号を使用するスパイは通常 "a sin to err"(2つ目の "r" を省略)[26][27] や "at one sir"[28] といった語呂合わせを用いて出現頻度の高い八文字を記憶する。
日本語における文字の出現頻度
平仮名
平仮名の出現頻度は以下の表の通りである[29][30]。分析に使用したデータにおける平仮名の総数は 20,711,361文字である[29]。
順位 | 平仮名 | 度数 | 割合 | |
---|---|---|---|---|
1 | の | 1,918,313 | 9.262% | |
2 | に | 1,108,840 | 5.354% | |
3 | た | 1,067,566 | 5.155% | |
4 | い | 1,060,284 | 5.119% | |
5 | は | 937,811 | 4.528% | |
6 | を | 936,356 | 4.521% | |
7 | と | 927,938 | 4.480% | |
8 | る | 916,652 | 4.425% | |
9 | が | 860,742 | 4.156% | |
10 | し | 848,132 | 4.095% | |
11 | で | 764,834 | 3.693% | |
12 | て | 758,316 | 3.661% | |
13 | な | 720,156 | 3.477% | |
14 | か | 537,294 | 2.594% | |
15 | っ | 467,350 | 2.257% | |
16 | れ | 450,805 | 2.177% | |
17 | ら | 423,294 | 2.044% | |
18 | も | 396,142 | 1.913% | |
19 | う | 352,965 | 1.704% | |
20 | す | 340,654 | 1.645% | |
21 | り | 333,999 | 1.613% | |
22 | こ | 312,227 | 1.508% | |
23 | だ | 280,911 | 1.356% | |
24 | ま | 278,599 | 1.345% | |
25 | さ | 258,960 | 1.250% | |
26 | き | 233,505 | 1.127% | |
27 | め | 223,806 | 1.081% | |
28 | く | 221,960 | 1.072% | |
29 | あ | 204,256 | 0.986% | |
30 | け | 199,362 | 0.963% | |
31 | ど | 196,555 | 0.949% | |
32 | ん | 190,068 | 0.918% | |
33 | え | 163,664 | 0.790% | |
34 | よ | 154,206 | 0.745% | |
35 | つ | 153,999 | 0.744% | |
36 | や | 146,156 | 0.706% | |
37 | そ | 131,611 | 0.635% | |
38 | わ | 123,077 | 0.594% | |
39 | ち | 99,183 | 0.479% | |
40 | み | 89,264 | 0.431% | |
41 | せ | 83,444 | 0.403% | |
42 | ろ | 73,467 | 0.355% | |
43 | ば | 72,228 | 0.349% | |
44 | お | 65,870 | 0.318% | |
45 | じ | 56,857 | 0.275% | |
46 | べ | 56,005 | 0.270% | |
47 | ず | 53,256 | 0.257% | |
48 | げ | 49,126 | 0.237% | |
49 | ほ | 48,752 | 0.235% | |
50 | へ | 47,013 | 0.227% | |
51 | び | 32,312 | 0.156% | |
52 | む | 31,212 | 0.151% | |
53 | ご | 26,965 | 0.130% | |
54 | ね | 23,490 | 0.113% | |
55 | ぶ | 23,280 | 0.112% | |
56 | ぐ | 21,549 | 0.104% | |
57 | ぎ | 19,865 | 0.096% | |
58 | ひ | 19,148 | 0.092% | |
59 | ょ | 14,425 | 0.070% | |
60 | づ | 13,125 | 0.063% | |
61 | ぼ | 12,402 | 0.060% | |
62 | ざ | 12,108 | 0.058% | |
63 | ふ | 11,606 | 0.056% | |
64 | ゃ | 11,522 | 0.056% | |
65 | ぞ | 10,047 | 0.049% | |
66 | ゆ | 8,486 | 0.041% | |
67 | ぜ | 6,893 | 0.033% | |
68 | ぬ | 5,124 | 0.025% | |
69 | ぱ | 4,349 | 0.021% | |
70 | ゅ | 2,755 | 0.013% | |
71 | ぴ | 1,608 | 0.008% | |
72 | ぽ | 1,315 | 0.006% | |
73 | ぷ | 986 | 0.005% | |
74 | ぺ | 477 | 0.002% | |
75 | ぁ | 125 | 0.001% | |
76 | ぇ | 106 | 0.001% | |
77 | ぢ | 82 | 0.000% | |
78 | ゑ | 75 | 0.000% | |
79 | ゐ | 48 | 0.000% | |
80 | ぉ | 21 | 0.000% | |
81 | ぃ | 21 | 0.000% | |
82 | ゎ | 3 | 0.000% | |
83 | ぅ | 1 | 0.000% |
片仮名
片仮名の出現頻度は以下の表の通りである[31][30]。分析に使用したデータにおける片仮名の総数は 3,608,288文字である[31]。
順位 | 片仮名 | 度数 | 割合 | |
---|---|---|---|---|
1 | ン | 290,948 | 8.063% | |
2 | ル | 189,442 | 5.250% | |
3 | ス | 178,214 | 4.939% | |
4 | ト | 162,802 | 4.512% | |
5 | ア | 127,845 | 3.543% | |
6 | イ | 120,807 | 3.348% | |
7 | ラ | 117,203 | 3.248% | |
8 | リ | 106,744 | 2.958% | |
9 | ク | 98,209 | 2.722% | |
10 | ッ | 86,894 | 2.408% | |
11 | カ | 82,982 | 2.300% | |
12 | シ | 80,626 | 2.235% | |
13 | タ | 75,319 | 2.087% | |
14 | ロ | 75,301 | 2.087% | |
15 | ド | 74,257 | 2.058% | |
16 | ジ | 61,171 | 1.695% | |
17 | フ | 61,115 | 1.694% | |
18 | レ | 60,608 | 1.680% | |
19 | メ | 60,230 | 1.669% | |
20 | コ | 58,724 | 1.628% | |
21 | マ | 56,123 | 1.555% | |
22 | プ | 54,159 | 1.501% | |
23 | テ | 53,404 | 1.480% | |
24 | ム | 50,758 | 1.407% | |
25 | チ | 48,437 | 1.342% | |
26 | バ | 44,970 | 1.246% | |
27 | ビ | 44,462 | 1.232% | |
28 | グ | 40,433 | 1.121% | |
29 | キ | 39,608 | 1.098% | |
30 | ウ | 39,323 | 1.090% | |
31 | サ | 39,202 | 1.086% | |
32 | ニ | 38,711 | 1.073% | |
33 | ナ | 38,047 | 1.054% | |
34 | エ | 36,458 | 1.010% | |
35 | ブ | 35,920 | 0.995% | |
36 | パ | 35,416 | 0.982% | |
37 | セ | 34,883 | 0.967% | |
38 | オ | 34,718 | 0.962% | |
39 | ィ | 33,747 | 0.935% | |
40 | デ | 32,665 | 0.905% | |
41 | ュ | 32,616 | 0.904% | |
42 | ミ | 29,262 | 0.811% | |
43 | ャ | 28,144 | 0.780% | |
44 | ボ | 26,651 | 0.739% | |
45 | ダ | 26,396 | 0.732% | |
46 | ツ | 24,541 | 0.680% | |
47 | ポ | 23,742 | 0.658% | |
48 | ベ | 22,755 | 0.631% | |
49 | ネ | 22,462 | 0.623% | |
50 | ガ | 22,061 | 0.611% | |
51 | ハ | 21,839 | 0.605% | |
52 | ワ | 21,784 | 0.604% | |
53 | ソ | 20,784 | 0.576% | |
54 | ケ | 20,633 | 0.572% | |
55 | モ | 20,070 | 0.556% | |
56 | ノ | 19,572 | 0.542% | |
57 | ズ | 19,240 | 0.533% | |
58 | ピ | 18,692 | 0.518% | |
59 | ホ | 18,204 | 0.505% | |
60 | ェ | 17,817 | 0.494% | |
61 | ョ | 17,731 | 0.491% | |
62 | ペ | 14,881 | 0.412% | |
63 | ゴ | 13,931 | 0.386% | |
64 | ヤ | 12,526 | 0.347% | |
65 | ギ | 10,732 | 0.297% | |
66 | ヨ | 10,318 | 0.286% | |
67 | ザ | 10,144 | 0.281% | |
68 | ァ | 10,121 | 0.280% | |
69 | ゼ | 7,689 | 0.213% | |
70 | ヒ | 7,289 | 0.202% | |
71 | ヘ | 7,129 | 0.198% | |
72 | ユ | 6,653 | 0.184% | |
73 | ゲ | 6,481 | 0.180% | |
74 | ォ | 6,245 | 0.173% | |
75 | ヌ | 2,897 | 0.080% | |
76 | ゾ | 2,640 | 0.073% | |
77 | ヴ | 1,145 | 0.032% | |
78 | ゥ | 1,050 | 0.029% | |
79 | ヂ | 149 | 0.004% | |
80 | ヅ | 127 | 0.004% | |
81 | ヲ | 122 | 0.003% | |
82 | ヱ | 73 | 0.002% | |
83 | ヰ | 40 | 0.001% | |
84 | ヵ | 14 | 0.000% | |
85 | ヮ | 9 | 0.000% | |
86 | ヶ | 2 | 0.000% |
漢字
文化庁によりまとめられた日本語における漢字の出現頻度上位50文字は以下の表の通りである[32]。分析に使用されたデータは総数177,276,398文字であり、そのうち漢字は51,258,216文字であった[33]。出現頻度の高い上位100文字はすべて常用漢字である[34]。
|
|
|
|
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
文字種別の出現頻度
日本語における記号、数字、平仮名、片仮名、漢字、アルファベットの文字の種類別の出現頻度は以下の通りとなる。
調査年 | 文字種別出現頻度 | 詳細 | 出典 | |||||
---|---|---|---|---|---|---|---|---|
平仮名 | 片仮名 | 漢字 | アルファベット | 記号 | 数字 | |||
1964年 | 56.0% | 6.3% | 35.9% | 0.2% | 1.6% | 1964年当時の雑誌九十種に対する調査。総数83,923文字。 | [35] | |
1981年 | 40.2% | 4.9% | 40.7% | 2.0% | 8.3% | 3.9% | 1981年当時のRICOHが保有する事務文書に対する調査。総数76,100文字。 | [36] |
1994年 | 35.7% | 16.0% | 26.9% | 3.9% | 17.6% | 1994年当時の雑誌七十種に対する調査。総数2,116,736文字。 | [35] | |
2000年 | 34.06% | 6.34% | 41.46% | 0.46% | 15.58% | 2.10% | 1993年の新聞記事に対する調査。総数5,500万文字。 | [37] |
英語における文字の出現頻度
文字 | 英語における相対出現頻度[38] | |
---|---|---|
A | 8.2% | |
B | 1.5% | |
C | 2.8% | |
D | 4.3% | |
E | 12.7% | |
F | 2.2% | |
G | 2.0% | |
H | 6.1% | |
I | 7.0% | |
J | 0.15% | |
K | 0.77% | |
L | 4.0% | |
M | 2.4% | |
N | 6.7% | |
O | 7.5% | |
P | 1.9% | |
Q | 0.095% | |
R | 6.0% | |
S | 6.3% | |
T | 9.1% | |
U | 2.8% | |
V | 0.98% | |
W | 2.4% | |
X | 0.15% | |
Y | 2.0% | |
Z | 0.074% |
文字の相対出現頻度

文字の出現頻度を算出する方法は大きく三種類存在し、各方法によって文字の出現頻度の分布は大きく異なってくる。一つ目は辞書の見出し語として書かれている基本語ごとに文字の出現頻度を加算する方法である。以下の節ではこの方法により文字の出現頻度を求めている。二つ目は基本語の "abstract" を "abstracts"、"abstracted"、"abstracting" のように語形変化の単語ごとに文字の出現頻度を加算する方法である。この方法では、インターネット上で頻出する英単語のリストから文字の出現頻度を求める場合に、⟨s⟩ のような文字の出現頻度がより現れるとされる。すなわち、⟨s⟩ は複数形や三人称単数現在形の動詞中に付け加えられる文字であるため、非基本語の単語中に普遍的に現れる文字となっている。三つ目は実際の文書中に使用されている単語そのままを文字の出現頻度として加算する方法であり、これにより "the"、"then"、"both"、"this" のような単語の頻出により ⟨th⟩ の出現頻度がより現れるとされる。そして、絶対的な文字の出現頻度が求められるこの方法ではキーボードのレイアウトや古来の印刷機における文字の頻出度合いについて求めることができる。
英英辞典『Concise Oxford dictionary』を辞典内における単語の頻出度合を無視して文字の出現頻度を分析すると、順番は "EARIOTNSLCUDPMHGBFYWKVXZJQ" であった[39]。
この出現頻度順はロベルト・ルワンド著『Cryptological Mathematics』を引用したパベル・ミツカ氏のウェブサイトにまとめられていたものである[40]。
ルワンドによると、文字の出現頻度の高い順から並べると、etaoinshrdlcumwfgypbvkjxqz となることが言及されている。このルワンドの出現頻度順はコーネル大学の「Math Explorer's Project」による40000文字に対する文字の出現頻度順とは異なった並びとなっている[41]。
英語における空白記号の出現頻度は英文字の出現頻度が最も高い ⟨e⟩ の約2倍となっており[42]、非アルファベット文字(数字、句読点など)総計の出現頻度は ⟨t⟩ と ⟨a⟩ の間となる4番目(空白記号も含めた順位)に位置している[43]。
単語の頭文字・末尾の文字の相対出現頻度
|
|
単語の頭文字の出現頻度を分析することは物理的空間におけるファイルや索引の量を割り当てるために重要視されている[45]。アルファベット 26 文字に対応したファイリングキャビネットの引き出しを準備する場合に、各文字ごとに一つの引き出し、つまり 1:1 の割当を行うのではなく、頭文字の出現頻度に沿った引き出しの割当を行うことが合理的であると考えられる。すなわち、出現頻度の低い VWXYZ をまとめて一つの引き出しに割り当てる、出現頻度の高い ⟨s, a, c⟩ では Aa-An、Ao-Az、Ca-Cj、Ck-Cz、Sa-Si、Sj-Sz のように複数の引き出しを割り当てることが考えられる。同様の事例としては複数の巻に分かれた百科事典の構成や図書館において書籍の識別の名前の頭文字の分布を均等にするための Cutter number が挙げられる[46]。
英単語全体および頭文字の出現頻度の分布は両者ともにジップ分布に従い、またユール分布にも十分従うことが知られている[47]。
一般的に数字の最初の桁の出現頻度の分布は数字全体の分布と比べて有意に差があるとされており、これはベンフォードの法則として知られている(ベンフォードの法則節を参照)[48]。
ピーター・ノーヴィグは光学文字認識(OCR)を用いてGoogle Booksのデータにおける100,000単語以上出現する単語を対象にした英単語の頭文字の出現頻度が分析された[49]。
ラテン文字を使用する言語における文字の相対出現頻度
文字 | 英語[50] | フランス語[51] | ドイツ語[52] | スペイン語[53] | ポルトガル語[54] | イタリア語[55] | トルコ語[56] | スウェーデン語[57] | ポーランド語[58] | オランダ語[59] | デンマーク語[60] | アイスランド語[61] | フィンランド語[62] | チェコ語[63] | ハンガリー語[64] | ウェールズ語[65] | リトアニア語[66] |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
a | 8.672% | 7.636% | 6.516% | 11.525% | 14.634% | 11.745% | 11.920% | 9.383% | 8.965% | 7.49% | 6.025% | 10.110% | 12.217% | 6.219% | 8.89% | 10.241% | 11.191% |
b | 1.485% | 0.901% | 1.886% | 2.215% | 1.043% | 0.927% | 2.844% | 1.535% | 1.482% | 1.58% | 2.000% | 1.043% | 0.281% | 1.558% | 1.94% | 1.867% | 1.484% |
c | 3.424% | 3.260% | 2.732% | 4.019% | 3.882% | 4.501% | 0.963% | 1.486% | 3.988% | 1.24% | 0.565% | ~0% | 0.281% | 1.607% | 0.646% | 1.776% | 0.602% |
d | 3.904% | 3.669% | 5.076% | 5.010% | 4.992% | 3.736% | 4.706% | 4.702% | 3.293% | 5.93% | 5.858% | 1.575% | 1.043% | 3.602% | 1.92% | 5.136% | 2.580% |
e | 12.155% | 14.715% | 16.396% | 13.702% | 13.101% | 11.792% | 8.912% | 10.149% | 7.921% | 18.91% | 15.453% | 6.418% | 7.968% | 7.695% | 11.6% | 8.116% | 5.621% |
f | 2.302% | 1.066% | 1.656% | 0.692% | 1.023% | 1.153% | 0.461% | 2.027% | 0.312% | 0.81% | 2.406% | 3.013% | 0.194% | 0.273% | 0.548% | 2.675% | 0.347% |
g | 1.945% | 0.866% | 3.009% | 1.768% | 1.303% | 1.644% | 1.253% | 2.862% | 1.377% | 3.40% | 4.077% | 4.241% | 0.392% | 0.273% | 3.79% | 3.412% | 1.795% |
h | 4.745% | 0.937% | 4.577% | 1.973% | 1.281% | 0.136% | 1.212% | 2.090% | 1.072% | 2.38% | 1.621% | 1.871% | 1.851% | 1.271% | 1.26% | 1.479% | 0.276% |
i | 7.532% | 7.529% | 6.550% | 6.247% | 6.186% | 10.143% | 8.600%* | 5.817% | 8.286% | 6.50% | 6.000% | 7.578% | 10.817% | 4.353% | 4.25% | 7.569% | 12.959% |
j | 0.187% | 0.813% | 0.268% | 0.493% | 0.379% | 0.011% | 0.034% | 0.614% | 2.343% | 1.46% | 0.730% | 1.144% | 2.042% | 2.119% | 1.48% | 0.078% | 2.338% |
k | 0.600% | 0.074% | 1.417% | 0.026% | 0.015% | 0.009% | 4.683% | 3.140% | 3.411% | 2.25% | 3.395% | 3.314% | 4.973% | 3.737% | 4.85% | 0.040% | 4.171% |
l | 4.237% | 5.456% | 3.437% | 4.967% | 2.779% | 6.510% | 5.922% | 5.275% | 2.136% | 3.57% | 5.229% | 4.532% | 5.761% | 3.842% | 6.71% | 3.358% | 3.502% |
m | 2.647% | 2.968% | 2.534% | 3.157% | 4.738% | 2.512% | 3.752% | 3.471% | 2.911% | 2.21% | 3.237% | 4.041% | 3.202% | 3.227% | 3.82% | 2.593% | 3.579% |
n | 7.337% | 7.095% | 9.776% | 6.712% | 4.446% | 6.883% | 7.487% | 8.542% | 5.600% | 10.03% | 7.240% | 7.711% | 8.826% | 6.535% | 6.82% | 8.552% | 5.144% |
o | 7.377% | 5.796% | 2.594% | 8.683% | 9.735% | 9.832% | 2.476% | 4.482% | 7.590% | 6.06% | 4.636% | 2.166% | 5.614% | 8.666% | 3.65% | 6.280% | 6.743% |
p | 2.124% | 2.521% | 0.670% | 2.510% | 2.523% | 3.056% | 0.886% | 1.839% | 3.101% | 1.57% | 1.756% | 0.789% | 1.842% | 3.413% | 0.48% | 0.819% | 2.734% |
q | 0.110% | 1.362% | 0.018% | 0.877% | 1.204% | 0.505% | 0 | 0.020% | 0.003% | 0.009% | 0.007% | 0 | 0.013% | 0.001% | ~0% | 0.004% | 0.005% |
r | 6.625% | 6.693% | 7.003% | 6.871% | 6.530% | 6.367% | 6.722% | 8.431% | 4.571% | 6.41% | 8.956% | 8.581% | 2.872% | 3.697% | 2.65% | 7.085% | 5.669% |
s | 6.633% | 7.948% | 7.270% | 7.977% | 6.805% | 4.981% | 3.014% | 6.590% | 4.263% | 3.73% | 5.805% | 5.630% | 7.862% | 4.516% | 6.99% | 2.854% | 7.881% |
t | 8.598% | 7.244% | 6.154% | 4.632% | 4.336% | 5.623% | 3.314% | 7.691% | 3.966% | 6.79% | 6.862% | 4.953% | 8.750% | 5.727% | 6.96% | 1.842% | 5.332% |
u | 2.691% | 6.311% | 4.166% | 3.927% | 3.639% | 2.813% | 3.235% | 1.919% | 2.347% | 1.99% | 1.979% | 4.562% | 5.008% | 3.144% | 0.392% | 2.723% | 4.586% |
v | 1.061% | 1.838% | 0.846% | 1.138% | 1.575% | 2.097% | 0.959% | 2.415% | 0.034% | 2.85% | 2.332% | 2.437% | 2.250% | 4.662% | 2.31% | 0.052% | 2.656% |
w | 1.673% | 0.049% | 1.921% | 0.027% | 0.037% | 0.033% | 0 | 0.142% | 4.549% | 1.52% | 0.069% | 0 | 0.094% | 0.009% | ~0% | 4.642% | 0.037% |
x | 0.202% | 0.427% | 0.034% | 0.515% | 0.453% | 0.008% | 0 | 0.159% | 0.019% | 0.036% | 0.028% | 0.046% | 0.031% | 0.076% | ~0% | 0.040% | 0.073% |
y | 1.551% | 0.708% | 0.039% | 1.433% | 0.006% | 0.020% | 3.336% | 0.708% | 3.857% | 0.035% | 0.698% | 0.900% | 1.745% | 1.909% | 2.56% | 8.971% | 1.433% |
z | 0.132% | 0.326% | 1.134% | 0.467% | 0.470% | 1.181% | 1.500% | 0.070% | 5.620% | 1.39% | 0.034% | 0 | 0.051% | 2.199% | 4.3% | 0.009% | 0.345% |
à | 0.0005% | 0.486% | 0 | ~0% | 0.072% | 0.635% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.000% | 0.0003% |
â | 0.0006% | 0.051% | 0 | 0 | 0.562% | ~0% | ~0% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.147% | 0.0002% |
á | 0.005% | 0 | 0 | 0.502% | 0.118% | 0 | 0 | 0 | 0 | 0 | 0 | 1.799% | 0 | 2.236% | 3.44% | 0.0002% | 0.002% |
å | 0.0007% | 0 | 0 | 0 | 0 | 0 | 0 | 1.34% | 0 | 0 | 1.190% | ~0% | 0.003% | 0 | 0 | 0 | 0.0002% |
ä | 0.002% | 0 | 0.578% | 0 | 0 | 0 | 0 | 1.80% | 0 | 0 | 0 | 0 | 3.577% | 0 | 0 | 0.001% | 0.001% |
ã | 0.0005% | 0 | 0 | 0 | 0.733% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0003% |
ą | 0.00009% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1.021% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.542% |
ā | 0.002% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.001% |
ă | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0002% |
æ | 0.0008% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.872% | 0.867% | 0 | 0 | 0 | 0 | 0.0002% |
œ | 0.00008% | 0.018% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
ç | 0.001% | 0.085% | 0 | ~0% | 0.530% | 0 | 1.156% | 0 | 0 | 0 | 0 | ~0% | 0 | 0 | 0 | 0 | 0.0004% |
ć | 0.0006% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.448% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0003% |
č | 0.0005% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.949% | 0 | 0 | 0.430% |
ch | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1.171% | 0 | 0.949% | 0 |
ď | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.022% | 0 | 0 | 0 |
dd | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 2.927% | 0 |
ð | 0.0004% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 4.393% | 0 | 0 | 0 | 0 | 0.0001% |
è | 0.002% | 0.271% | 0 | ~0% | 0 | 0.263% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0005% | 0.0004% |
é | 0.011% | 1.504% | 0 | 0.433% | 0.337% | 0 | 0 | 0 | ~0% | 0 | 0 | 0.647% | 0 | 1.335% | 4.25% | 0.0001% | 0.004% |
ê | 0.0003% | 0.218% | 0 | 0 | 0.450% | ~0% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.026% | 0.0001% |
ë | 0.0006% | 0.008% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.002% | 0.0002% |
ė | 0.00005% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1.664% |
ę | 0.0001% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1.131% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.172% |
ě | 0.00008% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1.646% | 0 | 0 | 0 |
ē | 0.0003% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0004% |
ff | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.382% | 0 |
ğ | 0.0001% | 0 | 0 | 0 | 0 | 0 | 1.125% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0001% |
ng | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.366% | 0 |
î | 0.0002% | 0.045% | 0 | 0 | 0 | ~0% | ~0% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.008% | 0.0001% |
ì | 0.0001% | 0 | 0 | 0 | 0 | (0.030%) | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0001% | 0.0001% |
í | 0.003% | 0 | 0 | 0.725% | 0.132% | 0.030% | 0 | 0 | 0 | 0 | 0 | 1.570% | 0 | 3.270% | 0.47% | ~0% | 0.002% |
ï | 0.0002% | 0.005% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.008% | 0 |
ı | 0.0002% | 0 | 0 | 0 | 0 | 0 | 5.114%* | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0002% |
į | 0 | 0 | 0 | 0 | 0 | 0 | 5 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.485% |
ī | 0.0005% | 0 | 0 | 0 | 0 | 0 | 5 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0007% |
ł | 0.0007% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1.746% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.001% |
ľ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ~0% | 0 | 0 | 0 |
ll | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1.031% | 0 |
ñ | 0.0009% | 0 | 0 | 0.311% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0005% |
ń | 0.0002% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.185% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0003% |
ň | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.081% | 0 | 0 | 0 |
ņ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0001% |
ò | 0.0002% | 0 | 0 | 0 | 0 | 0.002% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0002% | 0.0001% |
ö | 0.003% | 0 | 0.443% | 0 | 0 | 0 | 0.777% | 1.31% | 0 | 0 | 0 | 0.777% | 0.444% | 0 | 0.784% | 0.002% | 0.001% |
ô | 0.0005% | 0.023% | 0 | 0 | 0.635% | ~0% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.101% | 0.0001% |
ó | 0.003% | 0 | 0 | 0.827% | 0.296% | ~0% | 0 | 0 | 0.823% | 0 | 0 | 0.994% | 0 | 0.031% | 0.597% | 0.0002% | 0.002% |
ő | 0.00008% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.823% | 0 | 0 |
õ | 0.00005% | 0 | 0 | 0 | 0.040% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0001% |
ø | 0.001% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.939% | 0 | 0 | 0 | 0 | 0 | 0.0003% |
ph | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.066% | 0 |
ř | 0.0001% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1.217% | 0 | 0 | 0 |
rh | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.398% | 0 |
ŝ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
ş | 0.0003% | 0 | 0 | 0 | 0 | 0 | 1.780% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0003% |
ś | 0.0003% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.683% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0002% |
š | 0.0008% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ~0% | 0.805% | 0 | 0 | 1.134% |
ß | 0.0003% | 0 | 0.307% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0002% |
ť | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.043% | 0 | 0 | 0 |
þ | 0.0001% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1.455% | 0 | 0 | 0 | 0 | 0 |
th | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1.294% | 0 |
ù | 0.00008% | 0.058% | 0 | 0 | 0 | (0.166%) | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.000% | 0.0001% |
ú | 0.0008% | 0 | 0 | 0.168% | 0.207% | 0.166% | 0 | 0 | 0 | 0 | 0 | 0.613% | 0 | 0.103% | 0.098% | ~0% | 0.0005% |
û | 0.0001% | 0.060% | 0 | 0 | 0 | ~0% | ~0% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.003% | 0 |
ü | 0.003% | 0 | 0.995% | 0.012% | 0.026% | 0 | 1.854% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.617% | 0.002% | 0.001% |
ű | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.117% | 0 | 0 |
ů | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.695% | 0 | 0 | 0 |
ų | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1.2602% |
ū | 0.0007% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.4079% |
ẃ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ~0% | 0 |
ẁ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ~0% | 0 |
ŵ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.033% | 0 |
ẅ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0006% | 0 |
ỳ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ~0% | 0 |
ý | 0.0001% | 0 | 0 | ~0% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.228% | 0 | 1.072% | 0 | ~0% | 0.0001% |
ŷ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ~0% | 0 |
ÿ | 0 | ~0% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0005% | 0 |
ź | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.061% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
ż | 0.00009% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.885% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0002% |
ž | 0.0003% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ~0% | 0.995% | 0 | 0 | 0.797% |
*: İ および ドットなしI を参照。
下記の図はいくつかの国におけるラテン文字26文字の出現頻度を可視化したものである。各国はいずれも英語と同様に25文字程度のアルファベットを使用している[67]。
|
![]() |
出現頻度のランキング
以下の表はいくつかの言語において出現頻度の高い10文字を並べたものである。
言語 | 順序 | 言語系統 | 語派 |
---|---|---|---|
英語 | etaoin shrdlu | インド・ヨーロッパ語族 | ゲルマン語派 |
フランス語[注釈 2] | esait nrulo | ロマンス諸語 | |
スペイン語 | eaosr nidlc | ||
ポルトガル語 | aeosr indmu | ||
イタリア語 | eaion lrtsc | ||
ドイツ語 | enisr atdhu | ゲルマン語派 | |
スウェーデン語 | eantr slido | ||
オランダ語[69] | enati rodsl | ||
ポーランド語 | aoiez nscwr | スラヴ語派 | |
トルコ語 | aeinr lıdkm | アルタイ諸語 | チュルク語族 |
フィンランド語 | aitne sloku | ウラル語族 | フィン・ウゴル語派 |
エスペラント語 | aieon lsrtk | 人工言語 | 主にロマンス諸語、ゲルマン語派の影響を受けている。 |
ラテン文字以外
ロシア語
以下の表は Stefan Trost の分析結果をまとめたものである。分析には "WordCreator" の機能 Unicode Counter を使用した。分析にあたって利用したコーパスは 1,351,370文字(210,844単語)のもので、そのうち 1,086,255文字を集計している[70]。ただし、分析するコーパスによっては相対出現頻度は多少異なることがある。
左側の表はアルファベット順に並べたものであり、右側の表は出現頻度の高い文字順に並べたものである。ロシア語における出現頻度の高い文字は O、E、A となる[70]。
アルファベット順 | 出現頻度順 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
|
ギリシア語
以下の表は Stefan Trost の分析結果をまとめたものである。分析には "WordCreator" の機能 Unicode Counter を使用した。分析にあたって利用したコーパスは 1,442,382文字(235,614単語)のもので、そのうち 1,161,745文字を集計している[71]。ただし、分析するコーパスによっては相対出現頻度は多少異なることがある。
左側の表はアルファベット順に並べたものであり、右側の表は出現頻度の高い文字順に並べたものである。ギリシア語における出現頻度の高い文字は A、O、E となる[71]。
アルファベット順 | 出現頻度順 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
|
ヘブライ語
以下の表は Stefan Trost の分析結果をまとめたものである。分析には "WordCreator" の機能 Unicode Counter を使用した。分析にあたって利用したコーパスは 1,230,923文字(279,679単語)のもので、そのうち 937,426文字を集計している[72]。ただし、分析するコーパスによっては相対出現頻度は多少異なることがある。
左側の表は文字順に並べたものであり、右側の表は出現頻度の高い文字順に並べたものである。ヘブライ語における出現頻度の高い文字は右から順に י、ה、ו となる[72]。
文字順 | 出現頻度順 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
|
ヒンディー語
以下の表は Stefan Trost の分析結果をまとめたものである。分析には "WordCreator" の機能 Unicode Counter を使用した。分析にあたって利用したコーパスは 978,430文字(238,604単語)のもので、そのうち 736,216文字を集計している[73]。ただし、分析するコーパスによっては相対出現頻度は多少異なることがある。
左側の表は文字順に並べたものであり、右側の表は出現頻度の高い文字順に並べたものである。ヒンディー語における出現頻度の高い文字は ा、क、 े となる[73]。
文字順 | 出現頻度順 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
|
中国語
中国語における文字の出現頻度の上位20文字は以下の表の通りである[74]。分析では2009年にインターネット上で人気のあった8つの小説から計12,379,116文字について調査したものである[75]。
文字 | 中国語における相対出現頻度 | |
---|---|---|
的 | 3.47% | |
了 | 2.05% | |
一 | 1.99% | |
是 | 1.67% | |
不 | 1.51% | |
这 | 1.23% | |
我 | 1.16% | |
人 | 1.04% | |
在 | 1.00% | |
地 | 0.93% | |
道 | 0.92% | |
有 | 0.90% | |
他 | 0.90% | |
来 | 0.87% | |
个 | 0.72% | |
说 | 0.69% | |
你 | 0.69% | |
上 | 0.66% | |
大 | 0.64% | |
就 | 0.59% |
中国の古文書における文字の出現頻度上位10文字は以下の表の通りである[74]。「不」、「一」、「人」の三文字は各年代において出現頻度が上位10位以内の高い頻度で表れる文字であった[74]。
年代 | 順序 | 詳細 |
---|---|---|
7-10世紀 | 不人山无风 一日云有何 | 『全唐詩』に記載されている総数2,602,310文字に対する分析[75]。 |
10-13世紀 | 人风花一不 春无云月天 | 『全宋詞』に記載されている総数1,417,778文字に対する分析[75]。 |
13-14世紀 | 云我不你的 是人一来了 | 『元詩選』に記載されている総数2,172,631文字に対する分析[75]。 |
14-20世紀 | 了不一道来 人的是我个 | 『西遊記』、『水滸伝』、『三国志演義』、『紅楼夢』に記載されている総数2,506,684文字に対する分析[75]。 |
また、中国語の拼音(ピンイン)入力におけるアルファベットの出現頻度は以下の表の通りである[76]。分析には小説から約50万字、新聞記事から約130万字、ネットの投稿から約120万字を抽出したデータを使用している[77]。i、a、nの三つの文字の出現頻度が高く、vが最も出現頻度の低い文字であった[77]。
文字 | 中国語の拼音入力における相対出現頻度 | |
---|---|---|
A | 10.52% | |
B | 1.42% | |
C | 1.40% | |
D | 3.28% | |
E | 6.97% | |
F | 0.89% | |
G | 6.90% | |
H | 7.17% | |
I | 13.96% | |
J | 2.42% | |
K | 0.65% | |
L | 1.79% | |
M | 1.06% | |
N | 11.91% | |
O | 5.88% | |
P | 0.42% | |
Q | 1.03% | |
R | 0.92% | |
S | 2.97% | |
T | 1.16% | |
U | 7.94% | |
V | 0.10% | |
W | 1.16% | |
X | 1.92% | |
Y | 2.92% | |
Z | 3.26% |
韓国語
韓国語のハングルにおける字母の出現頻度は以下の通りとなる[78]。
順位 | 字母 | 位置 | 度数 | 割合 | |
---|---|---|---|---|---|
5 | ㄱ | 初声 | 1,171,038 | 5.372% | |
20 | ㄱ | 終声 | 411,538 | 1.888% | |
36 | ㄲ | 初声 | 64,997 | 0.298% | |
56 | ㄲ | 終声 | 6,068 | 0.028% | |
63 | ㄳ | 終声 | 357 | 0.002% | |
16 | ㄴ | 初声 | 596,893 | 2.738% | |
4 | ㄴ | 終声 | 1,328,090 | 6.092% | |
60 | ㄵ | 終声 | 2,790 | 0.013% | |
43 | ㄶ | 終声 | 30,376 | 0.139% | |
9 | ㄷ | 初声 | 800,785 | 3.673% | |
49 | ㄷ | 終声 | 18,535 | 0.085% | |
35 | ㄸ | 初声 | 72,604 | 0.333% | |
15 | ㄹ | 初声 | 610,211 | 2.799% | |
10 | ㄹ | 終声 | 776,891 | 3.564% | |
55 | ㄺ | 終声 | 7,330 | 0.034% | |
57 | ㄻ | 終声 | 4,344 | 0.020% | |
61 | ㄼ | 終声 | 2,183 | 0.010% | |
67 | ㄽ | 終声 | 5 | 0.000% | |
65 | ㄾ | 終声 | 131 | 0.001% | |
66 | ㄿ | 終声 | 78 | 0.000% | |
59 | ㅀ | 終声 | 3,023 | 0.014% | |
18 | ㅁ | 初声 | 429,661 | 1.971% | |
24 | ㅁ | 終声 | 258,542 | 1.186% | |
23 | ㅂ | 初声 | 359,029 | 1.647% | |
29 | ㅂ | 終声 | 133,729 | 0.613% | |
52 | ㅃ | 初声 | 16,037 | 0.074% | |
46 | ㅄ | 終声 | 25,868 | 0.119% | |
11 | ㅅ | 初声 | 756,477 | 3.470% | |
30 | ㅅ | 終声 | 114,592 | 0.526% | |
44 | ㅆ | 初声 | 29,184 | 0.134% | |
25 | ㅆ | 終声 | 219,186 | 1.005% | |
1 | ㅇ | 初声 | 2,105,587 | 9.659% | |
14 | ㅇ | 終声 | 617,205 | 2.831% | |
12 | ㅈ | 初声 | 748,509 | 3.434% | |
50 | ㅈ | 終声 | 17,173 | 0.079% | |
48 | ㅉ | 初声 | 20,434 | 0.094% | |
26 | ㅊ | 初声 | 200,266 | 0.919% | |
54 | ㅊ | 終声 | 9,944 | 0.046% | |
39 | ㅋ | 初声 | 48,097 | 0.221% | |
64 | ㅋ | 終声 | 302 | 0.001% | |
31 | ㅌ | 初声 | 106,679 | 0.489% | |
47 | ㅌ | 終声 | 25,341 | 0.116% | |
33 | ㅍ | 初声 | 98,986 | 0.454% | |
51 | ㅍ | 終声 | 16,938 | 0.078% | |
13 | ㅎ | 初声 | 635,299 | 2.914% | |
45 | ㅎ | 終声 | 26,948 | 0.124% | |
2 | ㅏ | 中声 | 1,926,007 | 8.835% | |
21 | ㅐ | 中声 | 409,768 | 1.880% | |
37 | ㅑ | 中声 | 63,728 | 0.292% | |
58 | ㅒ | 中声 | 3,769 | 0.017% | |
7 | ㅓ | 中声 | 942,819 | 4.325% | |
22 | ㅔ | 中声 | 393,695 | 1.806% | |
19 | ㅕ | 中声 | 422,490 | 1.938% | |
42 | ㅖ | 中声 | 44,394 | 0.204% | |
8 | ㅗ | 中声 | 862,073 | 3.955% | |
28 | ㅘ | 中声 | 162,656 | 0.746% | |
53 | ㅙ | 中声 | 11,215 | 0.051% | |
32 | ㅚ | 中声 | 99,794 | 0.458% | |
34 | ㅛ | 中声 | 94,576 | 0.434% | |
17 | ㅜ | 中声 | 592,419 | 2.718% | |
38 | ㅝ | 中声 | 57,373 | 0.263% | |
62 | ㅞ | 中声 | 2,035 | 0.009% | |
40 | ㅟ | 中声 | 47,506 | 0.218% | |
41 | ㅠ | 中声 | 47,135 | 0.216% | |
6 | ㅡ | 中声 | 1,151,976 | 5.285% | |
27 | ㅢ | 中声 | 179,818 | 0.825% | |
3 | ㅣ | 中声 | 1,355,527 | 6.218% |
韓国語のハングルにおける文字(音節)の出現頻度上位100文字は以下の通りである[79]。
順位 | 文字 | 度数 | 割合 | |
---|---|---|---|---|
1 | 이 | 314,869 | 3.550% | |
2 | 다 | 265,071 | 2.988% | |
3 | 는 | 232,384 | 2.620% | |
4 | 의 | 172,126 | 1.940% | |
5 | 에 | 171,943 | 1.938% | |
6 | 을 | 162,579 | 1.833% | |
7 | 고 | 152,862 | 1.723% | |
8 | 가 | 150,918 | 1.701% | |
9 | 하 | 144,051 | 1.624% | |
10 | 지 | 133,691 | 1.507% | |
11 | 로 | 113,920 | 1.284% | |
12 | 한 | 113,150 | 1.276% | |
13 | 그 | 108,164 | 1.219% | |
14 | 은 | 106,129 | 1.196% | |
15 | 서 | 103,121 | 1.162% | |
16 | 기 | 102,709 | 1.158% | |
17 | 어 | 99,943 | 1.127% | |
18 | 도 | 88,314 | 0.996% | |
19 | 나 | 86,764 | 0.978% | |
20 | 를 | 84,774 | 0.956% | |
21 | 사 | 84,247 | 0.950% | |
22 | 아 | 80,043 | 0.902% | |
23 | 리 | 78,532 | 0.885% | |
24 | 있 | 77,858 | 0.878% | |
25 | 자 | 75,346 | 0.849% | |
26 | 들 | 69,423 | 0.783% | |
27 | 대 | 67,855 | 0.765% | |
28 | 으 | 66,390 | 0.748% | |
29 | 인 | 64,261 | 0.724% | |
30 | 시 | 62,338 | 0.703% | |
31 | 해 | 60,136 | 0.678% | |
32 | 라 | 58,485 | 0.659% | |
33 | 것 | 58,386 | 0.658% | |
34 | 수 | 58,165 | 0.656% | |
35 | 니 | 57,152 | 0.644% | |
36 | 게 | 56,945 | 0.642% | |
37 | 정 | 54,407 | 0.613% | |
38 | 보 | 49,019 | 0.553% | |
39 | 일 | 45,932 | 0.518% | |
40 | 적 | 45,475 | 0.513% | |
41 | 만 | 44,672 | 0.504% | |
42 | 부 | 43,880 | 0.495% | |
43 | 주 | 43,879 | 0.495% | |
44 | 과 | 43,685 | 0.492% | |
45 | 제 | 43,631 | 0.492% | |
46 | 면 | 42,568 | 0.480% | |
47 | 었 | 40,355 | 0.455% | |
48 | 전 | 39,553 | 0.446% | |
49 | 여 | 39,529 | 0.446% | |
50 | 상 | 39,345 | 0.444% | |
51 | 장 | 37,885 | 0.427% | |
52 | 요 | 37,391 | 0.422% | |
53 | 구 | 36,967 | 0.417% | |
54 | 문 | 34,109 | 0.385% | |
55 | 내 | 33,964 | 0.383% | |
56 | 우 | 33,145 | 0.374% | |
57 | 성 | 31,692 | 0.357% | |
58 | 거 | 31,282 | 0.353% | |
59 | 동 | 31,041 | 0.350% | |
60 | 생 | 30,364 | 0.342% | |
61 | 되 | 30,317 | 0.342% | |
62 | 마 | 30,184 | 0.340% | |
63 | 러 | 30,051 | 0.339% | |
64 | 국 | 29,241 | 0.330% | |
65 | 소 | 29,105 | 0.328% | |
66 | 화 | 29,068 | 0.328% | |
67 | 신 | 28,918 | 0.326% | |
68 | 무 | 28,660 | 0.323% | |
69 | 했 | 28,176 | 0.318% | |
70 | 원 | 27,582 | 0.311% | |
71 | 스 | 26,804 | 0.302% | |
72 | 오 | 26,341 | 0.297% | |
73 | 야 | 26,009 | 0.293% | |
74 | 위 | 25,964 | 0.293% | |
75 | 경 | 25,932 | 0.292% | |
76 | 말 | 25,618 | 0.289% | |
77 | 와 | 25,168 | 0.284% | |
78 | 조 | 25,055 | 0.282% | |
79 | 없 | 24,975 | 0.282% | |
80 | 모 | 24,764 | 0.279% | |
81 | 데 | 24,512 | 0.276% | |
82 | 비 | 24,266 | 0.274% | |
83 | 할 | 23,706 | 0.267% | |
84 | 계 | 23,653 | 0.267% | |
85 | 안 | 23,152 | 0.261% | |
86 | 까 | 23,016 | 0.259% | |
87 | 중 | 22,916 | 0.258% | |
88 | 세 | 22,764 | 0.257% | |
89 | 때 | 22,618 | 0.255% | |
90 | 미 | 22,373 | 0.252% | |
91 | 려 | 22,040 | 0.248% | |
92 | 회 | 22,033 | 0.248% | |
93 | 학 | 21,990 | 0.248% | |
94 | 관 | 21,976 | 0.248% | |
95 | 선 | 21,973 | 0.248% | |
96 | 간 | 21,939 | 0.247% | |
97 | 치 | 21,910 | 0.247% | |
98 | 진 | 21,719 | 0.245% | |
99 | 공 | 21,307 | 0.240% | |
100 | 실 | 21,280 | 0.240% |
また、1950年代に調査された韓国の文書中におけるハングルの出現頻度の高い30文字は 이는다하 에가고올지어 의은서그아 로라기도한 나니를것있 리으여사들 の順である[80]。また、1950年代に調査された韓国語の文書中における漢字の出現頻度の高い30文字は 國生地人自 十一分物年 學大字發身 民氣方間會 日事對行上 當實等二法 である[81]。
ベンガル語
ベンガル語で使用されるベンガル文字における文字の出現頻度は以下の表の通りである[82]。
文字 | ベンガル語における相対出現頻度 | |
---|---|---|
া | 12.966% | |
ে | 7.812% | |
র | 6.627% | |
ি | 5.221% | |
ন | 5.503% | |
ত | 4.356% | |
ক | 4.341% | |
ব | 3.814% | |
ম | 3.189% | |
ল | 3.094% | |
প | 2.908% | |
হ | 2.652% | |
অ | 2.393% | |
স | 2.381% | |
দ | 2.363% | |
য় | 1.895% | |
ু | 1.259% | |
ী | 1.191% | |
য | 1.176% | |
জ | 1.025% | |
শ | 0.907% | |
ছ | 0.855% | |
গ | 0.813% | |
ও | 0.804% | |
খ | 0.684% | |
ং | 0.648% | |
ধ | 0.603% | |
ট | 0.567% | |
ষ | 0.547% | |
থ | 0.524% | |
ভ | 0.442% | |
ূ | 0.432% | |
ণ | 0.426% | |
চ | 0.405% | |
ঃ | 0.364% | |
ফ | 0.280% | |
ঁ | 0.258% | |
ড় | 0.202% | |
ড | 0.142% | |
ৎ | 0.140% | |
ঠ | 0.128% | |
ঘ | 0.109% | |
ঞ | 0.086% | |
ঔ | 0.084% | |
ৈ | 0.047% | |
ঝ | 0.040% | |
ঢ | 0.032% | |
ঢ় | 0.013% | |
ঙ | 0.006% | |
ৃ | 0.003% |
またベンガル語の辞書の見出し語における文字の出現頻度は া ্র িন তকবপ ু মসলদ ে োঅগযচ জশ ীটহ য়ষধভণ ড়আ ঁখউ ৃফ ংূঙ ছইডথঘ ঞঠ ৈ ৌঝ ওএ ঃঢঢ় ঈঐঔঋঊৎ の順である[83]。
タイ語
タイ語のタイ文字における文字の出現頻度は以下の表の通りとなる[84]。分析に使用したデータにおける文字の総数は 354,221,260文字である[84]。
順位 | 文字 | 度数 | 割合 | |
---|---|---|---|---|
1 | า | 25,209,774 | 7.12% | |
2 | ร | 22,980,559 | 6.49% | |
3 | น | 21,539,571 | 6.08% | |
4 | ก | 15,639,107 | 4.42% | |
5 | ่ | 15,567,843 | 4.39% | |
6 | อ | 14,043,669 | 3.96% | |
7 | เ | 13,502,777 | 3.81% | |
8 | ง | 13,446,596 | 3.80% | |
9 | ้ | 12,088,661 | 3.41% | |
10 | ั | 11,622,044 | 3.28% | |
11 | ม | 11,480,076 | 3.24% | |
12 | ย | 11,414,497 | 3.22% | |
13 | ว | 9,370,549 | 2.65% | |
14 | ี | 9,345,532 | 2.64% | |
15 | ท | 8,848,508 | 2.50% | |
16 | ด | 8,219,261 | 2.32% | |
17 | ล | 8,098,263 | 2.29% | |
18 | ิ | 7,284,384 | 2.06% | |
19 | ต | 7,048,841 | 1.99% | |
20 | ห | 6,658,952 | 1.88% | |
21 | ส | 6,652,219 | 1.88% | |
22 | บ | 6,467,847 | 1.83% | |
23 | ะ | 6,424,503 | 1.81% | |
24 | ค | 6,148,224 | 1.74% | |
25 | ป | 6,002,429 | 1.69% | |
26 | จ | 5,808,506 | 1.64% | |
27 | แ | 4,568,250 | 1.29% | |
28 | ไ | 4,255,053 | 1.20% | |
29 | พ | 4,029,354 | 1.14% | |
30 | ข | 4,028,758 | 1.14% | |
31 | ใ | 3,834,242 | 1.08% | |
32 | ช | 3,773,356 | 1.07% | |
33 | ุ | 3,656,069 | 1.03% | |
34 | ื | 3,655,755 | 1.03% | |
35 | ์ | 2,919,201 | 0.82% | |
36 | ู | 2,724,773 | 0.77% | |
37 | ็ | 2,690,261 | 0.76% | |
38 | ำ | 2,562,973 | 0.72% | |
39 | โ | 1,951,275 | 0.55% | |
40 | ธ | 1,816,470 | 0.51% | |
41 | ึ | 1,772,343 | 0.50% | |
42 | ผ | 1,732,132 | 0.49% | |
43 | ศ | 1,529,376 | 0.43% | |
44 | ถ | 1,404,048 | 0.40% | |
45 | ณ | 1,365,793 | 0.39% | |
46 | ซ | 1,181,412 | 0.33% | |
47 | ษ | 1,154,037 | 0.33% | |
48 | ญ | 1,133,041 | 0.32% | |
49 | ภ | 975,323 | 0.28% | |
50 | ฐ | 745,057 | 0.21% | |
51 | ฟ | 499,872 | 0.14% | |
52 | ฉ | 485,706 | 0.14% | |
53 | ๆ | 339,092 | 0.10% | |
54 | ฒ | 234,963 | 0.07% | |
55 | ฝ | 215,652 | 0.06% | |
56 | ฎ | 196,316 | 0.06% | |
57 | ฏ | 147,910 | 0.04% | |
58 | ฯ | 142,585 | 0.04% | |
59 | ๊ | 139,272 | 0.04% | |
60 | ฤ | 138,806 | 0.04% | |
61 | ๒ | 138,759 | 0.04% | |
62 | ๑ | 131,819 | 0.04% | |
63 | ฮ | 119,534 | 0.03% | |
64 | ๐ | 113,603 | 0.03% | |
65 | ฑ | 106,731 | 0.03% | |
66 | ฃ | 105,505 | 0.03% | |
67 | ๕ | 96,032 | 0.03% | |
68 | ๓ | 80,281 | 0.02% | |
69 | ฬ | 66,704 | 0.02% | |
70 | ๔ | 65,882 | 0.02% | |
71 | ฆ | 55,074 | 0.02% | |
72 | ๖ | 42,917 | 0.01% | |
73 | ๋ | 40,740 | 0.01% | |
74 | ๗ | 35,667 | 0.01% | |
75 | ๘ | 33,296 | 0.01% | |
76 | ๙ | 29,240 | 0.01% | |
77 | ฌ | 27,089 | 0.01% | |
78 | ฅ | 13,107 | 0.00% | |
79 | ํ | 4,657 | 0.00% | |
80 | ฦ | 2,628 | 0.00% | |
81 | ฺ | 172 | 0.00% | |
82 | ฿ | 42 | 0.00% | |
83 | ๅ | 33 | 0.00% | |
84 | ๚ | 19 | 0.00% | |
85 | ๏ | 5 | 0.00% | |
86 | ๛ | 4 | 0.00% | |
87 | ๎ | 2 | 0.00% |
タイ文字の子音における文字の出現頻度は高い順に รนกองมยวทดลตหสบคปจพขชธผศถณซษญภฐฟฉฒฝฎฏฤฮฑฃฬฆฌฅฦ である[84]。またタイ文字の母音、記号、数字における文字の出現頻度は高い順に า ่เ ้ ั ี ิะแไใ ุ ื ์ ู ็ ำโ ึๆฯ ๊๒๑๐๕๓๔๖ ๋๗๘ ํ ฺ฿ๅ๚๏๛ ๎ である[84]。
アラビア語
アラビア語のアラビア文字における文字の出現頻度は以下の表の通りとなる[85]。分析に使用したデータにおける語の総数は 1,297,259語、文字の総数は 5,122,132文字である[85]。
文字 | アラビア語における相対出現頻度 | |
---|---|---|
ء | 0.31% | |
ؤ | 0.09% | |
ئ | 0.28% | |
ا | 12.50% | |
آ | 0.15% | |
أ | 2.89% | |
إ | 1.00% | |
ب | 4.67% | |
ة | 1.42% | |
ت | 2.61% | |
ث | 0.87% | |
ج | 1.23% | |
ح | 1.86% | |
خ | 0.79% | |
د | 2.67% | |
ذ | 0.96% | |
ر | 4.20% | |
ز | 0.52% | |
س | 2.47% | |
ش | 0.73% | |
ص | 1.04% | |
ض | 0.44% | |
ط | 0.50% | |
ظ | 0.18% | |
ع | 4.01% | |
غ | 0.33% | |
ف | 2.84% | |
ق | 2.69% | |
ك | 2.04% | |
ل | 12.07% | |
م | 6.52% | |
ن | 6.61% | |
ه | 5.08% | |
و | 5.80% | |
ى | 1.29% | |
ي | 6.36% |
関連の出現頻度
単語の出現頻度
ジップの法則
続いて文字の出現頻度ではなく、単語の出現頻度について言及する。ある自然言語のコーパスにおける単語の出現頻度はジップの法則に従った分布となる[86][87]。これは出現頻度の最も高い単語は二番目の単語の約二倍の出現頻度となることをいう[87]。
エスペラント語で書かれたあるフィクション小説のコーパスにおける単語の出現頻度は以下の通りとなった:
la 9864、kaj 4195、mi 3934、de 2819、li 2543、esti 2395、al 1969... と続いている[88]。
ジップの法則は集合の要素(文書内における単語など)を出現頻度の高い順に並べ、それぞれに順位を対応させると、各順位の出現確率 アルファベットや平仮名に限らず、数字においても特徴的な出現頻度の事例が知られている。例として、日本のスーパーマーケットにおける商品の金額の末尾(一の位)の数字は 8 であることが多いことが知られている[95]。一方、アメリカやヨーロッパ、英語圏などのスーパーマーケットで見かける金額の末尾(一の位)の数字は 9 であることが多いことが知られている[96]。具体例として、商品の価格が200円でなく199円として売られていることが挙げられる。1997年の『Marketing Bulletin』によると、ニュージーランドの新聞の広告に記載された商品価格における末尾の桁の 60% が 9 であったことが知られている[97]。
これらの事象を確認することは、大規模な統計的調査や統計学者による分析を行う必要なく容易に確かめることができる。
一方で潜在的な例として、企業の財務会計における数字の最初の桁に関する頻度について挙げることができる[98]。すなわち、最初の桁に現れる数字の出現頻度は互いに等しくなく、偏りがあることが知られており、これはベンフォードの法則と名づけられている。このベンフォードの法則によれば、数字の最初の桁において 1 である確率は 30% 程度であるが、9 である確率は 5% 未満である。このことから数字の最初の桁における分布をより正確に求めることで、不自然な偏りを検出し、不正や詐欺を発見するのに役立たせることができる[98]。
数字の最初の桁における各数字の出現頻度を定量的に表すと、以下の表の通りとなる[99]。ただし、最初の桁の数値を とし、 の出現確率を とする。
ベンフォードの法則では、対象となるデータセットが大規模なものでかつ一つ一つのデータが複数の桁を持ち、可能な限り実在するデータに対して現れる法則となる[100]。
10進数の数字における最初の桁の出現確率は を底とする対数を用いて表される。すなわち、最初の桁の数値 の出現確率は以下の式で与えられる[48]:
これはすなわち、数字を横軸にとり、出現確率を縦軸とすると、各数字の出現確率は対数によって描かれる分布となる。したがって、数字の最初の桁における出現確率は特有の分布に従う[101]。
大規模なデータセットに対する数字の二桁目の出現頻度についても同様に偏りのある分布となる[100]。しかしながら、数字の右側の桁の出現頻度を求めようとすると、次第にベンフォードの法則には従わなくなり、各数字の出現確率が均等(各数字約10%の出現確率)に近づいていくことが知られている[102]。
なお、スーパーマーケットにおける末尾の数字は 8(9)であることが多いため、この性質は当てはまらない。
各言語における単語の長さの平均値は Wordlengths - ウェイバックマシン(2007年10月2日アーカイブ分) にまとめられている。
このサイトの執筆者および分析を行ったコーパスの詳細についてはほとんど不明で、Unicode のテストを行うための文書について分析を行ったことのみが判明している[注釈 5]。
単語の長さを算出する方法は主に三種類存在する[103]。一つ目は語の形態に応じて語の長さを算出する方法である。これはある単語に対してその本体の自立部分と、助詞、助動詞などの付属部分を別々のものとみなして計算する方法である[104]。二つ目は語の表記に応じた語の長さを算出する方法である。これはある単語に対して文字として表記されているそのままの文字数を一つの単語として計算する方法である[105]。三つめは語の音に応じた語の長さを算出する方法である。これはある単語に対してそれぞれの文字を拍(モーラ)に応じて語の長さを計算する方法である[105]。
1986年に出版された『中央公論』1年分のデータを標本とした日本語における単語の長さの平均は、形態別の算出方法では 1.8723 となり、表記別の算出方法では 3.6704 であり、音別の算出方法では 4.7798 であった[104]。
以下に記載されているコードはエスペラント語における頻度分析を行うプログラムで AWK によって書かれている。出力形式として ASCII、HTML、Wikitable およびヒストグラムを対応している[注釈 3]。頻度分析が可能な項目として以下のものが挙げられる:
BEGINパターンでは分析する頻度の機能を自由に有効・無効化することができ、出力形式のフォーマットを指定することもできる。通常下記のプログラムの頻度分析は大規模なテキストコーパスの分析についても数十秒の実行時間で終了することが多い。しかし、計算機の処理速度やテキストコーパスの規模によっては単語の出現頻度を求めるのに数十分かかる場合がある。したがって、始めて分析するコーパスの実行においては単語の出現頻度分析を無効にして実行すること推奨する。
単語の出現頻度算出機能の一つとして単語を品詞ごとに分けて名詞(-O)、形容詞(-A)、副詞(-E)、(分詞を含まない)動詞、およびその他の品詞ごとに分類することができる。
言い換えれば、複数形と対格形については基本的に -O、-A、-E の形として導かれる。すなわち、"vin" や "tiujn" のような単語はそれぞれ "vi" や "tiu" となる。また動詞の語尾 "-as"、"-is"、"-os"、"-us"、"-u" は "-i" として導かれる。動詞の分詞についても -O、-A、-E の単語になり、例えば "amantojn" は "amanto" となり "ami" にはならない。
BEGINパターンに含まれている例外の単語処理(正規表現の部分)に注意を払う必要がある。これらの処理によって頻度分析において "nun" を "nu" の対格形としてではなく、"kaj" は "ka" の複数形ではなく、"unu" が "uni" の命令形ではないことを正しく判別する。もっともすべての単語を正しく処理できるわけではない。例として、エスペラント由来でない名前の "Simon" では "simo" と誤って変形されてしまう。これを回避するために必要に応じて該当のリストを拡張することが可能である。
プログラムの使用方法として、下記の折り畳みボックス内のコードをコピーし、テキストファイルに貼り付け保存(frequency.awk)。これをターミナルにて以下のコマンドを実行する:
もしくは各環境に対応したコマンドを実行する。なお、このプログラムを実行するためには実行環境内に AWK をインストールしておく必要がある。Linux、Unix 環境ではデフォルトでは AWK が搭載されており、Mac も同様に動作すると考えられる。Windows については Gnu-a website からプログラムファイルをダウンロードすることでプログラムを実行することができる。
このプログラムを実行することによって任意のコーパスに対して単語の頭文字および末尾の文字の出現頻度、単文字の出現頻度、単語の長さの平均値と分布、あるいは単語の出現頻度の頻度分析が可能となる。
以下の文献は英単語の3から7文字目までの文字の位置や単語の長さを考慮した20,000単語中の単文字、連接文字、3文字、4文字、5文字の出現頻度をまとめた表が記載されている:
低価格帯
ベンフォードの法則
の度数
1
30.1%
2
17.6%
3
12.5%
4
9.7%
5
7.9%
6
6.7%
7
5.8%
8
5.1%
9
4.6%
単語の長さ
実装
AWKによる頻度分析プログラム
説明
awk -f frequency.awk text.cx >result.cx
プログラム
BEGIN {
# 以下のコードは適宜修正してください
# 分析に関する設定項目 - 1: 有効化、0: 無効化
LETTER_FREQUENCY = 1
FIRST_LETTERS_OF_WORD = 1
LAST_LETTERS_OF_WORD = 1
WORD_LENGTH = 1
WORD_FREQUENCY = 1 # 実行に時間がかかる
# 出力形式に関する設定項目 - 1: 有効化、0: 無効化
FORMAT_ASCII = 1
FORMAT_HTML = 1
FORMAT_WIKI = 1
# 例外の単語
NO_VERB = "^(tiu|kiu|neniu|unu|c[x]u|c[x]iu)$"
NO_ALL_WORD = "^(kaj|tuj|nun|kun|sen|ajn|plej|malplej|tamen|amen|kvin)$"
NO_ROMAN = "^(mil|((c|ci|cim|ĉ|div|divid|il|l|lic|lim|m|v|vic|vid|viv)i))$"
# lili、livi、vili もローマ数字の例外のとして挙げられるが、ほとんど場合で考慮する必要はない
start_time=systime(); # systime() 関数が使用できない環境下では除去する必要がある。
# ==================================================================================
version="Version: 2012-01-18 17:00 Pejno Simono";
FS="[ \n\t\",.;:!?()]"; # 考慮する
}
{
gsub(/[-]/,"");
for(i=1; i<=NF; i++)
if($i~/^[a-zA-Z][a-zA-Z]+$/) # 少なくとも2文字以上
{
s=tolower($i);
if(s!~/^[ivxlcdm]+$/ || s~NO_ROMAN) # ローマ数字以外
{
n=0;
for(j=1; j<=length(s); ) # 任意の文字
{
c=substr(s,j,1);
if (c~/^[cghjsu]/)
if (substr(s,j+1,1)=="x" && substr(s,j+2,1)!="x")
c=substr(s,j,2);
if(j==1)
first[c]++; # 単語の頭文字
letter[c]++;
letters++;
j+=length(c); # 単語中の "x" まで飛ばす(X-方式)
n++;
}
last[c]++; # 単語の末尾の文字
if(n>1) # 単語の長さが 1 より大きい場合のみ
{
length[n]++; # 単語の長さ
sum+=n;
words++;
if(WORD_FREQUENCY==1)
{
s=tolower($i); # すべての単語に対して
j=length(s);
if(j>2)
{
if(s!~NO_VERB)
n=sub(/(as|is|os|us|u)$/,"i",s);
if(n==0 && s!~NO_ALL_WORD)
sub(/(jn|j|n)$/,"",s);
}
word[s]++;
}
}
}
}
}
END {
FIRST=1;
LAST=2;
ALL=3;
LENGTH=4;
WORDS=5;
ASCII=1;
HTML=2;
WIKI=3
asciiwidth=50;
htmlwidth=400; # pixel
wikiwidth=400; # pixel
if(LETTER_FREQUENCY>0)
{
if (FORMAT_ASCII>0) printout(ALL,ASCII);
if (FORMAT_HTML>0) printout(ALL,HTML);
if (FORMAT_WIKI>0) printout(ALL,WIKI);
}
if(FIRST_LETTERS_OF_WORD>0)
{
if (FORMAT_ASCII>0) printout(FIRST,ASCII);
if (FORMAT_HTML>0) printout(FIRST,HTML);
if (FORMAT_WIKI>0) printout(FIRST,WIKI);
}
if(LAST_LETTERS_OF_WORD>0)
{
if (FORMAT_ASCII>0) printout(LAST,ASCII);
if (FORMAT_HTML>0) printout(LAST,HTML);
if (FORMAT_WIKI>0) printout(LAST,WIKI);
}
if(WORD_LENGTH>0)
{
if (FORMAT_ASCII>0) printout(LENGTH,ASCII);
if (FORMAT_HTML>0) printout(LENGTH,HTML);
if (FORMAT_WIKI>0) printout(LENGTH,WIKI);
}
if(WORD_FREQUENCY>0)
{
if(FORMAT_ASCII>0) printout(WORDS,ASCII);
if(FORMAT_HTML>0) printout(WORDS,HTML);
if(FORMAT_WIKI>0) printout(WORDS,WIKI);
}
if(start_time>0) print time_needed();
print version;
}
function printout(mode,format)
{
if(mode==FIRST)
return printout2(mode,format,first);
if(mode==LAST)
return printout2(mode,format,last);
if(mode==ALL)
return printout2(mode,format,letter);
if(mode==LENGTH)
return printout2(mode,format,length);
if(mode==WORDS)
return printout2(mode,format,word);
}
function printout2(mode,format,A)
{
setup(mode);
if(format==ASCII)
return printoutASCII(mode,A);
if(format==HTML)
return printoutHTML(mode,A);
if(format=WIKI)
return printoutWIKI(mode,A);
}
function setup(mode)
{
_col=2;
_asc=0;
_colhdr="letter";
_colalign="center";
_counted="words";
_count=words;
_mez=", average word length";
_mez2="letters";
if(words>0)
_av=sum/words; # 単語の長さの平均値
if(mode==FIRST)
{
_title="First letters of a word";
return;
}
if(mode==LAST)
{
_title="Last letters of a word";
return;
}
if(mode==ALL)
{
_title="All letter";
_counted="letters";
_count=letters;
return;
}
if(mode==LENGTH)
{
_title="Word length";
_col=1;
_asc=1;
_colhdr="length";
return;
}
if(mode==WORDS)
{
_title="Word frequencies";
_colhdr="word";
_colalign="left";
}
}
function printoutASCII(mode,A, i,j,B,w,s,fmt)
{
if(_count<1)
{
print "file empty";
return;
}
i=sillysort(A,B,_col,_asc);
if(mode!=LENGTH) # 最高値
j=B[1,2]
else
j=getmax(B);
w=asciiwidth/j;
print "<" "pre>";
printf("=== %s ===\n\n",_title);
if(mode==WORDS)
fmt="%-20s\t%8s %s\n";
else
fmt="%-6s\t%8s %s\n";
printf(fmt,_colhdr,"number","probability\n")
if(mode==WORDS)
fmt="%-20s\t%s %6.2f%% %s\n";
else
fmt="%-6s\t%s %6.2f%% %s\n";
for(j=1; j<=i; j++)
{
s=B[j,1];
if(mode!=WORDS)
s=toupper(s);
printf(fmt, s, thou(B[j,2],8), 100.0*B[j,2]/_count, hist(B[j,2]*w));
}
printf("\nEl %s %s", thou(_count,0), _counted);
if(mode==LENGTH)
printf("%s %0.2f %s", _mez, _av, _mez2);
printf "\n</" "pre>\n\n";
}
function hist(w, s)
{
w-=0.5;
while(w-- > 0)
s=s "*";
return s;
}
function printoutHTML(mode,A, i,j,B,w,s)
{
if(_count<1)
{
print "file empty";
return;
}
i=sillysort(A,B,_col,_asc);
if(mode!=LENGTH) # 最高値
j=B[1,2]
else
j=getmax(B);
w=htmlwidth/j;
printf("<table border=1>\n");
printf("<tr><th colspan=4>%s</th></tr>\n",_title);
printf("<tr><td align=%s>%s</td><td align=right>number</td>", _colalign, _colhdr);
printf("<td align=center colspan=2>probability</td>\n");
for(j=1; j<=i; j++)
{
s=B[j,1];
if(mode!=WORDS)
s=toupper(s);
printf("<tr><td align=%s><b>%s</b></td>", _colalign, s);
printf("<td align=right>%s</td>", thou(B[j,2]),0);
printf("<td align=right>%0.2f%%</td>", 100.0*B[j,2]/_count);
printf("<td align=left><div style=\"width:%dpx;",B[j,2]*w);
printf("height:2ex;background:blue;\"> </div></td>\n");
}
printf("<tr><th colspan=4>El %s %s", thou(_count,0), _counted);
if(mode==LENGTH)
printf("%s %0.2f %s", _mez, _av, _mez2);
printf("</th></tr>\n");
printf("</table>\n\n");
}
function printoutWIKI(mode,A, i,j,B,w,s)
{
if(_count<1)
{
print "file empty";
return;
}
i=sillysort(A,B,_col,_asc);
if(mode!=LENGTH) # 最高値
j=B[1,2]
else
j=getmax(B);
w=100.0*j/_count;
w=wikiwidth/w;
printf("{| class=\"wikitable\"\n");
printf("! align=center colspan=4 | %s\n",_title);
printf("|-\n! align=%s | %s !! align=right | number !! align=right colspan=2 | probability\n",_colalign,_colhdr);
for(j=1; j<=i; j++)
{
s=B[j,1];
if(mode!=WORDS)
s=toupper(s);
printf("|-\n| align=%s | <b>%s</b> ",_colalign,s);
printf("|| align=right | %s ", thou(B[j,2],0));
printf("|| align=right | {{bartable|%0.2f|%%|%0.3f}}\n", 100.0*B[j,2]/_count, w);
}
printf("|-\n! colspan=4 | El %s %s", thou(_count,0), _counted);
if(mode==LENGTH)
printf("%s %0.2f %s", _mez, _av, _mez2);
printf("\n");
printf("|}\n\n");
}
function getmax(A, i,j,M)
{
for(i in A)
{
split(i, M, SUBSEP);
if(M[2]==2)
if(A[i]>j)
j=A[i];
}
return j;
}
function sillysort(A,B,col,asc, i,j,n,t)
{
for(j in A)
{
i++;
B[i,1]=j;
B[i,2]=A[j];
n=i;
if (asc==0) # desc
{
while(n>1 && B[n,col]+0>B[n-1,col]+0)
{
t=B[n-1,1]; B[n-1,1]=B[n,1]; B[n,1]=t;
t=B[n-1,2]; B[n-1,2]=B[n,2]; B[n,2]=t;
n--;
}
}
else # asc
{
while(n>1 && B[n,col]+0<B[n-1,col]+0)
{
t=B[n-1,1]; B[n-1,1]=B[n,1]; B[n,1]=t;
t=B[n-1,2]; B[n-1,2]=B[n,2]; B[n,2]=t;
n--;
}
}
}
return i;
}
function time_needed( h,m,s,eps)
{
eps=0.000001;
s=systime()-start_time;
m=int(s/60);
s-=m*60-eps;
h=int(m/60);
m-=h*60-eps;
return sprintf("Run time (hms): %i:%02i:%02i\n",h,m,s);
}
function thou(v,n, s)
{
s=sprintf("%d_",v);
while(s~/[0-9][0-9][0-9][0-9]/) # エレガント
sub(/[0-9][0-9][0-9][,_]/, ",&",s); # 興味深い
sub(/_/,"",s); # エレガントでない
while(length(s)<n)
s=" " s;
return s;
}
function _thou(v,n, i,j,s,t)
{
s=sprintf("%d",v);
for(i=length(s); i>0; i--)
{
t=substr(s,i,1) t;
if(++j%3==0)
t="," t;
}
while(length(t)<n)
t=" " t;
return t;
}
脚注
注釈
出典
参考文献
関連項目
外部リンク
便利な表
- 文字の使用頻度のページへのリンク