Sunday, July 08, 2007

词语输入频数分析

将Google Pinyin的用户词典导出后在Excel中进行分析。

数据中包含的信息为:词,该词输入的次数,词的拼音。
词数:10830;总输入词数:51400。

最常输入的8个词(字)及其输入频率为:
  Jul 08  Nov 22 Apr 15 Feb 08, 2009
  10830  16185 24015 37966
  51400  101222 164998 342407
的 7.01%  6.78% 5.42% 3.02%
你 1.17%  2.09% 2.43% 2.13%
是 1.52%  1.66% 1.84% 1.92%
我 1.84%  2.43% 1.03% 1.38%
在 1.16%  1.13% 1.23% 1.17%
了 1.98%  2.20% 1.69% 0.90%
就     0.66% 0.78% 0.76%
和 0.75%  0.74% 0.75% 0.69%

记词的输入次数为x,而输入次数为x的词共有y(x)个,
作图后可见log(x)-log(y)具有较好的线性关系且近似满足:

log(y) = -2*log(x) + c
故: y*x*x=C
即:词语输入频数[x]的平方与具有该频数的词语总数[y]之积为常数[C]。

至于为何会存在这样的关系还有待进一步分析。

No comments:

Post a Comment