python实现统计汉字／英⽂单词数的正则表达式思路
•使⽤正则式 "(?x) (?: [\w-]+ | [ 80- ff]{3} )"获得utf-8⽂档中的英⽂单词和汉字的列表。
•使⽤dictionary来记录每个单词／汉字出现的频率，如果出现过则＋1，如果没出现则置1。
•将dictionary按照value排序，输出。
源码
复制代码代码如下:
#!/usr/bin/python
# -*- coding: utf-8 -*-
#
#author: rex
#blog:
#filename counter.py
#created: Mon Sep 20 21:00:52 2010
#desc: convert .py file to html with VIM.
import sys
import re正则化匹配26个字母python
from operator import itemgetter
def readfile(f):
with file(f,"r") as pFile:
ad()
def divide(c, regex):
#the regex below is only valid for utf8 coding
return regex.findall(c)
def update_dict(di,li):
for i in li:
if di.has_key(i):
di[i]+=1
else:
di[i]=1
return di
def main():
#receive files from bash
files=sys.argv[1:]
#regex compile only once
regex=repile("(?x) (?: [\w-]+ | [ 80- ff]{3} )")
dict={}
#get all words from files
for f in files:
words=divide(readfile(f), regex)
dict=update_dict(dict, words)
#sort dictionary by value
#dict is now a list.
dict=sorted(dict.items(), key=itemgetter(1), reverse=True)
#output to standard-output
for i in dict:
print i[0], i[1]
if __name__=='__main__':
main()
Tips
由于使⽤了files=sys.argv[1:] 来接收参数，因此./counter.py file1 file2 ...可以将参数指定的⽂件的词频累加计算输出。
可以⾃定义该程序。例如，
•使⽤
复制代码代码如下:
regex=repile("(?x) ( [\w-]+ | [ 80- ff]{3} )")
words=[w for w in regex.split(line) if w]
这样得到的列表是包含分隔符在内的单词列表，⽅便于以后对全⽂分词再做操作。
•以⾏为单位处理⽂件，⽽不是将整个⽂件读⼊内存，在处理⼤⽂件时可以节约内存。
•可以使⽤这样的正则表达式先对整个⽂件预处理⼀下，去掉可能的html tags: content=re.sub(r"<[^>]+","",content)，这样的结果对于某些⽂档更精确。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。