这是一个创建于 3800 天前的主题，其中的信息可能已经有所发展或是发生改变。
遇到一篇文稿，里面出现了很多重复汉字，如「⾼高」、「⽓气」、「⽀支」等等，通篇各处随机分布。文章无法阅读不说，也无法统计字数了（这个正是我想做的）。
原本想用正则去重（via http://www.zhihu.com/question/20805225 ），结果发现匹配不上。转换成字符编码一看，发现这些重复汉字根本不是同一个字符，只是字形相同（工具 https://r12a.github.io/apps/conversion/ ）。
实在想不出辙儿了，请教一下大家该如何处理？先行谢过了！
原本想用正则去重（via http://www.zhihu.com/question/20805225 ），结果发现匹配不上。转换成字符编码一看，发现这些重复汉字根本不是同一个字符，只是字形相同（工具 https://r12a.github.io/apps/conversion/ ）。
实在想不出辙儿了，请教一下大家该如何处理？先行谢过了！
 |
1
Sylv 2015 年 11 月 16 日  2
Unicode Normalization (Unicode 规范化)
Python 的例子： >>> u"⾼ 高" u'\u2fbc \u9ad8' >>> unicodedata.normalize('NFKC', u'⾼ 高') u'\u9ad8 \u9ad8' |
 |
3
lululau 2015 年 11 月 16 日
2F00~2FEF 为康熙字根
|
Select Language