simhash

shingling

n-shingling 就是把一个句子或者文章分成 n 个连续单词的组合，然后去重。

比如： the cat sat on the cat

第一步，分组： the cat, cat sat, sat on, on the, the cat 第二步，去重： the cat, cat sat, sat on, on the

simhash 计算过程

生成 shingle

Reference

[1] http://matpalm.com/resemblance/jaccard_coeff/

[2] http://blog.csdn.net/c289054531/article/details/8082952 中文解释