关于搜索引擎分词的一些理解

相信大部分站长都听过个种技术，有些也有相当的了解。其实分词技术并不高深，它虽在操作上有些抽像，但他应该是比较好理解的。分词就是把一串字符序列切分成一个一个单独的词。分词包括英文分词，中文分词等，我们这里主要讲的是中文分词(chinese word segmentation)。中文分词应用很广，特别是在搜索引擎中，它的主要目的是为了对一段文字进行文本挖掘，以达到让电脑自动识别语句的含义。这样我们就不难理解，为什么我们在百度，google这些搜索引擎中输入一些文字，它们就能提供出相似的一些结果出来让我们来参考选择。其实这些引擎也是能过分词技术把你所输的信息分词，以达到“理解”你所要信息的“真正含义”。虽说有时电脑得出的结果并非你所要的，但这是无法避免的，有时可能是你的表达有误，有时可能是这些搜索引擎的分词并不好。
在分词技术中，有一种开发人员常用的指标方法叫tf-idf(term frequency–inverse document frequency)是一种用于信息搜索和信息挖掘的常用加权技术。其中tf词频(term frequency)指的是某一个给定的词语在该文件中出现的次数,而idf是反文档频率(inverse document frequency)的主要思想是：如果包含词条的文档越少，idf越大，则说明词条具有很好的类别区分能力。使用tf*idf可以计算某个关键字在某篇文章里面的重要性，因而识别这篇文章的主要含义，实现计算机读懂文章的功能。这种技术说直白一点就用这些指标来判断一段信息中某个词的重要性到底如何?在搜索引擎中也是通过这些指标来排列您所要找的资料。我们作为seoer，反过来逆推，就能得知，如果我们能对分词技术有一定理解的话，在设置关键词，描述，文章，标签时，就能结合普通人的搜索习惯，分词权重，再科学地组织这些关键词或者是描述等等。以达到你的这些词的布局正是这个行业里搜索引擎所关注的，网友朋友使用得最多的一些搜索关键词。这样，你的设置就会发挥出大的功效!
分词技术总地来说是通过一些词汇，平常人的使用习惯，把一段话进行区分再理解。这些词会有很多是人们习以为常用的词：如中国，吃饭，医院。也可能有些是以前没出现，但社会在发展中出现的一些新词，这些词使用率越来越高，如it的发展出现了一大批的有名的企业：如微软，新浪等等，这些在传统词汇中并不是一个词，但在发展中这些又成了人们经常用到的词汇，也会纳入进分词系统。
一句话来说，分词就是人们生活习惯用语的一种解析手段。



从信息架构谈起—更好地理解产品策划
提高宝贝人气转化的神操作
关于原子设计，你想要的都在这里
如何制作好的网站与后期维护重要性
网站建设:网络推广与网络营销的关系
实例解析｜交互方案如何影响产品数据？
SEO标题优化：让你的网站排名更高！
seo优化如何让企业新网站做好网站收录呢？