《自制搜索引擎》聚焦于Google和Yahoo!等Web搜索服务幕后的搜索引擎系统,首先讲解了搜索引擎的基础知识和原理,接着以现实中的开源搜索引擎Senna/Groonga为示例,使用该引擎的源代码引导读者亲自体验搜索引擎的开发过程。这部分讲解涉及了倒排索引的制作和压缩、检索的处理流程以及搜索引擎的优化等内容。又简单介绍了一些更加专业的搜索引擎的知识和要点,为读者今后进一步学习打下了基础。本书适合所有对搜索引擎感兴趣的技术人员阅读。
第1章 搜索引擎是如何工作的1
1-1 理解搜索引擎的构成3
什么是搜索引擎3
构成搜索引擎的组件4
与搜索引擎相关的组件5
1-2 实现了快速全文搜索的索引结构7
全文搜索的两种方法7
倒排索引的结构8
倒排索引的构建方法9
倒排索引中的术语10
1-3 深入理解倒排索引12
倒排索引=词典+倒排文件12
从倒排索引中查找单词13
将单词的位置信息加入倒排文件中13
从倒排索引中查找短语14
1-4 制作中文文档的倒排索引16
分割中文句子的方法16
权衡分割方法17
1-5 实现倒排索引19
实现词典19
实现倒排文件22
1-6 使用倒排索引进行检索24
布尔检索24
使用倒排索引的检索处理流程24
关联度的计算方法26
信息检索中的检索27
1-7 构建倒排索引29
使用内存构建倒排索引29
使用二级存储构建倒排索引29
静态索引构建和动态索引构建32
1-8 准备要检索的文档34
收集数据34
数据规范化35
第2章 准备全文搜索引擎的检索样本37
2-1 全文搜索引擎wiser39
wiser的构成39
准备用于检索的文档40
2-2 安装wiser42
构建wiser42
启动wiser43
解压缩Wikipedia的副本44
2-3 运行wiser45
构建倒排索引45
使用倒排索引查询46
比较grep和wiser的运行速度46
第3章 构建倒排索引49
3-1 复习有关倒排索引的知识51
提取词元51
为每个词元创建倒排列表53
3-2 构建倒排索引54
在存储器上创建倒排列表54
倒排列表和倒排文件的数据结构54
从源代码级别梳理倒排索引的构建顺序56
进一步阅读源代码59
专栏 根据实际情况设计搜索引擎(系统)68
第4章 开始检索吧71
4-1 检索处理的大致流程73
充分理解检索处理的流程73
4-2 使用倒排索引进行检索75
从源代码级别梳理检索处理的流程75
解读split_query_to_tokens()函数的具体实现76
使用具体示例加深对检索处理流程的理解77
解读函数search_docs()的实现细节80
解读函数search_phrase()的实现84
专栏 如何实现标签检索88
第5章 压缩倒排索引89
5-1 压缩的基础知识90
压缩倒排索引的好处90
专栏 压缩的目的90
倒排索引的压缩方法91
倒排文件的压缩方法91
压缩的原理94
5-2 实现wiser中的压缩功能97
压缩功能源代码的概要97
了解无需进行压缩时的操作99
抓住Golomb编码的要点101
解读Golomb编码中的编码处理105
解读Golomb编码的解码处理108
第6章 挑战wiser的优化及参数的调整113
6-1 提高检索处理的效率115
优化检索处理115
将查询分割为无重复部分的词元序列116
6-2 禁用短语检索119
分析对2字符的字符串进行检索时的行为119
分析对3字符的字符串进行检索时的行为120
6-3 改变检索结果的输出顺序122
作为检索结果排序核心的指标122
按照文档大小降序排列的检索结果124
专栏 排名欺诈128
6-4 让1个字符的查询也能检索出结果29
获取以特定字符开头的词元的列表129
合并检索到的结果131
专栏 如何实现相似文档的检索131
6-5 调整控制倒排索引更新的缓冲区容量133
确认由缓冲区容量的差异带来的不同效果133
用sar命令分析负载134
6-6 调整只有英文字母的词元的分割方法135
如何避免用英文单词检索时准确率下降的问题135
如何判断某字符是否属于索引对象135
修改负责分割词元的函数136
6-7 确认压缩的效果138
观察Golomb编码的效果138
对比压缩启用前后的索引大小138
专栏 避免滥用全文搜索引擎139
第7章 为今后更加深入的学习做准备141
7-1 wiser没能实现的功能143
倒排索引之外的全文搜索索引143
高效处理大规模数据的存储器143
利用缓存提高检索的速度143
使用各种各样的压缩方法144
优化搜索结果的排名144
调整准确率和召回率145
降低检索结果排序处理的负载147
并行处理147
结合对属性的筛选过滤148
分面搜索148
专栏 时延和吞吐量149
7-2 全文搜索引擎Groonga的特点150
通过词元的部分一致检索提升召回率150
使用内存映射文件151
片段152
专栏 宣传活动的重要性152
7-3 实现出考虑到用户意图的搜索引擎153
引入停用词153
应对词素解析的错误153
专栏 断句错误154
处理全角字符和半角字符155
对查询进行归一化156
留意布尔检索的解析过程156
通过词素解析器适当地解析查询157
对错误的输入进行修正157
输入补全158
建议用户检索相关的关键词159
7-4 收集、提取文档时的要点160
制作爬虫时的处理要点160
在提取文本时需要处理的要点163
Appendix 附录165
A-1 深度话题 166
近几年的压缩方法166
动态索引构建169
分布式索引174
A-2 wiser中的文本提取和存储178
用于处理XML的2 种API——DOM和SAX178
提取文档的标题和正文179
掌握状态的迁移182
构建文档数据库187
后记191
C++ Primer Plus-(第6版)-中文版 本书特色 一本经久不衰的c++畅销经典教程;**本支持c++11新标准的程序设计图书。它被誉为“开发人员学习...
《白居易诗选》内容简介:白居易是唐代的诗作大家,是中国诗史上的难得的诗人。本书是其诗作的精品选粹,收入诗近200首,都是流传久
详解AutoCAD中文版家具设计-[超值视频教学实战版]-附赠光盘 本书特色 本书针对当今日益增长的个性家具设计业,通过作者在实际工作中积累的一些经典案...
domus杂志是有着80多年历史的、世界著名的建筑艺术与室内设计杂志,其中文版创刊于2006年,“与中国有关”访谈栏目也同时推出。每
《Effective Debugging》内容简介:本书共分8章。首先讲解调试策略(第1章)、调试方法(第2章)以及调试时所用的工具与技巧(第3章
《中华历史一百人(中英对照)》内容简介:《中华历史一百人(中英对照)》是通过讲述人的故事来反映中国历史和文化的一次尝试。因
第一本大数据供应链落地之道的权威著作,全球顶级供应链管理专家娜达·桑德斯博士聚焦传统供应链模式向大数据转型,助力工业4.0时
《贴地飞行:中国自主创新发展磁浮交通纪实》内容简介:本书是一部记述中国磁浮交通自主创新的纪实文学作品。该书作者近20多年来一
嵌入式系统体系结构编程与设计(影印版) 内容简介 本书是关于嵌入式系统开发与设计的一部*新力作,介绍了嵌入式系统的硬件、操作系统、开发过程以及编程。全书系统地阐...
《微营销》内容简介:《微营销:指尖上的利器》站在更宏观更广博的层面上,对下一个“微营销会占据未来十年”进行论断,以“指尖上
本书是系统学习Servlet和JSP的必读之作。由全球知名的Java技术专家(《HowTomcatWorks》作者)亲自执笔,不仅全面解读Servlet和J
《走进搜索引擎(第2版)》由搜索引擎开发研究领域三位年轻的博士生精心编写,作者们希望将自己对搜索引擎的理解和实际应用相结合,
Readytolearnprogramming?StartHere!ALearnthefundamentalsofprogrammingwiththeKinec...
《APP营销实战:抢占移动互联网第一入口》内容简介:在移动互联网时代,谁先占领用户的手机桌面,谁就是“明日霸主”。可以说,APP
本书以计算机网络安全开发包技术为核心,详细讨论了几个著名的网络安全开发包,它们分别是网络数据包捕获开发包Libpcap,Windows
Whathappenswhenyou’vebuiltagreatwebsiteorapp,butnooneseemstocare?Howdoyougetpeop...
《Visio2010图形设计从新手到高手》由浅入深地介绍使用MicrosoftVisio2010制作商业图形、图表和流程图的方法,详细介绍使用Visio设
《戊戌时期学术政治纷争研究:以“康党”为视角》内容简介:本书内容包括“康学”“康教”:“康党”的政治思想与宗教观念,“康学
Python绝技-运用Python成为顶级黑客 本书特色 python是一门常用的编程语言,它不仅上手容易,而且还拥有丰富的支持库。对经常需要针对自己所处的特定...
数据库应用技术:Access2000 内容简介 MicrosoftAccess2000作为目前应用广泛的数据库管理系统,具有用户界面良好,功能强大,操作简单的优...