这是一本关于搜索引擎的教科书,它从研究实践者的角度介绍了搜索引擎的相关技术及其产业,并试图协助读者成为搜索引擎领域的局内人。与传统的将搜索引擎作为信息检索系统实现的一个特殊实例的做法不同,作者试图把搜索引擎作为一个独立的研究课题,从纷繁复杂的互联网数据现象和搜索引擎工作案例中提炼知识点,对现代商业搜索引擎的体系结构、运行原理、运营机制和核心算法进行总结和讲解。
本书是清华大学计算机系与百度公司合作在清华大学开设的“搜索引擎技术基础”课程的教材,适合作为高等院校信息科学技术、图书馆学等相关专业本科生与研究生相关课程的教材,也可作为相关领域技术人员与搜索引擎技术爱好者的参考资料。
第1章 为什么要关注搜索引擎 1.1 互联网上最重要的应用系统 1.2 人类历史上最大规模的信息集散平台 1.3 学术界重要的技术研发平台 1.4 经济领域能够盈利的“生意”第2章 搜索引擎的基本概念与发展历史 2.1 互联网与万维网的发展 2.2 英雄辈出:搜索引擎的发展历史回顾 2.3 搜索引擎的定义与运行原理概述 2.4 总结:我们能够从历史中学到什么? 参考文献第3章 搜索引擎性能评价 3.1 搜索引擎评价与Cranfield评价体系 3.2 查询样例集合构建 3.2.1 查询样例集合构建中的真实性 3.2.2 查询样例集合构建中的代表性 3.2.3 查询样例集合构建中信息需求表述的完整性 3.3 正确答案集合构建 3.4 搜索引擎评价指标 3.5 搜索引擎性能评价的新进展 参考文献第4章 搜索引擎体系结构概述 4.1 数据抓取子系统的主要功能与性能需求 4.1.1 及时性 4.1.2 全面性 4.1.3 高效性 4.2 内容索引子系统的主要功能与性能需求 4.2.1 内容索引子系统的主要功能 4.2.2 倒排索引结构 4.2.3 内容索引子系统的性能需求 4.3 内容检索子系统的主要功能与性能需求 4.3.1 内容检索子系统与文本信息检索系统 4.3.2 内容检索子系统的相关性需求 4.3.3 内容检索子系统的查询理解需求 4.3.4 内容检索子系统的效率需求 4.4 链接结构分析子系统的主要功能与性能需求 4.4.1 基于链接结构分析评价数据质量 4.4.2 基于链接结构分析扩展文档描述 4.4.3 链接结构分析子系统的效率需求 4.5 搜索引擎体系结构设计理念 参考文献第5章 数据抓取子系统设计及核心算法 5.1 抓取系统的基本架构 5.2 数据抓取涉及的网络协议 5.2.1 URL规范 5.2.2 HTTP协议 5.2.3 User-Agent 5.2.4 robots协议 5.3 网页抓取技术 5.3.1 网页抓取的基本过程 5.3.2 基于异步I/O模型的抓取器 5.3.3 抓取压力控制 5.3.4 对URL重定向的支持 5.3.5 对HTTPS协议的支持 5.4 链接选取策略 5.4.1 爬虫的抓取方式 5.4.2 抓取优先级策略 5.4.3 网页的重访策略 5.4.4 链接去重策略 5.5 网页存储技术 5.5.1 分布式哈希存储系统 5.5.2 基于BigTable 的网页存储系统 参考文献第6章 内容索引子系统设计及核心算法 6.1 最小的语义单位——词项 6.1.1 中文分词问题 6.1.2 英文词干抽取 6.1.3 停用词去除 6.1.4 词项列表的构建 6.2 索引的数据结构 6.2.1 词项出现信息记录 6.2.2 倒排索引和正排索引 6.2.3 索引的并行存储结构 6.3 索引子系统的运行方式 6.3.1 预处理 6.3.2 建立索引 6.3.3 使用索引 参考文献第7章 内容检索子系统设计及其核心算法 7.1 文本信息检索模型 7.1.1 布尔模型 7.1.2 向量空间模型 7.1.3 概率模型 7.1.4 语言模型 7.2 内容检索子系统运行方式 7.2.1 内容相似程度 7.2.2 数据质量评估结果 7.2.3 用户偏好情况 7.2.4 竞价排名情况 7.2.5 合并排序依据 参考文献第8章 链接结构分析子系统设计及核心算法 8.1 万维网链接结构图 8.1.1 万维网链接图的规模 8.1.2 万维网链接图的连通情况 8.1.3 万维网链接图的人度和出度分布 8.2 超链接结构分析的基础 8.3 HITS算法的基本思路及实现 8.4 PageRank算法的基本思路及实现 8.5 链接结构分析结果的应用与排序因素融合 参考文献第9章 万维网数据质量评估 9.1 万维网数据质量评估困境 9.2 数据质量评估的解决思路 9.2.1 宏观粒度网络数据质量评估技术 9.2.2 微观粒度网络数据质量评估技术 9.2.3 冗余页面识别技术 9.2.4 网络数据质量评估方式总述 9.3 面向搜索引擎需求的网络数据质量定义 9.3.1 基于万维网链接结构分析的网页质量定义 9.3.2 基于搜索引擎用户信息需求分析的网页质量定义 9.4 基于万维网链接结构分析的网页质量评估 9.4.1 PageRank在真实万维网环境中的困境 9.4.2 用户访问数据与用户浏览关系图 9.4.3 基于用户浏览关系图的页面质量评估 9.5 基于搜索引擎用户信息需求分析的网页质量评估 9.5.1 网页查询无关特征 9.5.2 查询目标页面与普通页面的差异分析 9.5.3 查询目标页面与普通页面的长度特征差异 9.5.4 查询目标页面与普通页面的PageRank特征差异 9.5.5 基于用户信息需求分析的网页质量评估方法 9.5.6 基于用户信息需求分析的网页质量评估效果 参考文献第10章 万维网垃圾网页识别 10.1 垃圾网页作弊方式 10.1.1 基于内容的作弊方式 10.1.2 基于链接的作弊方式 10.1.3 垃圾网页作弊与搜索引擎优化 10.2 垃圾网页盈利方式 10.2.1 垃圾网页作弊目的及其分类 10.2.2 促进广告浏览及点击 10.2.3 促进移动增值服务订制 10.2.4 促进站点访问流量提升 10.2.5 欺诈和违法信息宣传 10.2.6 软件产品推广 10.2.7 垃圾网页作弊目的分布情况 10.3 垃圾网页识别方法 10.3.1 垃圾网页识别的效果评价 10.3.2 基于网页内容的垃圾网页识别 10.3.3 基于链接结构的垃圾网页识别 10.3.4 基于用户行为的垃圾网页识别 参考文献第11章 搜索引擎广告技术 11.1 引言 11.2 历史、现状和未来 11.3 搜索引擎付费搜索原理 11.4 搜索引擎广告的检索和匹配算法 11.5 计算广告学 参考文献第12章 中文搜索引擎的现状与未来 12.1 国内外搜索引擎市场的发展现状 12.2 搜索引擎的未来发展展望 12.2.1 手持设备搜索 12.2.2 暗网数据与用户产生内容(UGC)的获取 12.2.3 搜索引擎将成为社会和自然科学研究的重要平台? 12.2.4 搜索引擎向其他产业进军本书特色
《赵孟頫临圣教序》内容简介:中国书法史第一个绕不过去的人物是王羲之,第二个是赵孟頫,而赵孟頫又以“右军法嫡”之集大成者见称
基于机器的智能人脸识别 本书特色 《基于机器的智能人脸识别》是由高等教育出版社出版的。基于机器的智能人脸识别 目录 Introduction 1.1 Face ...
Web GIS-原理与应用 本书特色 Web GIS综合了Web和GIS的优点,它让广大的互联网用户认识到了地理信息系统这一领域及其巨大的价值,为现代信息系统引...
《高配人生的7个法则》内容简介:本书是一本倡导“她力量”的女性成长励志书籍。作者邵英是一名成功的女性互联网创业者,书中作者详
《创作者》内容简介:这是一次以创作者/平台战略规划者的双重视角完成的讨论,是一本面向内容行业整体的指导用书。无论是平台运营者
《数字图像处理》是数字图像处理领域理论与实践相结合的成功之作,也是经典之作。全书强调如何应用理论知识解决工业和科学研究中
Increasingly,designersneedtopresentinformationinwaysthataidtheiraudiencesthinkin...
《Flutter实战指南》内容简介:本书针对零基础的读者,循序渐进地讲解如何通过Flutter构建一个完整的、跨平台的App,让读者通过边学
《法国通史》内容简介:本书系《世界历史文化丛书》之一种书。法兰西人的习性经久不变,以至于在两三千年前人们为其勾画的肖像中,
《洞悉用户:用户研究方法与应用》内容简介:用户研究在现代设计中扮演着极为重要的角色。但就在若干年前,就连惠普、索尼、Tektr
《jQuery实战》全面介绍jQuery知识,展示如何遍历HTML文档、处理事件、执行动画以及给网页添加Ajax。书中紧紧地围绕“用实际的示
正则表达式是一种用来操作文本和数据的强大工具。近年来,它们快速广泛传播,并被多种流行工具和语言作为标准特性提供,如Perl、
作者简介:TrevorvanGorp作为加拿大首屈一指的用户体验公司nForm的创始人和董事长,Trevor是一位值得信任的情感设计用户体验顾问
《我是微商4》内容简介:本书是微商界超级畅销书“我是微商”系列的第4本,是三位作者服务了2000多家国内微商品牌之后,总结得出的
世界科技界领袖级人物、掌上电脑PDA发明人杰夫•霍金斯经典力著全新升级版。详细揭示未来主流大趋势,比大数据更能决定我们生活的是
《孩子成才的秘密》内容简介:家庭教育专家大黄蜂老师(刘先杰)认为,作为父母,有些事情是需要提前了解的。而家庭教育,是最不能
《新四书与新儒学》内容简介:儒家的仁义思想不只是由仁而义,还包括由义而仁,前者是孟子的“居仁由义”,是由道德而政治,后者是
《快速写实:炭笔素描教程·唯美头像》内容简介:炭笔素描以上色速度快、不易反光、笔色浓黑、黑白灰层次易拉开、画面效果强烈且具
《中国经学史十讲》内容简介:“经”原先只是指代一种纺织工艺,在漫漫历史长河中,其逐渐变成了唯指孔子亲授的儒家五经的专称。朱
在内容上,《Android系统源代码情景分析(修订版)(含CD光盘1张)》结合使用情景,全面、深入、细致地分析了Android系统的源代码