精通Python网络爬虫
书刊介绍
《精通Python网络爬虫》内容简介
随着大数据时代的到来，我们经常需要在海量数据的互联网环境中搜集一些特定的数据并对其进行分析，我们可以使用网络爬虫对这些特定的数据进行爬取，并对一些无关的数据进行过滤，将目标数据筛选出来。对特定的数据进行爬取的爬虫，我们将其称为聚焦网络爬虫。在大数据时代，聚焦网络爬虫的应用需求越来越大。本书从系统化的视角，为那些想学习Python网络爬虫或者正在研究Python网络爬虫的朋友们提供了一个全面的参考，让读者可以系统地学习Python网络爬虫的方方面面，在理解并掌握了本书的实例之后，能够独立编写出自己的Python网络爬虫项目，并且能够胜任Python网络爬虫工程师相关岗位的工作。
作品目录
前言第一篇
理论基础篇
第1章：什么是网络爬虫
第2章：网络爬虫技能总览
第二篇
核心技术篇
第3章：网络爬虫实现原理与实现技术
第4章：Urllib库与URLError异常处理
第5章：正则表达式与Cookie的使用
第6章：手写Python爬虫
第7章：学会使用Fiddler
第8章：爬虫的浏览器伪装技术
第9章：爬虫的定向爬取技术
第三篇
框架实现篇
第10章：了解Python爬虫框架
第11章：爬虫利器——Scrapy安装与配置
第12章：开启Scrapy爬虫项目之旅
第13章：Scrapy核心架构
第14章：Scrapy中文输出与存储
第15章：编写自动爬取网页的爬虫
第16章：CrawlSpider
第17章：Scrapy高级应用
第四篇
项目实战篇
第18章：博客类爬虫项目
第19章：图片类爬虫项目
第20章：模拟登录爬虫项目
热门书摘
。
网络爬虫由控制节点、爬虫节点、资源库构成。
控制节点，也叫作爬虫的中央控制器，主要负责根据URL地址分配线程，并调用爬虫节点进行具体的爬行。
聚焦网络爬虫主要由初始URL集合、URL队列、页面爬行模块、页面分析模块、页面数据库、链接过滤模块、内容评价模块、链接评价模块等构成
Urllib库
metaseeker
爬行策略主要有深度优先爬行策略、广度优先爬行策略、大站优先策略、反链策略、其他爬行策略等。
常见的网页更新策略主要有3种：用户体验策略、历史数据策略、聚类分析策略等，以下我们将分别进行讲解
泊松过程进行建模等手段，预测该网页下一次更新的时间
http.CookieJar
变量file
爬虫模拟成浏览器访问网页的设置方法。
fetch命令主要用来显示爬虫爬取的过程。
相关推荐
-
图解网络硬件
《图解网络硬件》内容简介：本书详细介绍了计算机网络硬件的相关知识，在对硬件设备、相关技术及规范进行详尽考据和整理的同时，侧
-
James A·Whittaker《探索式软件测试》
《探索式软件测试》任命软件测试人员，OA专家、开发人员、程序经理和架构师阅读，对他们的工作具有重要的启发作用。探索式软件测
-
胡海卿《激活品牌：我们可以超越褚橙》
未来十年，将是中国农产品商业品牌崛起的“黄金十年”。中国，能不能出现“下一个褚橙”？中国，能不能出现与佳沛（Zespri）、都
-
JavaScript编程精解（原书第3版）
《JavaScript编程精解（原书第3版）》内容简介：本书第3版深入研究JavaScript语言，详细介绍如何编写漂亮、高效的代码。更新的内容
-
![[英] Trevor Burnham《JavaScript异步编程》](http://oss.shudanhao.com/caiji/chazidian/2023/3714.jpg)
[英] Trevor Burnham《JavaScript异步编程》
《JavaScript异步编程：设计快速响应的网络应用》讲述基本的异步处理技巧，包括PubSub、事件模式、Promises等，通过这些技巧，可
-
手到病自除4：儿童常见病特效疗法（2022版）
《手到病自除4：儿童常见病特效疗法（2022版）》内容简介：本书既是一本故事书，又是一本说明书；本书用全彩真人实拍图来示范40余种
-
《建筑师与设计师视觉笔记》书籍《建筑师与设计师视觉笔记》
《建筑师与设计师视觉笔记》旨在鼓励视觉表达，其理念基于这样一种观点，即视觉修养与文字修养同等重要。为了开拓表达视觉信息的
-
2020年全国计算机等级考试一本通二级MSOffice高级应用
2020年全国计算机等级考试一本通二级MSOffice高级应用 本书特色 本书面向全国计算机等级考试二级MS Office高级应用科目，严格依据其新版考试大纲详...
-
Vincent K·N·Lau《Channel-Adaptive Technologies and Cross-Layer Designs for Wireless Systems with
Thisinnovativebooksetsforthtwopromisingwirelessapproachesthatsupporthigh-quality...
-
亚当·肯顿《行为互动：小范围相遇中的行为模式》
本书收集了作者在试验心理学这一研究领域发表过的五篇最著名的论文以及其他若干论文。每篇旧论文后面都有作者的后记，回顾该文发
-
天下美食
《天下美食》内容简介：从美食延伸到人文历史记忆，于平淡中见真情，体现一代学者的知识分子情怀 著名学者丁帆美食人文笔记。作者从
-
Minoru Etoh《下一代移动系统3G/B3G》
本书紧紧围绕下一代(XC)移动网络发展前沿的热点问题，依据XC移动网络的最新标准，以XC移动网络技术与应用为核心，比较全面和系统
-
曹操传
《曹操传》内容简介：曹操是个历史评价非常复杂的人物，他战黄巾，讨董卓，剿灭吕布、袁术、公孙瓒，击败袁绍，收降刘琮、张绣等，
-
网上遗产
《网上遗产》内容简介：你担心自己死后，社交网络账号被家人登录吗？ “集体点蜡”真的有意义吗？ 我们今天的“晒娃”，孩子若干年
-
冬韵奥林匹克
《冬韵奥林匹克》内容简介：本书从艺术欣赏角度介绍了冬奥会的历史和风采，展示冬奥文化的魅力，介绍了北京申请冬奥会举办权的历程
-
命运好好玩（汉、英双语版）
《命运好好玩（汉、英双语版）》内容简介：蔡澜为人幽默风雅，以鲜活、生动的文字讲述他的所见所闻，与读者分享他的识见。他说：“
-
Julie Ratner《Human Factors and Web Development》
6.00x8.75x0.75inThewebisessentiallysoftware,justonadifferentplatform.Assuchitcan...
-
《The Internet Case Study Book》书籍《The Internet Case Study Book》
HowtomakeyourbusinessworkonlineFeaturing60successstories,fromclientsbriefingstof...
-
![[英] Sam Newman《微服务设计》](http://oss.shudanhao.com/caiji/chazidian/2023/4501.jpg)
[英] Sam Newman《微服务设计》
作者简介：SamNewman是ThoughtWorks公司的技术专家、ThoughtWorks内部系统架构师，同时还为全球的客户提供咨询服务。他在开发和I
-
隔屏相遇：如何做好网络心理咨询
《隔屏相遇：如何做好网络心理咨询》内容简介：本书在新冠肺炎疫情的大背景下，网络心理咨询很好地解决了“日益增长的心理咨询需求
