精通Python网络爬虫
书刊介绍
《精通Python网络爬虫》内容简介
随着大数据时代的到来，我们经常需要在海量数据的互联网环境中搜集一些特定的数据并对其进行分析，我们可以使用网络爬虫对这些特定的数据进行爬取，并对一些无关的数据进行过滤，将目标数据筛选出来。对特定的数据进行爬取的爬虫，我们将其称为聚焦网络爬虫。在大数据时代，聚焦网络爬虫的应用需求越来越大。本书从系统化的视角，为那些想学习Python网络爬虫或者正在研究Python网络爬虫的朋友们提供了一个全面的参考，让读者可以系统地学习Python网络爬虫的方方面面，在理解并掌握了本书的实例之后，能够独立编写出自己的Python网络爬虫项目，并且能够胜任Python网络爬虫工程师相关岗位的工作。
作品目录
前言第一篇
理论基础篇
第1章：什么是网络爬虫
第2章：网络爬虫技能总览
第二篇
核心技术篇
第3章：网络爬虫实现原理与实现技术
第4章：Urllib库与URLError异常处理
第5章：正则表达式与Cookie的使用
第6章：手写Python爬虫
第7章：学会使用Fiddler
第8章：爬虫的浏览器伪装技术
第9章：爬虫的定向爬取技术
第三篇
框架实现篇
第10章：了解Python爬虫框架
第11章：爬虫利器——Scrapy安装与配置
第12章：开启Scrapy爬虫项目之旅
第13章：Scrapy核心架构
第14章：Scrapy中文输出与存储
第15章：编写自动爬取网页的爬虫
第16章：CrawlSpider
第17章：Scrapy高级应用
第四篇
项目实战篇
第18章：博客类爬虫项目
第19章：图片类爬虫项目
第20章：模拟登录爬虫项目
热门书摘
。
网络爬虫由控制节点、爬虫节点、资源库构成。
控制节点，也叫作爬虫的中央控制器，主要负责根据URL地址分配线程，并调用爬虫节点进行具体的爬行。
聚焦网络爬虫主要由初始URL集合、URL队列、页面爬行模块、页面分析模块、页面数据库、链接过滤模块、内容评价模块、链接评价模块等构成
Urllib库
metaseeker
爬行策略主要有深度优先爬行策略、广度优先爬行策略、大站优先策略、反链策略、其他爬行策略等。
常见的网页更新策略主要有3种：用户体验策略、历史数据策略、聚类分析策略等，以下我们将分别进行讲解
泊松过程进行建模等手段，预测该网页下一次更新的时间
http.CookieJar
变量file
爬虫模拟成浏览器访问网页的设置方法。
fetch命令主要用来显示爬虫爬取的过程。
相关推荐
-
![[美] 斯托林斯《密码编码学与网络安全》](http://oss.shudanhao.com/caiji/chazidian/2023/2258.jpg)
[美] 斯托林斯《密码编码学与网络安全》
WilliamStallings为读者提供了一本关千密码编码学与网络安全的最优秀书籍。更新的第四版反映了该领域的最新发展趋势与进展，详尽
-
EDIUS视音频制作标准教程-(第2版)-(含2DVD价格)
EDIUS视音频制作标准教程-(第2版)-(含2DVD价格) 本书特色 本书全面讲解edius*新核心技术，精选多个行业实用案例，帮助读者在*短的时间内从“零基...
-
一天25小时
《一天25小时》内容简介：本书首次提出了以理财的观念来理时间，这一全新的时间管理视角，书中将时间管理分为6 个步骤，各部分以介
-
《信号与系统(上册)》书籍《信号与系统(上册)》
《信号与系统(上册)(第2版)》是1981年出版《信号与系统》（高等教育出版社出版）的修订版。本版与第一版的结构层次大体相同，仍然
-
谈医说病
《谈医说病》内容简介：渡边淳一以对谈方式，与日本医学专家探讨不孕症、腰膝痛、眼疾、流感、类风湿病、花粉症、糖尿病、特应性皮
-
约翰·佐雷尔《创意岛》
约翰•佐雷尔出生于伦敦，在弘赛艺术学院（HornseyCollegeofArt）学习艺术与设计。他十九岁就开始了其设计事业。在他四十余年的设
-
高质量零售
《高质量零售》内容简介：在技术变革和需求变革共同驱动下，新零售对零售业进行了全要素、多维度、系统化的创新与变革，实现了交易
-
吳處厚|校注 李裕民《青箱杂记》
《青箱杂记:唐宋史料笔记》由朝散郎知汉阳军吴处厚撰，共十卷，多记宋及五代朝野杂事、诗话及掌故，书中引到的魏野、李淑、王禹伪
-
中国梦实现的根本法保障
《中国梦实现的根本法保障》内容简介：宪法序言申明的建设富强、民主、文明的社会主义国家是经济、政治、社会、文化与生态文明五位
-
孩子咳嗽，自然疗法80种
《孩子咳嗽，自然疗法80种》内容简介：运用自然疗法，调动孩子身体的自愈能力，不仅治咳嗽更养生咳嗽并不是疾病，而是疾病的一种症
-
赵树杰赵建勋《信号检测与估计理论》
信号检测与估计理论是随机信号统计处理的基础。本书在扼要复习信号检测与估计理论基础知识后，首先论述信号的统计检测理论和信号
-
汽车标识符号全知道
《汽车标识符号全知道》内容简介：《汽车标识符号全知道》按品牌标识、车身上标识、驾驶操作标识的顺序，以图解的方式对汽车上常见
-
服从力
《服从力》内容简介：服从力这本书，周平老师和多位作者已构思多年。看到非常多的人，因为服从力不够而在岗位中处处受挫；看到非常
-
![[美] Vladimir Silva《精通Android游戏开发》](http://oss.shudanhao.com/caiji/chazidian/2023/3527.jpg)
[美] Vladimir Silva《精通Android游戏开发》
作为引领移动技术潮流的软件平台，Android发布了NDK以支持Java和C的混合开发，使PC游戏可以在Android平台上焕发更多魅力。本书是
-
日《图解性能优化》
小田圭二日本Oracle株式会社咨询部门经理。在解决性能问题方面有着丰富的经验，著有《图解OS、存储、网络：DB的内部机制》（絵で
-
![[美] 埃伦·鲁普顿《字体设计指南》](http://oss.shudanhao.com/caiji/chazidian/2023/37558.jpg)
[美] 埃伦·鲁普顿《字体设计指南》
白纸或屏幕上的字母的组织，是设计师们最基本的挑战之一。使用什么字体?要多大?这些字母、字词和段落如何排列、间隔、安排和造型
-
CADCAMCAE工程应用丛书ANSYS Fluent流体计算从入门到精通(2020版)
CADCAMCAE工程应用丛书ANSYS Fluent流体计算从入门到精通(2020版) 本书特色 适读人群 ：适合广大Fluent初、中级读者学习使用；也可作...
-
流浪生死书
《流浪生死书》内容简介：人生实苦，要么是身体的病，要么是精神上的痛。人，无法躲避，只有超越。有的人选择文学、有的人选择艺术
-
妞妞：一个父亲的札记
《妞妞：一个父亲的札记》内容简介：父爱如山，周国平感动万千读者的经典之作。二十多年前，45岁的周国平喜得一女妞妞，如同拥有了
-
ASP.NET电子商务入门经典-(第2版)
ASP.NET电子商务入门经典-(第2版) 内容简介 本书全面详细地介绍了如何构建电子商务Web站点，并通过大量的代码和示例逐步教会您设计和构建站点的具体过程。...
