精通Python网络爬虫
书刊介绍
《精通Python网络爬虫》内容简介
随着大数据时代的到来，我们经常需要在海量数据的互联网环境中搜集一些特定的数据并对其进行分析，我们可以使用网络爬虫对这些特定的数据进行爬取，并对一些无关的数据进行过滤，将目标数据筛选出来。对特定的数据进行爬取的爬虫，我们将其称为聚焦网络爬虫。在大数据时代，聚焦网络爬虫的应用需求越来越大。本书从系统化的视角，为那些想学习Python网络爬虫或者正在研究Python网络爬虫的朋友们提供了一个全面的参考，让读者可以系统地学习Python网络爬虫的方方面面，在理解并掌握了本书的实例之后，能够独立编写出自己的Python网络爬虫项目，并且能够胜任Python网络爬虫工程师相关岗位的工作。
作品目录
前言第一篇
理论基础篇
第1章：什么是网络爬虫
第2章：网络爬虫技能总览
第二篇
核心技术篇
第3章：网络爬虫实现原理与实现技术
第4章：Urllib库与URLError异常处理
第5章：正则表达式与Cookie的使用
第6章：手写Python爬虫
第7章：学会使用Fiddler
第8章：爬虫的浏览器伪装技术
第9章：爬虫的定向爬取技术
第三篇
框架实现篇
第10章：了解Python爬虫框架
第11章：爬虫利器——Scrapy安装与配置
第12章：开启Scrapy爬虫项目之旅
第13章：Scrapy核心架构
第14章：Scrapy中文输出与存储
第15章：编写自动爬取网页的爬虫
第16章：CrawlSpider
第17章：Scrapy高级应用
第四篇
项目实战篇
第18章：博客类爬虫项目
第19章：图片类爬虫项目
第20章：模拟登录爬虫项目
热门书摘
。
网络爬虫由控制节点、爬虫节点、资源库构成。
控制节点，也叫作爬虫的中央控制器，主要负责根据URL地址分配线程，并调用爬虫节点进行具体的爬行。
聚焦网络爬虫主要由初始URL集合、URL队列、页面爬行模块、页面分析模块、页面数据库、链接过滤模块、内容评价模块、链接评价模块等构成
Urllib库
metaseeker
爬行策略主要有深度优先爬行策略、广度优先爬行策略、大站优先策略、反链策略、其他爬行策略等。
常见的网页更新策略主要有3种：用户体验策略、历史数据策略、聚类分析策略等，以下我们将分别进行讲解
泊松过程进行建模等手段，预测该网页下一次更新的时间
http.CookieJar
变量file
爬虫模拟成浏览器访问网页的设置方法。
fetch命令主要用来显示爬虫爬取的过程。
相关推荐
-
黄永轩|微果酱团队《公众号思维》
微信已经成为一个独立的生态系统，带来了万众创业的全新机会，而《公众号思维》一书是作者及其团队在微信生态发展过程中大量实战
-
软萌可爱色铅笔涂画教程
《软萌可爱色铅笔涂画教程》内容简介：总觉得用色铅笔画的东西不够可爱，用色不够靓丽，被五花八门的色铅笔教程挑花了眼？这本本书
-
服务市场营销（第二版）
《服务市场营销（第二版）》内容简介：《服务市场营销（第2版）》以市场营销的基本原理为指导 ，以服务领域为研究重点，深入浅出地
-
席芬《设计让世界看见芬兰: Pure Finland》
※随书附赫尔辛基城市设计现场导览地图北欧设计中最为极简、最具诗意的芬兰设计来自极地芬兰清透澄澈的冰雪灵感，强调创意根植于
-
李超《CSS网站布局实录（第2版）》
★国内第1本基于Web标准的CSS布局著作技术增值升级版!★讲述基于Web标准的应用CSS进行网站布局设计与重构的典范之作! ［本书特色
-
信息系统项目管理师考试辅导-(针对下午考试)
信息系统项目管理师考试辅导-(针对下午考试) 内容简介 本书按照人力资源和社会保障部、工业和信息化部全国计算机技术与软件专业技术资格（不平）考试要求编写。作者依...
-
孩子们的小提琴练习曲3（缩编版）
《孩子们的小提琴练习曲3（缩编版）》内容简介：本书包括了沃尔法特、开塞、马扎斯、顿特、克莱采尔的练习曲，这些练习曲接近按照技
-
金圣叹选批杜诗
《金圣叹选批杜诗》内容简介：金圣叹选本的特点不仅在于选更在于评，更注重点评和鉴赏。金圣叹首创唐诗“七律分解法”来评点唐诗。
-
《编写安全的代码》书籍《编写安全的代码》
编写安全的代码（第二版），ISBN：9787111112105，作者：（美）MichaelHoward，（美）DavidLeBlanc著；程永敬[等]译；程永敬...
-
高路《超越谷歌》
《超越谷歌:全球网脑新商机》主要内容简介：全球金融危机人人关注。金融危机证明了亚当•斯密提出的“看不见的手”已经失灵，人类
-
丝绸之路上的科学技术
《丝绸之路上的科学技术》内容简介：本书从数学、天文学、医学、物理学、建筑学、机械等方面，选择历史上丝绸之路沿线国家和地区的
-
Excel函数与公式综合应用技巧-掌中宝
Excel函数与公式综合应用技巧-掌中宝 本书特色 千般技巧，随身速查一看就懂的excel高手私房秘技用20%的技巧，解决100%的常见问题透彻掌握excel函...
-
DevOps：软件架构师行动指南
《DevOps：软件架构师行动指南》内容简介：本书从软件架构师视角讲解了引入DevOps实践所需要拥有的技术能力，涵盖运维、部署流水线
-
C++面向对象程序设计
C++面向对象程序设计 本书特色 刘建舟、徐承志、陈荆亮、吴奕编著的《C++面向对象程序设计》坚持定位明确、由浅入深、理论与实践相结合的方针；在写作上，力求简单...
-
思想政治理论金榜书
《思想政治理论金榜书》内容简介：本书是一本由双一流大学对口专业教授、学者合作编写的考研政治辅导教材，并严格依据教育部所颁布
-
哥德巴赫猜想
《哥德巴赫猜想》内容简介：本书收集了作者有代表性的纪实文学作品，所有篇章皆是具体人物的展现，所展现人物，皆为中国现当代时期
-
家屋与嘉绒藏族社会结构
《家屋与嘉绒藏族社会结构》内容简介：本书根据对中国四川省雅安市宝兴县硗碛藏族乡的田野调查资料，以家屋的名号“房名”的研究为
-
高信用社会：信托与信用制度
《高信用社会：信托与信用制度》内容简介：“人无信不立，事无信不成,商无信不兴”。信用是社会运行的基石和商业成功的秘诀，而信托
-
Brendan Dawes《Analog In, Digital Out》
Creativityisaninnatehumanimpulse,manypeoplebelieve,somethingwe’rebornwithbuttooo...
-
扈永进《科技之光》
《科技之光》是“国民教育通识读本”系列之一，介绍了人类史上对科技文明与进步起到举重若轻作用的天才大师的经典巨作，以及最新
