Richard Lawson来自澳大利亚，毕业于墨尔本大学计算机科学专业。毕业后，他创办了一家专注于网络爬虫的公司，为超过50个国家的业务提供远程工作。他精通于世界语，可以使用汉语和韩语对话，并且积极投身于开源软件。他目前在牛津大学攻读研究生学位，并利用业余时间研发自主无人机。
用Python写网络爬虫
- 书籍语言：简体中文
- 下载次数：7592
- 书籍类型：Epub+Txt+pdf+mobi
- 发布日期：2025-09-06
- 连载状态：全集
- 书籍作者：[澳]理查德 劳森
- ISBN：9787115431790
- 运行环境：pc/安卓/iPhone/iPad/Kindle/平板
- 下载
内容简介
《用Python写网络爬虫》讲解了如何使用Python来编写网络爬虫程序，内容包括网络爬虫简介，从页面中抓取数据的三种方法，提取缓存中的数据，使用多个线程和进程来进行并发抓取，如何抓取动态页面中的内容，与表单进行交互，处理页面中的验证码问题，以及使用Scarpy和Portia来进行数据抓取，使用本书介绍的数据抓取技术对几个真实的网站进行了抓取，旨在帮助读者活学活用书中介绍的技术。
《用Python写网络爬虫》适合有一定Python编程经验，而且对爬虫技术感兴趣的读者阅读。
《用Python写网络爬虫》适合有一定Python编程经验，而且对爬虫技术感兴趣的读者阅读。
作者简介
编辑推荐
作为一种便捷地收集网上信息并从中抽取出可用信息的方式，网络爬虫技术变得越来越有用。使用Python这样的简单编程语言，你可以使用少量编程技能就可以爬取复杂的网站。
《用Python写网络爬虫》作为使用Python来爬取网络数据的杰出指南，讲解了从静态页面爬取数据的方法以及使用缓存来管理服务器负载的方法。此外，本书还介绍了如何使用AJAX URL和Firebug扩展来爬取数据，以及有关爬取技术的更多真相，比如使用浏览器渲染、管理cookie、通过提交表单从受验证码保护的复杂网站中抽取数据等。本书使用Scrapy创建了一个高级网络爬虫，并对一些真实的网站进行了爬取。
《用Python写网络爬虫》介绍了如下内容：
通过跟踪链接来爬取网站；
使用lxml从页面中抽取数据；
构建线程爬虫来并行爬取页面；
将下载的内容进行缓存，以降低带宽消耗；
解析依赖于JavaScript的网站；
与表单和会话进行交互；
解决受保护页面的验证码问题；
对AJAX调用进行逆向工程；
使用Scrapy创建高级爬虫。
本书读者对象
本书是为想要构建可靠的数据爬取解决方案的开发人员写作的，本书假定读者具有一定的Python编程经验。当然，具备其他编程语言开发经验的读者也可以阅读本书，并理解书中涉及的概念和原理。