在上节中，我们成功的在多进程中利用协程实现了多任务异步执行和多流程按次序执行的目标。本节我们将在原有代码的基础上继续改造代码，增加网页请求功能，实现一个简单的异步爬虫，实现每次爬新网页只需要关注网络请求、网页解析和数据处理，多进程和异步请求部分由爬虫自身处理。 详细流程图 需要用到的库 Beautifulsoup：一个可以从 HTML 或 XML 文件中提取数据的Python库。 # 安装方法 c

很多人入门 Python 是从爬虫开始的，笔者也不例外。爬取大量网页需要用到多进程、多线程、协程等等特性，而这类代码的编写往往比较繁琐，如果经常需要爬取不同的网页，我们往往会用到 scrapy 等爬虫框架以减少工作量。笔者最近正好需要大量爬取一些内容，本着学习的目的，我们不使用爬虫框架，从零开始搭建一个简单的异步爬虫。 目标 利用协程异步请求网页。 利用多进程加快爬取速度。 提供需要请求的链接，设