还是那个站,不过我们这次不再一个一个来爬取了,我们将采用多线程进行爬取。
python的多线程问题一直是一个备受争议的话题,因为在多核心CPU的硬件条件下,python依然还是只能利用单核心,所以python的多线程就有一个“伪多线程”的命题,但是python多线程虽然是只能利用单核心,但是依旧比单线程要快。
思路还是一样,不过在最后处理的时候我们引入了一个多线程。
|
|
还是那个站,不过我们这次不再一个一个来爬取了,我们将采用多线程进行爬取。
python的多线程问题一直是一个备受争议的话题,因为在多核心CPU的硬件条件下,python依然还是只能利用单核心,所以python的多线程就有一个“伪多线程”的命题,但是python多线程虽然是只能利用单核心,但是依旧比单线程要快。
思路还是一样,不过在最后处理的时候我们引入了一个多线程。
|
|
本文地址:http://damiantuan.xyz/2017/11/19/py-bs-requests多线程爬虫/
转载请注明出处,谢谢!
微信支付
支付宝