avmo 简单爬虫

主要练习 requests ,非常的方便。
爬 avmo 虽然 low 了点,不过站点很友好。

单线程

已转python3,编码不是问题了。

多线程

多线程需要自己斟酌池子大小,太大的话开销更多所以有时候不会变快的。不过io密集型多线程优势非常的明显。比上面节省成吨的时间,如果你爬取的页面多的话。

参考资料: