微信爬虫的cookie池的node.js实现

luoyjx · 2016-03-22 14:17 · 1658次阅读

之前的一篇文章说到了维护一个cookie池来降低500的概率。

记搜狗微信号搜索反爬虫

在知乎上看到有人说只需要SNUID替换,其他的不影响。 所以我就写了一个SNUID的池,存储在redis中。

思路:

  1. 通过随机关键字不带cookie请求weixin.sogou.com
  2. 从请求的header中抽取SNUID缓存在redis中。
  3. 每6个小时将SNUID池更新一遍。

代码在这里: https://github.com/luoyjx/weixin-crawler-es5

收藏

暂无评论

登录后可以进行评论。没有账号?马上注册