六年专注于网络推广、网络营销研究

  • 首页
  • SEO工具
  • 火车头采集微信公众号漫画站,需要注意的5个问题!

作者:淘小白12-4 14:15分类: SEO工具

火车头采集漫画.jpg

最近在采集微信公众号的漫画,使用火车头抓取漫画要比抓小说要困难一些,我也是遇到了很多的问题,下面给大家总结几点:


1、抓包,看通过手机端抓,也可通过PC客户端抓,这里不赘述了,不懂的可能在这里就遇到困难了。


2、列表页与内容页请求


列表页有的是post的数据,有的是get数据,get更好操作一些,列表页与内容页请求时返回的http头部数据有差异,这里要注意下,简单来说:


设置好列表页和详情页采集规则,测试时发现,用列表页的http头数据采不到详情页,用详情页的http头数据采不到列表页。


这里要注意!


3、图片请求出错


请求的图片出错,发现图片的地址不对,要注意拼接。


4、下载出错


请求下载时不要太快,有的站点响应慢,返回200 但是提示错误,解决办法,放慢请求速度。


5、cookie失效


大部分,90%的都会失效,需要重新抓cookie更新,采漫画,图片多,cookie失效确实很头疼。


希望采集漫画的小伙伴多加注意!


作者QQ1290654348


---------------------20181208更新----------------------


着重强调:

1、漫画采集时,请求时间间隔拉长一些,有朋友因为自己网速问题,或者是目标网站的响应速度问题,导致请求错误,此时尽量保证速度慢一些,否则会导致出错。


2、漫画模板采集时请告知清楚,后期发布和规则制作时好进行匹配。

温馨提示如有转载或引用以上内容之必要,敬请将本文链接作为出处标注,谢谢合作!

已有 0/17731 人参与



微信扫一扫,加我好友