头条搜索Bytespider开始大规模抓取

发布日期:2019-11-27 09:42:32 作者:张子凡

  • 正文内容
  • 相关推荐
原创

今日头条做搜索已经不是一天两天的事情,最近子凡开始大量的检测到关于头条搜索相关蜘蛛服务器抓取,其抓取频率可以说是火力全开,甚至看到有些长朋友在吐槽自己虚拟主机网站流量月初就没有了,看了字节跳动想要一口吃个大胖子哦。

头条搜索Bytespider开始大规模抓取

头条搜索(https://m.toutiao.com/search)目前只有移动端版本,似乎也就间接意味着头条搜索是一个移动搜索引擎,官方有时也叫做字节跳动搜索。,从以前的“Bytespider”改变为“Bytespider;bytespider@bytedance.com”,添加了一个邮箱,子凡在想是不是可以通过邮箱联系到官方呢?

目前通过泪雪网抓取记录获取查看到有几组头条搜索的 UA:

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.6462.1049 Mobile Safari/537.36; Bytespider;bytespider@bytedance.com

Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.3320.1410 Mobile Safari/537.36; Bytespider;bytespider@bytedance.com

Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.1868.1341 Mobile Safari/537.36; Bytespider;bytespider@bytedance.com

Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.4372.1425 Mobile Safari/537.36; Bytespider;bytespider@bytedance.com

通过抓取的 UA 基本可以完整的判断都是属于移动端或者手机设备的抓取,同时为了方面查下抓取的服务器 IP 是否真实为头条搜索,还可以通过 IP 反查服务器名称,如果主机名为:bytespider-220-243-135-89.crawl.bytedance.com。那么这就是标准的头条搜索 IP 蜘蛛的服务器啦。

对于想要屏蔽头条搜索的,最简单粗暴的就是判断 UA,想要准备的就是直接通过 IP 来屏蔽,都需要通过服务器来操作,关于查询 IP 是否为真实的头条搜索蜘蛛,可以试试子凡开发的一个小工具ip.leiue.com)。

另外,其实子凡个人认为如果站长们的服务器完全能够承受头条搜索的抓取,那么就不要去屏蔽了,虽然从目前子凡的观察来看,网站通过头条搜索的流量少得可怜,但是其头条搜索的收录展现来看还是非常客观的,至少我们泪雪网的表现还不错,通过站长工具还能查询到我们泪雪网的头条搜索引擎有 4 了。

所以对于头条搜索就目前而言,谈不上好也谈不上坏,只是可能头条搜索的抓取来的有些猛烈而导致一些小网站无法承受,如果头条搜索也能够官方推出一个站长平台,或者是抓取频率设定的工具,相信能够得到不少小站长的亲睐,当然凭借子凡的经验分析不可否认的是搜索引擎还是比较喜欢大站,毕竟内容足够多啊,哈哈哈

除非注明,否则均为泪雪博客原创文章,禁止任何形式转载

本文链接:https://zhangzifan.com/bytespider.html

特别声明

本文为 张子凡 原创发布,仅代表作者观点,不代表冬镜博客网的观点或立场,冬镜博客网仅提供信息发布平台,合作供稿、侵权删除、反馈建议请联系520@520xx.cc

张子凡,泪雪公司创始人

标签:

标题:头条搜索Bytespider开始大规模抓取

链接:http://uqseo.com/seojc/432.html

版权:若无特殊标注皆为 张子凡 原创版权,转载请以链接形式注明作者及原始出处

发表评论

电子邮件地址不会被公开。 必填项已用*标注