什么是搜索引擎和搜索引擎蜘蛛?
在实操第一课讲搜索引擎的基本工作原理的时候,我会告诉新人什么是搜索引擎,然后我会讲什么是搜索引擎蜘蛛。那么,让我们在这里再谈一次。主要类别如下:
1、根据国内外分
国内:百度, 搜狗, 360、神马(UC)、头条等。国外:谷歌、必应、雅虎、Yandex (俄罗斯)等。
2.按pC和移动终端划分
个人电脑:谷歌、必应、雅虎、百度、搜狗、360
手机:神马,头条
个人电脑移动有:谷歌,必应,雅虎,百度, 搜狗
当然,除了上述的一般搜索引擎,其实还有一些垂直搜索引擎。比如搜索图书馆的斗鼎网,搜索工作的专业朋友集等等。
什么是搜索引擎蜘蛛?
这里的[蜘蛛]不是现实生活中的蜘蛛。我们只是使用搜索引擎来抓取每个网页的内容。我们称它为蜘蛛。
如何识别百度搜索引擎蜘蛛?
事实上,很多新SEO的学生很少接触到搜索引擎蜘蛛,甚至连百度蜘蛛也未必能接触到他们。即使接触到,也不知道是不是。为什么呢?因为很多SEO新人没有分析网站日志,所以没有看到。
如果你分析过网站日志,你应该见过百度拜杜斯皮德。
目前,百度的UA(简称用户代理)分为三种应用场景:移动、pC和小程序。这三个渠道UA如下:
移动普遍获得:
Mozilla/5.0(Linux;u;andro id 4 . 2 . 2;zh-cn;)applebwebkit/534.46(KHTML,likeGecko)版本/5.1MobileSafari/10600.6.3
(兼容;baiduspider/2.0;
/search/spider.html)
或者
Mozilla/5.0(iphone;CpUiphoneOS9 _ 1 likemacosx)applebwebkit/601 . 1 . 46(KHTML,likeGecko)版本/9.0Mobile/13B143Safari/601.1(兼容;baiduspider-render/2.0;/search/spider.html)
pCUA:
Mozilla/5.0(兼容;baiduspider/2.0;
/search/spider.html)
或者
Mozilla/5.0(兼容;baiduspider-render/2.0;
/search/spider.html)
微件UA:
Mozilla/5.0(iphone;CpUiphoneOS9 _ 1 likemacosx)applebwebkit/601 . 1 . 46(KHTML,likeGecko)版本/9.0Mobile/13B143Safari/601.1(兼容;baiduspider-render/2.0;Smartapp/search/spider.html)
如果UA信息不正确,可以直接判断为百度没有搜索到的蜘蛛,对于日志分析,可以在文末看到相关推荐文章。
网站的HTTp状态码是什么意思?有什么?
网站的HTTp状态代码是一个3位数的代码,用于指示web服务器的超文本传输协议的响应状态。
文章来源:白杨seo
来源地址:/blog/189.html