google搜索引擎收录网站的原理

01.05 21:38:08发布

SEO技术 / SEO基础入门
1135 0 0

探寻蜘蛛和探寻机器人搜索引擎要知道网上的新生事物,就得派人出去搜集。我们提到,在Yahoo创办初期,许多编辑天天泡在网上,访问新鲜网站,然后将搜集来的信息整理成序。当时的网站数量少,做起来比较容易。而现在新网站的出现数量、老网的更新都是爆炸式的,靠人工是不可能完成这个任务的。所以,搜索引擎的发明者就设计了计算机程序,派它们来执行这个任务。

SEO学习.png

探测器有多种叫法,也叫crawler(爬行器)、spider(蜘蛛)、robot(机器人)。这些形象的叫法是描绘搜索引擎派出的蜘蛛机器人爬行在互联网上探测新的信息。Google把它的探测器叫做Googlebot,百度就叫Baiduspider,MSN叫MSNbot,而Yahoo则称为Slurp。这个探测器实际上是人们编制的计算机程序,由它不分昼夜地进入访问各个网站,取回网站内容、标签、图片等,然后依照搜索引擎的算法给它们制定成索引。所以,这可不是“爬行”而是以光速来访问的。

一个搜索引擎会同时派遣出许多探测器。这些“机器人”或者从站主直接呈递的网站URL去访问,或者由一个网络用户所装的搜索引擎工具栏(比如Google工具栏)得知用户去的网站,或者是从一个网站中指向另一个网站的链接过去。探测器不一定是从网站的首页进入访问,所以,如果你要探测器访问你的其他网页,那么这个进入页就需要和其他网页相连。达到这个目的最容易的办法就是在每一页都加入指向首页的链接。

搜索引擎.png

编辑搜图

请点击输入图片描述

但是,探测器对许多网站是不能完整取回信息的,这个大多是由于网站的设计没有按照搜索引擎探测器的思路来进行优化。比如,如果一个网页比较大,探测器也只能截取网页的首部,而且只能跟着少量的链接走。Google目前能够吸收100KB的文件,Yahoo会多一点。这个可以通过实验来检验。将一个搜索关键词放在一个很长的网页(约160KB)最后部分,然后看Google的缓存(cache)中显现网页的大小是多少。如果不出意料,Google的cache说这个网页只有101KB。很显然,一部分内容没有被Google抓走。

这个现象告诉我们不要将网页设计得很长、很大。将大的网页拆成若干小的网页具有多个好处:· 使得网页容易被探测器抓取。· 更容易建立合理的网站内部链接关系。· 每个网页可以更加集中在重要的关键词语。· 节省服务器的带宽。· 方便浏览者的阅读。如何将网站设计得更加方便搜索引擎来访,是搜索引擎优化的重要应用技术。

Google的Freshbot和Deepbot

Google使用两个探测器来抓取网站上的内容:Freshbot和Deepbot。深度探测器(Deepbot)每月出击一次,受访内容在Google的主要索引之中。刷新探测器(Freshbot)是持续不断地发现新的内容,例如新的网站、论坛、博客等。看起来,Google是发现了一个新的网页,之后频繁地再访,来看看是否还有什么新的更新。如果有,这个新网站就被加入到刷新探测器的名单中进行访问。

刷新探测器取得的结果是汇编到一个单独的数据库里,每一次刷新探测器进行新的一轮循环的时候都被重写。刷新探测器和Google主要的索引是合在一起提供搜寻结果的。这就是说,新的信息可能很快出现在搜索结果中然后就消失,直至一两个月后在Google主要索引中重新浮现。如果一个网页在Google主要索引中已经存在,刷新探测器取得的关于这一页的更新结果会出现几天,然后又退回原来的版本,直到深度探测器来访问这一页。我们知道的Google Dance——Google大规模调整索引的行动,就发生在深度探测器出访之后。

收录到排名的全过程.png

这个Google的操作模式就是收集-采编/索引-反馈的工作程序。事实上,搜索引擎包括下列几个元素。

· 抓取状态:搜索引擎派出探测器到互联网上不知疲倦地搜集网页。

· 网页仓库:搜索来的网页要集中在一个地方储存,等候索引处理。

· 索引整理:将网页分门别类,进行压缩,等候进行索引编类,而未压缩的原始网页资料被删除。

· 问询状态:将用户问询所用的白话转变成搜索引擎读懂的计算机语言,来咨询各个索引求得相关答案。

· 排名状态:搜索引擎将相关答案根据一定的标准以单子的形式排列给用户。搜索引擎认为最好的答案被推荐在首位,较次的排列随后,依此类推。

下面我们具体了解搜索引擎如何收录网站、遵循什么标准来排名,以及给搜索引擎优化从事者的挑战。

TAG标签: url

登录 后发表评论
0条评论
还没有人评论过~
seo培训

Ta的文章 更多 >>

  • 搜寻引擎最佳化提升网站排名的优化关键
    0 个评论
  • 网站前期怎么快速参与首页排名
    0 个评论
  • 百度指数如何挖掘用户最关心的长尾关键词?
    0 个评论
  • SEO优化11个技巧提升网站搜索引擎自然流量
    0 个评论
  • 百度搜索算法排序规则最新揭秘,2021年SEO避雷指南
    0 个评论
  • 关键词排名研究怎么才能网站内容
    0 个评论
  • 高质量的网站文章SEO怎么编写?
    0 个评论
  • 年末百度发布视觉算法最强基石PaddleClas全新升级
    0 个评论

热门文章

  • roi是什么意思? roi计算公式介绍!
    0 个评论
  • 如何在WordPress中批量替换图片路径?
    0 个评论
  • SEO人必备的关键词挖掘工具推荐
    0 个评论
  • 提升网站排名必备!7个查看和检查SEO流量的实用工具分享!
    0 个评论
  • 如何提升网站在神马SEO的排名?神马搜索引擎优化技巧有哪些?
    0 个评论
  • 顶Tag是什么意思?具体应该怎么去操作才能有效
    0 个评论
  • 什么是死链?如何处理网站死链接?
    0 个评论
  • 网站改版后如何优化?11个SEO优化技巧分享!
    0 个评论
  • 博客网站SEO优化技术操作细节分享
    0 个评论
  • 单页面网站SEO优化的利弊!如何去做单页面网站SEO优化?
    0 个评论

玻璃钢生产厂家宜宾玻璃钢花槽哪家好亳州玻璃钢摆件制作山南玻璃钢动物雕塑厂家绍兴玻璃钢种植池制造松原玻璃钢花坛制造大庆玻璃钢座椅公司安庆玻璃钢花坛定制石家庄商业美陈加工温州玻璃钢制品生产厂家贵州玻璃钢花瓶定制绵阳玻璃钢餐桌椅厂家河源玻璃钢制品厂家四川玻璃钢天花吊顶制作淄博玻璃钢卡通雕塑定制黄石玻璃钢动物雕塑价格荆州玻璃钢公仔雕塑生产厂家廊坊玻璃钢座椅定做泰安玻璃钢花瓶榆林玻璃钢餐桌椅德州玻璃钢装饰造型批发金昌玻璃钢浮雕定做茂名玻璃钢坐凳加工宜昌玻璃钢树池定做漳州玻璃钢雕塑生产厂家保定玻璃钢卡通雕塑生产厂家辽阳不锈钢家具公司衢州玻璃钢花瓶厂家玉溪玻璃钢装饰工程定做柳州玻璃钢花坛制造洛阳玻璃钢景观雕塑厂家香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声卫健委通报少年有偿捐血浆16次猝死汪小菲曝离婚始末何赛飞追着代拍打雅江山火三名扑火人员牺牲系谣言男子被猫抓伤后确诊“猫抓病”周杰伦一审败诉网易中国拥有亿元资产的家庭达13.3万户315晚会后胖东来又人满为患了高校汽车撞人致3死16伤 司机系学生张家界的山上“长”满了韩国人?张立群任西安交通大学校长手机成瘾是影响睡眠质量重要因素网友洛杉矶偶遇贾玲“重生之我在北大当嫡校长”单亲妈妈陷入热恋 14岁儿子报警倪萍分享减重40斤方法杨倩无缘巴黎奥运考生莫言也上北大硕士复试名单了许家印被限制高消费奥巴马现身唐宁街 黑色着装引猜测专访95后高颜值猪保姆男孩8年未见母亲被告知被遗忘七年后宇文玥被薅头发捞上岸郑州一火锅店爆改成麻辣烫店西双版纳热带植物园回应蜉蝣大爆发沉迷短剧的人就像掉进了杀猪盘当地回应沈阳致3死车祸车主疑毒驾开除党籍5年后 原水城县长再被查凯特王妃现身!外出购物视频曝光初中生遭15人围殴自卫刺伤3人判无罪事业单位女子向同事水杯投不明物质男子被流浪猫绊倒 投喂者赔24万外国人感慨凌晨的中国很安全路边卖淀粉肠阿姨主动出示声明书胖东来员工每周单休无小长假王树国卸任西安交大校长 师生送别小米汽车超级工厂正式揭幕黑马情侣提车了妈妈回应孩子在校撞护栏坠楼校方回应护栏损坏小学生课间坠楼房客欠租失踪 房东直发愁专家建议不必谈骨泥色变老人退休金被冒领16年 金额超20万西藏招商引资投资者子女可当地高考特朗普无法缴纳4.54亿美元罚金浙江一高校内汽车冲撞行人 多人受伤

玻璃钢生产厂家 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化