如何消除蜘蛛陷阱以提升网站SEO收录效果

hwyzw

    “蜘蛛陷阱”是阻止蜘蛛程序爬行网站的障碍。它们通常是显示网页的技术方法。目前许多浏览器在设计时都会考虑这些因素，因此网页界面可能看起来很正常，但这些蜘蛛陷阱会给蜘蛛程序造成障碍。如果消除了这些蜘蛛陷阱，蜘蛛程序就可以包含更多网页。在SEO工作中，网页的收录是基本任务，但对于搜索引擎来说，你网站所有网页100%被收录的情况是很少见的。无论搜索引擎爬虫程序多么复杂，都很难克服所谓的蜘蛛陷阱。

    6个蜘蛛陷阱

    1、登录要求：部分企业网站和个人网站必须注册登录后才能看到相关文章内容。这种团队蜘蛛不太友好，蜘蛛不会注册或登录。

    2. 动态URL 什么是动态URL，什么是静态URL？简单来说，带有问号、等号和参数的URL就是动态URL。动态URL不利于搜索引擎蜘蛛的抓取和抓取。

    3、强制使用。为了让用户记住登录信息，一些网站管理员强迫用户使用。如果开启，将无法访问，访问页面也无法正常显示。此方法将阻止蜘蛛访问。

    4、框架结构。首先站长们，你们知道框架结构的世界是什么吗？如果你不知道，那么恭喜你，你已经避开了这个蜘蛛陷阱，而且你不需要了解它，所以我不会对框架结构的设计做任何介绍。

    5、对于搜索引擎来说，各种跳转只对301跳转比较友好，对其他形式的跳转比较敏感，比如跳转、跳转、Flash跳转、302跳转等。有些网站的做法非常令人沮丧。当你打开一个网页时，你会后悔并自动重定向到其他页面。即使你打开的页面与你要查找的主页很接近，也没关系。但是，大多数网站重定向允许您在没有任何原因或目的的情况下进行重定向。不建议所有人使用这种重定向。如果必须做重定向，只建议使用301永久跳转，可以转移权重。除了此重定向之外，不建议这样做。因为它使用了很多其他的方法来欺骗用户和搜索引擎，这也是一种手段，所以建议大家不要使用，避免网站被K。

    6、Flash 有些网站页面使用Flash视觉效果是很正常的，比如用Flash制作的标志、广告、图表等。这些对于搜索引擎抓取和收录来说都是没有问题的。很多网站的主页都是一个很大的Flash文件，这种称为蜘蛛陷阱，在被蜘蛛爬行时，HTML代码中只有一个链接，没有任何文字。虽然大的Flash效果看起来非常好，外观也很漂亮，但遗憾的是搜索引擎看不到它，读取不到任何内容。因此，为了体现网站最佳的优化效果，首页图片不建议使用此类Flash。 [1]

    如何避免

    1：使用ID的页面。一些销售网站会使用会话 ID 来跟踪用户，以便分析有关用户的某些信息。当访问站点时，每个用户都会添加一个ID并将其添加到URL中。每次蜘蛛访问该站点时，该 ID 都会添加到 URL 中。该访问也将被视为新用户。蜘蛛每次访问该 URL 时都会添加一个 ID。这将产生相同的页面但不同的 URL。这会产生重复的内容页面，导致高度重复的内容页面也是最常见的蜘蛛陷阱之一。例如，有些网站为了提高销售业绩，进行弹窗对话，比如你好，来自XXX的朋友等。

    2：使用强制注册或登录来访问页面的常识性蜘蛛陷阱。这对于蜘蛛来说是相当困难的，因为蜘蛛无法提交注册，更不用说输入用户名和密码登录查看内容了。对于蜘蛛来说，我们点击直接查看的内容也是蜘蛛能够看到的内容。

    3：我喜欢使用 Flash 的网站。我之所以说喜欢使用flash的网站，是因为对于一些中小企业来说，因为flash本身可以做很多种效果，尤其是用在导航上的时候，有很强的视觉效果，所以很多企业网站喜欢用flash来展示自己公司的实力、文化、产品等，甚至有的公司网站的首页也是flash。它要么在一段时间后通过flash跳转到另一个页面，要么允许用户点击flash上​​的链接进入新页面。但对于蜘蛛来说，要读取flash中的内容是困难的，因此蜘蛛点击flash上​​的链接也是困难的。

    4：动态URL，在URL中添加过多的符号或者URL参数等。这种蜘蛛陷阱我在URL优化中已经提到过。虽然随着搜索引擎的技术发展，动态URL对于蜘蛛的爬行来说已经不太有效了。它已经变得越来越不成问题，但就搜索引擎友好性而言，静态甚至伪静态 URL 相对比动态 URL 更好。你可以看看有多少SEO同事处理URL。

    5：框架，早期框架在各地都被广泛使用，但现在很多框架网页的网站已经很少使用了。首先，随着各大CMS系统的发展，网站维护变得相对容易。早期的网站之所以使用框架，是因为它方便维护网站页面。不再需要了。而且不利于搜索引擎收录，也是框架越来越少使用的原因之一。

    6：JS，虽然现在搜索引擎使用javas脚本中的链接可以被追踪甚至试图被反汇编分析，但是我们最好不要指望搜索引擎能够自行克服困难。虽然通过js可以完成一些有效的导航，但是css也可以做到；为了提高网站对搜索引擎的友好性，建议如果网页能够更好地被蜘蛛抓取的话，尽量不要使用js。当然，在SEO中，js的一个好处就是站长不希望被收录的页面或者友好链接都可以使用js。消除  蜘蛛陷阱的另一种方法是使用标签。标签为不支持  的浏览器提供替代代码。蜘蛛不执行 ，因此它们处理代码。

    7：深层网页，有些没有入口，距离网站首页较远，蜘蛛爬行相对困难。当然，对于那些权重高的网站来说可能就另当别论了。要包含一个网站页面，它首先必须有一个基本权重。一般首页的权重是最高的，然后可以将首页的权重传递给内页。当内部页面的权重上升到可以被收录的阈值时，页面就会按照这个理论，页面之间的权重转移就会减少。因此，内页与首页的点击距离越近，越容易在首页获得更多的权重转移。一个好的网站结构可以让网站包含更多的页面。

    8：强制使用相当于直接对搜索引擎禁用。有些网站为了实现某些功能，会采取强制的方式，比如跟踪用户访问路径、记住用户信息，甚至窃取用户隐私。如果用户在访问此类站点时不启用它，则显示的页面将出现异常，从而导致同一网页无法被蜘蛛正常访问。

    9：各种形式的跳跃。相信很多SEO小伙伴对于301重定向已经非常熟悉了。不过，蜘蛛对于其他302，或者meta、、flash等跳转非常反感，301也不是不得已而为之。使用时，任何跳跃都会在一定程度上对蜘蛛的爬行造成障碍，所以你懂的。

    10：.txt书写错误和各种作弊技术，如隐藏文本、隐藏链接等，利用伪装网页显示不同的网页来判断访问者是蜘蛛还是普通浏览器，并使用默认错误404页面等，也会给蜘蛛造成爬行障碍。

    11：需要登录：有些网站内容放置在会员区，需要用户登录后才能看到。这部分内容是搜索引擎无法看到的。蜘蛛无法填写用户名和密码，不会注册。 [2]