官方服务微信:dat818 购买与出租对接

爬虫抓取与链接页面关联:nofollow 作用及元机器人标签的使用

2万

主题

2

回帖

7万

积分

管理员

积分
78595
发表于 2024-11-18 13:31:05 | 显示全部楼层 |阅读模式
    爬虫通常会爬行其已访问的页面内的链接页面。

    有时,您可能希望阻止链接的网页与您的网站关联,或者不从当前页面对其进行爬网。在这种情况下,您可以将该值作为 rel 属性传递:

<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'>    <pre><code class="hljs language-html" lang="html"><span class="hljs-tag"><<span class="hljs-name">a</span> <span class="hljs-attr">href</span>=<span class="hljs-string">"https://example.com"</span> <span class="hljs-attr">rel</span>=<span class="hljs-string">"nofollow"</span>></span>
</code></pre></p>
    然而,谷歌宣布,从 2020 年开始,他们只是将此视为提示,而不是规则。因此,使用链接页面只会向暗示您不希望被抓取;  可能会也可能不会决定按照您的意愿行事。

    如果您不希望爬虫程序跟踪您的任何链接,您可以在您的元机器人标签上使用一行来指示它们:

<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'>    <pre><code class="hljs language-html" lang="html"><span class="hljs-tag"><<span class="hljs-name">meta</span> <span class="hljs-attr">name</span>=<span class="hljs-string">"robots"</span> <span class="hljs-attr">content</span>=<span class="hljs-string">"nofollow"</span>></span>
</code></pre></p>
    结构化数据

    您可能已经看到有时搜索结果页面如何以特殊格式显示结果。例如,如果您在  上搜索“意大利面食谱”,结果页面将显示特殊卡片,其中包含指向不同食谱页面的链接:

     上的搜索结果卡示例

    谷歌和大多数其他搜索引擎使用网页中提供的结构化数据来检索数据以显示此类特殊功能。

    用于编写结构化数据的词汇表大多与 中定义的词汇表类似。但是,您应该查阅搜索引擎的文档以查看其接受的确切格式。如果您正在针对  进行优化,则可以使用  的丰富结果测试来测试和验证您的结构化数据。

    现在,让我们看看如何使用网页上的结构化数据向  提供有关其内容的正确信息。

    如果我们的网页是菜谱页面,您可以使用以下以 JSON-LD 格式编写的结构化数据来提供菜谱的名称、作者、评级和其他相关数据:

<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'>    <pre><code class="hljs language-html" lang="html"><span class="hljs-tag"><<span class="hljs-name">html</span>></span>
  <span class="hljs-tag"><<span class="hljs-name">head</span>></span>
    <span class="hljs-tag"><<span class="hljs-name">title</span>></span>Italian Pasta Recipe<span class="hljs-tag"></<span class="hljs-name">title</span>></span>
    <span class="hljs-tag"><<span class="hljs-name">script</span> <span class="hljs-attr">type</span>=<span class="hljs-string">"application/ld+json"</span>></span><span class="javascript">
    {
      <span class="hljs-string">"@context"</span>: <span class="hljs-string">"https://schema.org/"</span>,
      <span class="hljs-string">"@type"</span>: <span class="hljs-string">"Recipe"</span>,
      <span class="hljs-string">"name"</span>: <span class="hljs-string">"Italian Pasta Recipe"</span>,
      <span class="hljs-string">"author"</span>: <span class="hljs-string">"Jane Smith"</span>,


      <span class="hljs-string">"image"</span>: <span class="hljs-string">"https://cdn.pixabay.com/photo/2016/12/26/17/28/food-1932466_960_720.jpg"</span>,
      <span class="hljs-string">"description"</span>: <span class="hljs-string">"An easy Italian pasta recipe."</span>,
      <span class="hljs-string">"aggregateRating"</span>: {
        <span class="hljs-string">"@type"</span>: <span class="hljs-string">"AggregateRating"</span>,
        <span class="hljs-string">"ratingValue"</span>: <span class="hljs-string">"4.5"</span>,
        <span class="hljs-string">"reviewCount"</span>: <span class="hljs-string">"123"</span>,
        <span class="hljs-string">"bestRating"</span>: <span class="hljs-string">"5"</span>,
        <span class="hljs-string">"worstRating"</span>: <span class="hljs-string">"3"</span>
      },
      <span class="hljs-string">"prepTime"</span>: <span class="hljs-string">"PT30M"</span>,
      <span class="hljs-string">"totalTime"</span>: <span class="hljs-string">"PT1H"</span>,
      <span class="hljs-string">"recipeYield"</span>: <span class="hljs-string">"4"</span>,
      <span class="hljs-string">"nutrition"</span>: {
        <span class="hljs-string">"@type"</span>: <span class="hljs-string">"NutritionInformation"</span>,
        <span class="hljs-string">"calories"</span>: <span class="hljs-string">"430 calories"</span>
      }
    }
    </span><span class="hljs-tag"></<span class="hljs-name">script</span>></span>
  <span class="hljs-tag"></<span class="hljs-name">head</span>></span>
  <span class="hljs-tag"><<span class="hljs-name">body</span>></span>
  <span class="hljs-tag"></<span class="hljs-name">body</span>></span>
<span class="hljs-tag"></<span class="hljs-name">html</span>></span>
</code></pre></p>
    页面加载速度

   


    页面加载速度是为用户提供更好的用户体验的主要方面之一。

    谷歌在2018年进行的一项调查发现,当页面加载时间从1秒变为3秒时,跳出概率增加了32%,而当页面加载时间从1秒变为5秒时,跳出概率增加了90%。

    由于页面速度对用户体验的重要性,谷歌开始将其作为其排名算法中的排名因素。现在,提高的页面加载速度是您的网页在  结果页面上排名更高的原因。

    虽然网页加载速度很快很重要,但让用户感觉加载速度很快也很重要。您必须减少某些内容在页面上显示的时间,以吸引用户的注意力,而其他内容则在后台加载,以使用户感觉您的页面加载速度更快。

     是衡量网站性能的绝佳工具。其性能分数不仅仅基于完美网络条件下的实际页面速度。它会考虑您的网站在糟糕的 3G 连接上的表现。是一个很好的工具,用于测量实际用户的页面加载时间。

    您可以使用多种方法来提高网页的加载速度:

    移动友好性

    当大多数在线内容都采取移动优先的方法时,谷歌也采取了行动,将网页的移动友好性纳入其排名算法中。

    适合移动设备的网站可以为移动用户提供更好的用户体验。当通过手机访问网络的用户数量达到历史最高水平时,改造网络应用程序以更好地服务移动用户应该是理所当然的事情。

    您可以采取三项主要措施来使您的网站更加适合移动设备。

    使用响应式设计

    将您当前的设计转换为响应式设计,对现有代码库的影响最小。

    您可以通过设置新的视口元标记并调整 CSS 使其更灵活地适应不同的屏幕分辨率,从而使您的网页设计具有响应能力。

    使用动态设计

    动态设计在检测到所请求内容的用户代理类型后,向移动和桌面用户提供不同的 HTML 内容。与响应式设计相比,它需要更多的努力来实现,因为它需要为移动和桌面用户以不同的方式呈现页面。

    使用移动子域

    某些 Web 应用程序为移动用户使用单独的子域。通常,子域的名称类似于 或 。这种方法需要更多的时间和精力来实施。对于中小型网站,通常不建议使用此方法,特别是如果您没有两个不同版本的网站。

    综上所述

    虽然担心 SEO 似乎不属于网站开发人员的工作描述范围,但我希望本文能让您相信考虑 SEO 是向客户提供完整的 Web 应用程序的必要条件。

    虽然本文提到了网络开发人员应该关注的 SEO 最重要的方面,但其他几个技术因素也在排名算法的决策中发挥着作用。

    作为网络开发人员掌握 SEO 的下一步是研究更多技术性 SEO 实践,并使用它们使您的网站排名在搜索结果页面的顶部。

    感谢您的阅读!

更多帖子推荐

您需要登录后才可以回帖 登录 | 立即注册

Archiver|手机版|小黑屋|关于我们

Copyright © 2001-2025, Tencent Cloud.    Powered by Discuz! X3.5    京ICP备20013102号-30

违法和不良信息举报电话:86-13718795856 举报邮箱:hwtx2020@163.com

GMT+8, 2025-4-17 00:34 , Processed in 0.101440 second(s), 18 queries .