2026年中，一份针对AI搜索影响的市场报告显示，当搜索结果中出现AI摘要时，只有8%的用户会点击下方常规链接。对于独立站来说，这意味着超过九成的自然流量可能根本不会进入你的落地页。这不是未来的假设，而是正在发生的变化。

面对流量蒸发，恐慌和追新都不是第一反应。真正能稳住阵脚的做法，是回到技术SEO的各个层面，确认网站基础设施是否已经达到2026年的标准。以下是一份按优先级排序的审核清单，每个点都包含具体的检查方法和操作建议，适合作为下一轮站内审计的工作底稿。

一、基础标签与安全审查

检查内容：

  • HTTPS 部署：确保全站强制使用 HTTPS，包含所有子域名。根据 2025 年的扫描数据，超过 91% 的站点已采用，如果你的网站还在使用 HTTP，会被浏览器标记为不安全，排名也会受影响。
  • Title 标签：每个页面必须有独立且描述性的 Title。即便在 AI 摘要环境下，标题仍然决定了用户是否愿意在摘要以外进行点击。
  • Viewport Meta 标签：超过 93% 的页面已正确设置该标签，它确保页面在移动设备上按正确比例显示。缺少这个标签的页面在移动搜索中会吃亏。
  • Canonical 标签：约 67% 的页面设置了规范标签，这意味着还有 33% 的页面缺乏索引指引。重复内容因此可能出现，搜索引擎不知道应该把权重给哪个版本。

**操作：**使用 Screaming Frog、Site Audit 等工具导出完整列表，针对缺失项进行批量补充。每次内容更新后重新扫描一次。

二、爬虫控制策略审查

Robots.txt 不再只是简单的爬虫管理文件，它已成为策略文档。

  • 明确 AI 爬虫列表：检查 robots.txt 中是否明确列出了 GPTBot、ClaudeBot、CCBot、Petalbot 等 AI 爬虫。数据显示，GPTBot 的出现率在一年内增长了 55%，其他 AI 爬虫也都接近翻倍。
  • 决定允许或阻止：如果内容独有且不希望被 AI 训练利用，可以 Disallow 所有 AI 爬虫。如果希望被引用以获取品牌露出，则允许并配合后文的 llms.txt 控制细节。
  • 清理旧的爬虫指令：许多网站的 robots.txt 仍然包含 msnbot 等早已淘汰的爬虫名称，这没有害处但也会增加文件长度，建议清理。
  • 检查插件默认规则：部分 SEO 插件会在初次激活时自动写入 AI 爬虫规则。如果与你的策略不符，需要手动编辑。

**操作：**访问 yourdomain.com/robots.txt，逐行分析。结合你的内容价值和带宽来决策。

三、LLMs.txt 文件策略审查

llms.txt 是 2025 年新兴的标准，指导大语言模型如何提取内容。它的采用率从年初的 0.015% 跃升至年底的 2%，主要归功于 SEO 插件默认启用。

  • 检查是否存在：直接访问 yourdomain.com/llms.txt。如果存在，查看文件内容。很多插件默认生成的文件包含了几乎所有页面的摘要，这可能不是你想要的全部。
  • 调整内容：文件通常包含一个简短描述和一组链接（参考页面）。你可以只保留主要的内容页面，去除管理后台或非公开页面。
  • 决定是否启用：对于内容型站点，启用可以增加被 AI 模型引用的可能。但对于产品有限定范围的站点，关闭可能更安全。
  • 注意默认插件：如 All in One SEO（AIOSEO）默认开启，Yoast 和 Rank Math 默认为关闭状态。检查你的设置。

**操作：**在插件设置中找到 llms.txt 选项，根据策略自定义或关闭。手动创建时，参考 llmstxt.org 的规范。

四、结构化数据与 FAQ Schema 审查

结构化数据帮助搜索引擎和 AI 理解页面内容。

  • 审查 Schema 类型：你的站点使用了哪些类型？Product、Article、BreadcrumbList、FAQPage？过量使用 FAQPage 而不对应实际 FAQ 内容可能被视为低质量。
  • FAQPage schema 的处理：尽管 Google 不再广泛显示 FAQ 富媒体片段，但 schema 本身仍有助于 AI 对内容分类。如果你有真实的 FAQ，保留 schema；如果仅为 SEO 添加，可以考虑移除。
  • 验证正确性：使用 Google 富媒体测试工具检查，确保没有错误。过时的属性（如某些评级扩展）可能会产生警告。
  • 避免混淆：不要在同一页面使用多个相同类型的 Schema，以及确保指向上正确。

**操作：**使用测试工具检查核心页面，移除不相关的 Schema。重点维护 Article、Product 等对搜索影响较大的类型。

五、移动性能与媒体加载审查

性能直接影响用户体验和搜索排名，2025 年移动端与桌面端之间的性能中位差距仍然存在。

  • Lighthouse 移动端报告：关注 Largest Contentful Paint（LCP）和 Cumulative Layout Shift（CLS）。得分不是全部，但值得作为基准。
  • 图片和 iframe 延迟加载：数据显示，67% 的图片和 91% 的 iframe 没有设置 loading 属性。这导致首屏加载过多资源，尤其在移动端。
  • 批量添加 loading=“lazy” ：对于所有非首屏图片和 iframe，添加此属性。注意首屏关键资源不应延迟。
  • 压缩与 CDN：确保图片格式为 WebP 或 AVIF，启用 CDN 缓存静态资源。

**操作：**使用工具扫描全站，找出缺失 loading 属性的资源，通过正则替换或 CMS 函数批量添加。

六、弃用与陈旧标记清理

过时的标签和混乱的语法可能不会直接导致降权，但会使网站显得老旧，可能干扰爬虫判断。

  • 清理 robots.txt：移除旧 bot 名称（如 msnbot、inktomi 等）。保留它们没有好处，只会增加文件体积。
  • 移除 AMP 标签：AMP 已经停止工作，如果你仍有 AMP 页面，确保规范标签指向标准页面，并逐步迁移。
  • 清理无效 meta 标签：keywords meta 标签已不被主流搜索引擎使用，可以全部删除。meta robots（index, follow）是隐含默认，除非你设置为 noindex，否则可以移除。
  • 审查 HTML 错误：无效的 head 元素（如缺失字符集声明）在移动和桌面扫描中仍有出现，修复它们。

**操作：**运行 W3C HTML 检查器，修正所有错误。使用爬虫工具检测 AMP 页面，制定迁移计划。

七、重复内容与规范标签覆盖

规范标签是最直接的内容去重手段，但覆盖率仍有限。

  • 识别重复页面：搜索爬虫可能通过参数、大小写、HTTP/HTTPS、Www/non-www 等产生重复。使用爬虫工具中的重复内容检测。
  • 补充规范标签：对于每个重复簇，确保权威版本正确设置了 rel=“canonical”。当前仍有约 33% 的页面缺失。
  • 使用参数处理：在 Google Search Console 中设置 URL 参数处理方式，同时配合规范标签。
  • 跨域规范：如果移动版和桌面版使用不同 URL，确保互设规范标签。

**操作：**列出所有缺少规范标签的页面，按优先级补充。重点处理流量高的重复内容页。

常见问题

我应该完全阻止 AI 爬虫吗？

看你的内容目的。独家、高价值内容建议完全阻止以保护数据。如果网站是媒体或知识库，允许 AI 爬虫可以换回品牌曝光，但配合 llms.txt 控制引用范围。没有绝对正确，需要定期评估。

如何检查我的 llms.txt 是否被插件控制？

直接访问 yourdomain.com/llms.txt。如果存在，检查其内容。然后去插件设置搜索引擎，找到 “LLMs.txt” 相关选项，选择自定义或禁用。

FAQ Schema 还能带来点击率吗？

Google 自 2023 年后已经几乎不显示 FAQ 片段，因此单独为了点击率添加效果不大。但如果页面本身包含 FAQ 内容，保留 schema 有助于内容结构，可能被 AI 产品用于回答生成。所以，保留真实的 FAQ Schema，不要为 SEO 创造虚假 FAQ。

性能评分很高后还需要优化吗？

Lighthouse 评分在实验室环境下取得，不代表真实用户。建议使用 WebPageTest 测试 3G 网络条件下的表现，关注 LCP 是否在 2.5 秒内。移动端弱网环境依然存在，优化永远不会嫌多。

以上七个审查点构成了 2026 年一次有效的技术 SEO 审计。你不需要一次全部完成，但每个点都能带来边际收益。当 AI 搜索持续改变用户行为时，扎实的技术基础能让你的网站在智能代理和经典搜索引擎中都有更好的表现。