上个月帮一个做装修的朋友看了下他的新网站。花了三万多找外包做的,上线三个月,百度一条都没收录。我打开后台一看,robots.txt 里写着一行 Disallow: /——全站禁止爬虫。开发公司交付的时候忘了改测试环境的配置。

这种低级错误其实很常见。跑了这么多年建站和 SEO,我总结了五个最容易踩的坑,分享出来帮大家省点钱。

坑一:robots.txt 直接封死全站

这个问题比我以为的普遍得多。原因通常是开发公司在测试环境加了 Disallow: /,上线时忘记改回来。或者站点从别的 CMS 迁移过来,旧的 robots.txt 里屏蔽了原来 CMS 的路径前缀(比如 Z-Blog 的 /post/),新 CMS 恰好也用同样的路径,结果所有文章页面都被屏蔽了。

上线的第一件事就是 curl 一下 robots.txt 看看有没有不合理的 Disallow 规则。同时检查 sitemap 指向是否正确。WordPress 的站点直接用 /wp-sitemap.xml 就够了,不需要手动生成。

坑二:404 页面全部 301 跳首页

这个算是 SEO 界的经典反模式了。有些开发者觉得 404 页面不好看,就把所有不存在的页面 301 跳转到首页。结果呢?百度蜘蛛爬到死链,收到一个 301,以为这个页面永久移动到了首页,下次继续来爬,又收到 301——循环往复,把每天的爬取配额全部耗在了死链上。

正确做法:对搜索引擎爬虫返回 410 Gone(表示页面已永久删除),对普通用户返回 404 页面或者温和地跳转。Nginx 里加几行配置就能搞定。

坑三:移动端体验完全不管

百度从 2023 年开始就全面转向移动优先索引了。一个网站在手机上打开要等五秒、字体小到看不清、按钮点不到——这种站在百度眼里基本等于不存在。

测试方法很简单:用手机打开你自己的网站,关掉 WiFi 用 4G 网络试试。加载超过 3 秒就是问题。最常见的优化手段:图片压缩成 WebP 格式、用 CDN、减少不必要的 JS 插件、开启 Gzip 压缩。这些都不是什么高科技,但很多建站公司就是懒得做。

坑四:内容写完从来不更新

很多企业站上线时一口气发了二三十篇文章,然后就再也没有更新过。百度看到的就是一个死站——没有新内容、没有更新时间、蜘蛛来了几次就不来了。

不需要每天更,但至少保持每月有几篇新文章,或者定期翻新老内容。翻新的做法很简单:找到最早发布的文章,补充最新的信息,改一下发布时间。这对搜索引擎来说就是新鲜内容的信号。

坑五:不配百度推送也不提交 Sitemap

百度站长平台提供的 URL 推送接口,每天可以主动推送 10 条新链接给百度。这相当于你主动告诉百度我发新文章了,快来看。不用这个功能,百度发现你的新内容可能要等好几天甚至好几周。

配置也不复杂:在服务器上写个 cron 定时任务,每天自动查最近 24 小时的新文章 URL,通过 API 推送给百度。ZB 和 WP 都有现成的推送脚本模板,十分钟就能部署好。

说到底,建站 SEO 没那么玄乎。大部分问题都是基础的配置错误,不是排名算法的问题。网站上线后花半天时间把以上五点检查一遍,能避免 80% 的收录问题。