没有不值得去解决的问题,也没有不值得去学习的技术!

A Tour of Go 搜索引擎收录实测:从 Google 自然索引到百度主动提交与 Bing IndexNow

【图 3:百度剩余 9 个核心 URL 提交成功,remain 归零】

作者:

A Tour of Go 多语言翻译项目

图3:访问过去的 Go Tour 简体中文站 tour.go-zh.org 时,当前已经无法正常建立连接。

(1) 从「A Tour of Go 中文版」这个搜索词开始:我决定做一个持续维护的 Go Tour 中文版

本地运行的 A Tour of Go「Methods continued」课程页面,左侧为课程说明,右侧为 Go 代码编辑器及运行结果。

(2) A Tour of Go 中文版项目设计冻结:从 101 页到 103 页,从 Gin 转向 Cobra CLI

A Tour of Go 中文版开发实战:英文基线、在线运行与 101 页上游同步体系

(3) A Tour of Go 中文版开发实战:英文基线、在线运行与 101 页上游同步体系

go-tour-i18n 项目完成首个简体中文课程页面 welcome/1 的整页翻译、结构校验和本地预览。

(4) A Tour of Go 多语言翻译项目实录:完成首个 zh-CN 页面翻译闭环

图 1:DeepSeek 官方更新日志显示,本次只更新 DeepSeek-V4-Flash,DeepSeek-V4-Pro API 与 APP、Web 模型均未更新

(5) A Tour of Go 中文翻译项目进展:完成前 8 页、修复 present 语法,并暂缓 DeepSeek 对比

图 1:generics/1 简体中文页面本地预览

(6) 一个页面重试五次:使用 GLM-5.2 翻译 A Tour of Go 时遇到的 Token 与 Present 结构问题

图 1:methods/16 简体中文页面浏览器预览

(7) A Tour of Go 中文翻译实录:如何只翻译教学代码注释,而不破坏 Go 代码

图 2:A Tour of Go methods/20「练习:错误」中文候选页面最终渲染效果

(8) A Tour of Go 多语言翻译:当正确的中文语序被受保护标记顺序校验误判

图 3:methods/24 中文页面,静态代码、Bounds 行内代码和链接内的 image.Rectangle 均正确渲染

(9) A Tour of Go 中文翻译完成 7 个代表页校准:最后 3 页又发现了哪些真实问题

图 2:首批 10 个普通页面经过试跑与流程校准后全部进入 ready

(10) A Tour of Go 多语言翻译项目:首批 10 个普通页面试跑,从 2 个 blocked 到全部 ready

图 2:flowcontrol/6 最终中文页面,return 与 v 为适应自然中文语序发生整体换位

(11) A Tour of Go 中文翻译第二批实跑:从 Inline Code 顺序误判到历史响应重新验证

图 1:flowcontrol/6 首次原始输入实验直接通过统一自动校验

(12) A Tour of Go 多语言翻译项目:从 swap 问题重新审视 Token 保护,原始输入与最小保护的一次真实实验

图 7:moretypes/1 最终中文页面预览。左侧课程正文、静态代码块、行内代码和教学注释均正常渲染,右侧官方 Go 示例继续保持原样。

(13) A Tour of Go 多语言翻译实战:第三批 10 页全部 Ready,继续校准 Protected Token 的结构角色

图 4:上游源码确认共有 103 个课程页面,zh-CN 最终达到 ready=103、pending=0、blocked=0

(14) A Tour of Go 多语言翻译项目:zh-CN 103 个课程页面全部 ready,课程正文翻译阶段完成

图 4:GitHub 与 ChatGPT 已成功连接

(15) ChatGPT 连接 GitHub 实测:让 AI 直接读取 go-tour-i18n 仓库参与译文审核

图 3:中文 Go 术语校准完成后,将确定的译法写入 zh-CN glossary

(16) 为什么 channel 最终选择“通道”:A Tour of Go 中文术语统一的一次实践

图 1:技术含义基本正确,但“返回一个返回……”已经明显影响阅读,因此仍被列入 C 类修订

(17) 103 页逐页审核后,只返修 16 页:A Tour of Go 中文正文发布前质量审计

图 2:中文课程页面以及已经完成本地化的编辑器控制区

(18) A Tour of Go 多语言翻译项目:公共 UI 本地化完成,从课程译文走向完整中文界面

图 2:完整 zh-CN 正式投影成功生成,103 个课程页面被重新组装为 7 个 .article

(19) 从 103/103 ready 到完整站点验收:A Tour of Go 中文版补齐正式投影与课程元数据本地化

图 3:从 production bundle 独立启动的 A Tour of Go 简体中文页面,课程正文、公共 UI 和官方 Go 示例均已进入最终发布形态。

(20) A Tour of Go 多语言翻译项目:103 页全部完成后,我终于生成了可独立部署的 zh-CN Production Bundle

图 1:A Tour of Go 简体中文版正式生产页面,远程运行已经成功输出“Hello, 世界”。

(21) A Tour of Go 多语言翻译项目:zh-CN 正式上线,从生产发布到 go.dev Playground 的完整部署记录

图 1:新生产域名 go-dev.shuijingwanwq.com 已正常访问,Go 示例远程运行成功

(22) A Tour of Go 多语言翻译项目:从 go-tour 到 go-dev,完成 EdgeOne、Nginx 与 HTTPS 生产域名迁移

图 1:A Tour of Go 多语言翻译项目正式生产首页

(23) A Tour of Go 多语言翻译项目正式上线:从项目首页、公共 Footer 到生产发布元数据的完整收尾

图 3:GA4 g/collect 请求返回 HTTP 204,并携带当前课程页面地址,确认 Google Analytics 已产生真实事件上报

(24) A Tour of Go 多语言翻译项目:接入 Google Analytics 与百度统计,从 systemd 注入到 EdgeOne 与真实上报验证

图 1:生产环境 robots.txt 与 sitemap.xml 已正确对外提供,Sitemap 共包含 104 个规范 URL。

(25) A Tour of Go 中文站上线后:补齐 robots.txt、Sitemap,并完成五大搜索引擎提交

图 4:发布生产并刷新 EdgeOne 缓存后,再次通过真实手机访问,顶栏项目名称已经完整保持在一行,最终移动端验收通过。

(26) A Tour of Go 多语言翻译项目:修复手机端首页顶栏标题换行,并完成真机验证

图 3:生产自动部署脚本第一次真实运行时,systemd 已经显示 active,但首次 localhost 探测仍然得到 HTTP 000;随后连续 3 次同时满足 active + HTTP 200 后,脚本才判定部署成功,并继续完成公网 HTTP 200 验收。这次真实运行验证了连续应用层健康检查的必要性。

(27) A Tour of Go 多语言翻译项目:从一次 203/EXEC 故障到生产自动部署脚本落地

图 1:阿里云生产环境访问 go.dev Playground 时出现 TLS 握手超时

(28) A Tour of Go 多语言翻译项目:为 Playground 搭建独立的 ZgoCloud 执行代理

图 3:清除 /tour/script.js 缓存后,Run 已直接请求 ZgoCloud /compile 并返回 HTTP 200

(29) A Tour of Go 多语言翻译项目:将生产 Run / Format 切换到 ZgoCloud 执行节点

【图 1:微信中运行 Go 示例时出现 Error communicating with remote server.】

(30) A Tour of Go 中文版手机端运行与格式化偶发失败排查:从间歇性报错到补强 Nginx 可观测性

【图 4:向 golang-dev 公开邮件列表发送 Playground 使用告知邮件并投递成功】

(31) A Tour of Go 多语言项目:为 Playground 代理增加唯一 User-Agent,并主动告知 Go 官方

【图 3:百度剩余 9 个核心 URL 提交成功,remain 归零】

(32) A Tour of Go 搜索引擎收录实测:从 Google 自然索引到百度主动提交与 Bing IndexNow

在完成 A Tour of Go 简体中文站点上线、搜索引擎验证以及 Sitemap 提交之后,我原本准备继续处理 --minimal-protect

不过在继续开发之前,我重新检查了一遍 go-dev.shuijingwanwq.com 在几个主要搜索引擎中的索引情况。

此前 Google、Bing、360 已经完成 Sitemap 提交,其中 Sitemap 共包含 104 个 URL,也就是站点首页加 103 个课程页面。百度和搜狗则没有采用同样的 Sitemap 提交流程。

最开始我的想法是:既然新站还没有明显看到收录结果,是不是应该趁现在再主动提交一次 URL,尽量缩短搜索引擎发现和索引页面的时间。

实际逐个平台检查之后,情况却比预想中更有意思。Google 已经开始正常索引;Bing 已经发现网站但还没有抓取;百度能够通过 API 主动提交,但新站每天只有很少的提交额度;搜狗则让我进一步怀疑是否值得为主动提交投入太多维护成本。

最终,这次实践没有变成“把 104 个 URL 向所有搜索引擎都提交一遍”,而是逐个平台判断投入产出比,然后决定哪些值得主动处理,哪些更适合交给搜索引擎自然抓取。

一、先检查 Google:其实已经开始正常索引

首先检查 Google Search Console。

一开始,“网页索引编制”汇总页面仍然显示正在处理数据,需要稍后再查看,所以单纯看汇总数据很容易产生“Google 还没有开始收录”的感觉。

于是我改用网址检查工具,直接检查具体页面。

除了首页之外,我还检查了课程列表:

https://go-dev.shuijingwanwq.com/tour/list

结果显示:

  • 网址已收录到 Google;
  • 网页已经编入索引;
  • Googlebot 抓取成功;
  • 页面允许抓取;
  • 页面允许编入索引。
【图 1:Google Search Console 显示 /tour/list 已经正式编入索引】
【图 1:Google Search Console 显示 /tour/list 已经正式编入索引】

更值得注意的是,引荐来源中已经出现了其他课程页面,例如:

/tour/flowcontrol/2

/tour/moretypes/5

这说明 Google 并不是只发现了站点首页,而是已经开始顺着站点内部链接发现和处理整个课程体系。

因此 Google 这一边没有继续进行人工“请求编入索引”。

既然 Sitemap、内部链接和正常抓取链路已经开始工作,那么继续人工干预的意义并不大。

二、Bing 的情况不同:已经发现,但还没有爬网

接下来检查 Bing Webmaster Tools。

对首页:

https://go-dev.shuijingwanwq.com

执行 URL 检查后,Bing 给出的状态与 Google 明显不同。

页面已经在 8 月 13 日被 Bing 发现,但状态仍然是:

  • 已发现;
  • 未爬网;
  • 尚未进入索引。
【图 2:Bing 已发现 go-dev 首页,但仍未爬网和索引】
【图 2:Bing 已发现 go-dev 首页,但仍未爬网和索引】

这至少说明之前提交的 Sitemap 已经发挥了“告诉 Bing 这些 URL 存在”的作用,但几天过去以后,Bing 仍然没有真正进入抓取阶段。

因此,相比已经开始正常工作的 Google,Bing 更值得尝试一次主动通知。

我没有继续使用传统 URL Submission,而是决定测试 IndexNow。

三、百度索引量仍然是 0

在百度搜索资源平台中,go-dev.shuijingwanwq.com 的索引量则更加明确。

从 8 月 12 日到 8 月 15 日,后台索引量一直是:

Plaintext
0

百度没有像 Google、Bing、360 那样完成这次 Sitemap 提交,因此这里确实值得尝试一下官方提供的普通收录 API。

站点一共有 104 个 URL,于是我先从现有的:

https://go-dev.shuijingwanwq.com/sitemap.xml

自动提取 URL。

结果确认:

Plaintext
========== URL COUNT ==========
104 /tmp/go-dev-urls.txt

最开始我尝试一次提交全部 104 个 URL。

结果百度直接返回:

JSON
{"error":400,"message":"over quota"}

这说明问题并不在 URL,而是在当天的提交额度。

为了确认实际额度,我改成只提交首页。

这一次成功:

JSON
{"remain":9,"success":1}

也就是说,这个新站当天实际只有 10 个普通收录提交额度。

四、百度剩余 9 个额度,不再机械按照 Sitemap 顺序使用

确定只剩 9 个额度以后,就没有必要按照 Sitemap 顺序继续提交 /tour/basics/1/tour/basics/2/tour/basics/3……

每天只有 10 个名额时,更值得优先提交整个课程体系的入口页面。

因此首页之外,我最终选择了:

Plaintext
https://go-dev.shuijingwanwq.com/tour/list
https://go-dev.shuijingwanwq.com/tour/welcome/1
https://go-dev.shuijingwanwq.com/tour/basics/1
https://go-dev.shuijingwanwq.com/tour/flowcontrol/1
https://go-dev.shuijingwanwq.com/tour/moretypes/1
https://go-dev.shuijingwanwq.com/tour/methods/1
https://go-dev.shuijingwanwq.com/tour/generics/1
https://go-dev.shuijingwanwq.com/tour/concurrency/1
https://go-dev.shuijingwanwq.com/tour/welcome/2

随后一次提交这 9 个 URL:

Plaintext
{"remain":0,"success":9}
HTTP_STATUS: 200
【图 3:百度剩余 9 个核心 URL 提交成功,remain 归零】
【图 3:百度剩余 9 个核心 URL 提交成功,remain 归零】

至此,当天 10 个百度主动提交额度全部用完。

不过做到这里以后,我反而决定:后续不准备每天继续人工提交剩余页面。

原因很简单。

每天只有 10 个额度,就意味着需要连续多天回来处理,而且主动提交本身也不等于最终建立索引。

对于一个已经具备正常内部链接、搜索引擎验证和公开访问能力的新站来说,每天专门回来维护这件事情,成本开始明显超过收益。

所以这一次更多是验证:

百度普通收录 API 可以正常工作。

至于后面的页面,则准备交给百度自己自然发现和抓取。

五、Bing 改用 IndexNow,一次提交全部 104 个 URL

Bing 这边则完全是另一种体验。

Bing Webmaster Tools 本身已经提供 IndexNow 入口,因此我生成了一个 IndexNow Key。

随后将对应的 Key 文件部署到 go-dev.shuijingwanwq.com 根目录,并通过 Nginx 单独映射到现有的:

Plaintext
/data/go-tour/verification/

目录。

这样没有必要修改 Go Tour 程序本身,百度、搜狗等已有验证文件的处理方式也可以继续保持不变。

部署以后分别进行了源站和公网验证。

最终公网访问 Key 文件:

Plaintext
HTTP_STATUS=200

返回内容与 IndexNow Key 完全一致。

在确认 Key 文件能够正常访问以后,从 Sitemap 中读取全部 104 个 URL,构建 IndexNow JSON 请求。

提交前再次检查:

Plaintext
url_count=104
payload_check=OK

然后一次提交:

Plaintext
========== INDEXNOW SUBMIT ==========
HTTP_STATUS=202
【图 4:IndexNow 一次提交 104 个 URL,首次请求返回 HTTP 202】
【图 4:IndexNow 一次提交 104 个 URL,首次请求返回 HTTP 202】

这里的 202 并不是接口调用失败。

第一次使用新的 IndexNow Key 时,请求已经被接收,但 Key 验证和后续处理仍然是异步进行的。

与百度每天只有 10 个额度相比,IndexNow 这种方式显然更适合一次通知整个新站。

六、等待约 20 分钟,Bing Webmaster Tools 仍然没有变化

提交完成以后,我没有马上结束,而是继续观察 Bing Webmaster Tools 的 IndexNow 页面。

从大约 17:13 完成 IndexNow 提交,到 17:32 左右再次检查,已经等待了接近 20 分钟。

后台仍然保持原来的:

Plaintext
Get Started

页面,没有立即出现 104 个 URL 的提交统计。

【图 5:等待约 20 分钟后,Bing IndexNow 后台仍保持 Get Started】
【图 5:等待约 20 分钟后,Bing IndexNow 后台仍保持 Get Started】

不过这时继续刷新已经没有太大意义。

现有证据已经足够完整:

  • IndexNow Key 格式正常;
  • Key 文件部署成功;
  • 源站访问正常;
  • 公网访问为 HTTP 200;
  • 文件内容正确;
  • 104 个 URL 检查通过;
  • IndexNow API 已返回 HTTP 202。

剩余过程已经属于 Bing 和 IndexNow 后台的异步处理。

因此我没有为了追求一个立即出现的后台结果而重复提交 104 个 URL,也没有重新生成 Key 或继续修改 Nginx。

这一次就停在这里,让 Bing 自己继续处理。

七、360:Sitemap 已经提交,暂时没有必要额外操作

360 的情况相对简单。

Sitemap 已经完成提交,但站长平台的索引量页面暂时仍显示没有数据。

既然 Sitemap 已经存在,而且站点本身访问正常,就没有必要为了刚上线几天的新站继续增加额外处理。

因此 360 当前采取的策略是:

继续等待自然抓取和后台数据更新,不再额外折腾主动推送。

八、搜狗的数据让我决定放弃主动推进

搜狗则是这次检查里最能说明“主动提交未必值得投入”的一个例子。

go-dev.shuijingwanwq.com 当前还没有显示收录和索引数据。

但我顺手检查了长期运行的主站:

www.shuijingwanwq.com

结果截至 8 月 15 日:

Plaintext
索引量:84
收录量:52,936
【图 6:搜狗主站收录量超过 5 万,但索引量只有 84】
【图 6:搜狗主站收录量超过 5 万,但索引量只有 84】

这里的“收录量”和“索引量”并不是同一个概念。

从后台结果来看,搜狗已经发现或抓取了大量页面,但真正进入索引的数据却少得多。

这说明对于搜狗而言,问题已经不只是“有没有主动告诉它 URL”。

即使搜索引擎知道大量页面存在,最终愿意建立多少索引仍然是另外一回事。

在这种情况下,如果再为 go-dev 研究每天如何手动提交、怎样批量提交,投入产出比就比较低了。

因此搜狗也决定不主动推进。

站点继续允许正常抓取即可。

九、最终真正主动处理的只有百度和 Bing

这一轮开始之前,我还在考虑:

要不要把 Google、Bing、360、百度、搜狗五家全部主动提交一遍?

真正检查完后台以后,答案变得简单很多。

Google 已经开始自然抓取和索引,因此不需要干预。

Bing 已发现 URL 但没有抓取,所以通过 IndexNow 一次通知了全部 104 个 URL。

百度索引量为 0,因此验证了普通收录 API,并使用当天 10 个额度提交了最重要的入口页面。

360 已经完成 Sitemap 提交,继续等待即可。

搜狗则因为成熟主站本身就存在“抓取很多、实际索引很少”的情况,不再主动投入维护时间。

最终真正需要主动处理的,其实只有百度和 Bing。

而且百度这一次完成 API 能力验证以后,我也不准备继续每天提交。

十、主动提交不是越多越好,还要考虑维护成本

这次最大的收获并不是成功向百度提交了 10 个 URL,也不是成功向 IndexNow 一次提交了 104 个 URL。

更重要的是重新确认了一件事:

搜索引擎主动提交只是帮助搜索引擎更早发现页面的一种方式,并不是“提交以后就一定收录”。

如果一个网站:

  • Sitemap 已经正常公开;
  • 页面之间存在完整内部链接;
  • robots.txt 没有阻止抓取;
  • 页面能够稳定访问;
  • 搜索引擎已经开始发现 URL;

那么后续是否值得每天花时间人工提交,就需要考虑真实维护成本。

百度每天只有少量额度,如果为了把整个站点都推完,需要每天回来重复操作,那么这种维护方式并不适合当前项目。

IndexNow 可以低成本一次提交整个新站,所以值得配置一次。

Google 已经能够自己正常工作,就没有必要人为增加操作。

360 和搜狗同样没有必要为了“尽快看到数字变化”而不断增加维护逻辑。

因此这轮处理结束后,我准备重新回到原本的开发任务:

Plaintext
--minimal-protect

搜索引擎这边则暂时交给 Sitemap、内部链接以及自然抓取继续工作。

十一、后续计划

后续不会每天检查这几个平台。

目前只需要偶尔观察:

  • Google 的索引页面数量是否继续增加;
  • Bing 首页是否从“已发现但未爬网”进入抓取和索引;
  • IndexNow 后台是否最终出现本次提交记录;
  • 百度是否开始出现自然索引量;
  • 360 是否开始产生索引统计。

如果这些数据后续自然发生变化,再继续记录即可。

对于 www.shuijingwanwq.comen.shuijingwanwq.com,未来如果确实需要接入 IndexNow,也可以分别按照各自子域部署独立 Key,再围绕新增、更新和删除的 URL 做自动通知。

但这已经属于后续独立优化工作。

当前最重要的仍然是把 A Tour of Go 多语言翻译项目本身继续推进,而不是为了搜索引擎后台的数字变化不断增加人工操作。

这一次主动提交实践,到这里就可以告一段落了。

A Tour of Go 多语言翻译项目:将生产 Run / Format 切换到 ZgoCloud 执行节点

A Tour of Go 多语言翻译项目

本系列完整记录 A Tour of Go 多语言翻译项目从架构设计、整页翻译、结构保护、自动校验,到生产发布与后续维护的实际开发过程。

项目入口:
✅ 在线学习:A Tour of Go 简体中文版
✅ 项目源码:GitHub:shuijingwan/go-tour-i18n

当前第一阶段已完成简体中文版本。项目属于非官方社区多语言翻译项目,与 Go 官方无隶属或授权关系。

评论

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

这个站点使用 Akismet 来减少垃圾评论。了解你的评论数据如何被处理