上线第 9 天,凌晨一点半,我第 N 次在百度 site 自己的域名,返回结果还是孤零零一条首页。咖啡凉透了,日志倒是滚得挺欢——Googlebot 一晚上来了 200 多次。
那一刻我认了:收录这事儿,努力和回报严重不成正比。但日志不会骗人,这篇就把 30 天的完整台账摊开,谁勤快、谁摸鱼、谁被坑,全晒出来。
IndexNow:必应和 Yandex 牵头的推送协议,说人话就是“URL 变了我主动喊一嗓子”,不用干等蜘蛛。sitemap:全站 URL 清单,引擎按自己的节奏抓,保命用的。百度普通收录 API:百度自家接口,新站也有配额,只是少得可怜。
上线当晚 23:00,271 条 URL 一次性打满 IndexNow,GSC 提交 sitemap,百度 API 那点配额留给首页加 10 篇主力文章。
IndexNow 能覆盖 Google 和百度吗?不能,一个压根没加入协议,一个坚持只玩自家的。指望一个接口通吃所有引擎,是新手最经典的踩坑姿势。
直接上时间线,别整虚的:
第一次推送我直接吃了 403,查了半天才发现是 key 文件没放对——必须放在域名根目录且能匿名访问。别赌运气,推完一定看返回码:200 最优,202 正常,403/400 就是你自己翻车了。
IndexNow 推了就等于收录吗?不等于。它只负责“通知抓取”,收不收引擎自己算账。271 条推下去,Bing 最终收了 200 出头,剩下几十页它抓了但压着不放。
配额机制:普通收录 API 每天给固定推送条数,新站档位一天 10 条,用不完也不累积,次日清零。生效周期:推送 ≠ 收录 ≠ 放出,百度是三层漏斗——先抓(推完当天就来)、再收(索引进池)、最后放(site: 可见)。
我的时间线:Baiduspider 第 4 天首次进站(没推的页面也照爬),第 12 天 site: 放出 4 页,第 30 天累计 97 页。
10 条/天够用吗?对 271 条的新站,纯靠 API 得推一个月。所以策略很明确:主力页面手动挑着推,长尾全扔给 sitemap。
配额能涨吗?能,跟着站点质量度走,新站先忍着。说句实话,百度对新站就是有考察期,API 只是让你插队领号,不保证今天轮到你——第 12 天之前我以为被坑惨了,第 13 天一口气放出 20 页,情绪反转比过山车还刺激。
第 30 天,各蜘蛛单日抓取量真实数据:
| 蜘蛛 | 首次进站 | 第30天日抓取 | 备注 |
|---|---|---|---|
| Googlebot | D2 | ~1100 | 最勤快,但最抠 |
| bingbot | D2 | ~500 | IndexNow 后明显活跃 |
| Baiduspider | D4 | ~380 | 抓了不代表放 |
| YandexBot | D6 | ~60 | 蜻蜓点水 |
| Sogou | D7 | ~40 | 没提交,自己来的 |
| 360Spider | — | <10 | 基本没影 |
两个硬伤级别的观察。Googlebot:抓了 1100 次,收录 140 页,另有 80 页卡在“已发现-尚未编入索引”——抓取和收录在 Google 这是两码事。Baiduspider:380 次/天的抓取量不低,但漏斗全卡在“放出”环节。
看后台的“抓取频次”图没用吗?基本没用,那是二手数据。想看真相
评论列表 (0条)