AI 搜索工程
llms.txt 与 AI 爬虫治理:哪一层真正有约束力
llms.txt 97% 零请求,Google 明确不读;真正的控制面在 robots.txt(RFC 9309)、CDN 默认值和网络层执行。逐条讲清规格状态、会咬人的地方与落地配置。
面向全球技术读者的双语工程文章,重视清晰解释、可核查来源与真实项目语境。
让知识真正可用
4 篇文章
AI 搜索工程
llms.txt 97% 零请求,Google 明确不读;真正的控制面在 robots.txt(RFC 9309)、CDN 默认值和网络层执行。逐条讲清规格状态、会咬人的地方与落地配置。
AI 搜索工程
不预生成 HTML,也能让 FastAPI 双语内容站具备可抓取正文、独立语言 URL、双向 hreflang、动态 Sitemap 与可信 JSON-LD。
AI 搜索工程
基于 Google、Bing 与 OpenAI 官方资料,厘清 GEO、AEO 与 SEO 的关系,并给出抓取、内容、结构化数据、引用监测和发布检查清单。
AI 搜索工程
从发布快照、乐观锁和 ABA 防护,到 Redis 失效重试与 ETag,拆解一个中英文同步上线的动态内容系统。