Waku框架中RSC路径被搜索引擎索引的问题与解决方案

问题背景

在使用Waku框架开发Web应用并部署到生产环境后，开发者发现了一个有趣的现象：除了正常的页面URL外，Google等搜索引擎还会索引/rsc/xxxxx这样的资源路径。这些路径实际上是Waku框架用于服务端组件(Server Components)的静态资源路径，本不应该被搜索引擎抓取和索引。

技术分析

Waku框架中的RSC(React Server Components)实现会生成带有.txt扩展名的静态资源文件。这些文件默认会被部署到/rsc/路径下，例如：

/rsc/yasal/gizlilik-politikasi.txt
/rsc/yasal/kullanim-kosullari.txt

虽然.txt扩展名的设计初衷是为了更好地兼容各种静态HTTP服务器，但这同时也带来了SEO方面的问题——搜索引擎会将这些文本文件视为可索引的内容。

解决方案探讨

针对这个问题，Waku社区讨论了多种可能的解决方案：

1. robots.txt方案：最简单的解决方案是在项目模板中添加默认的robots.txt文件，包含Disallow: /rsc/规则，明确告知搜索引擎不要抓取该路径下的内容。

2. 服务器配置方案：

   • 对于Vercel部署，可以通过vercel.json配置文件设置路由规则
   • 对于其他CDN部署，可以使用_headers文件或中间件来处理RSC请求

3. 架构调整方案：考虑将RSC资源从静态文件改为通过API端点动态提供，类似于Next.js的做法，使用查询参数而非静态文件路径。

最终决策

经过讨论，Waku团队决定采取最直接有效的方案——在项目模板中添加默认的robots.txt文件。这个方案有以下几个优势：

1. 实现简单，无需修改框架核心逻辑
2. 兼容性强，适用于各种部署环境
3. 对开发者透明，不会增加使用复杂度
4. 能够有效解决SEO问题

实施建议

对于使用Waku框架的开发者，建议采取以下措施：

1. 检查项目中是否包含public/robots.txt文件
2. 确保文件中包含对/rsc/路径的禁止抓取规则
3. 对于已经部署的应用，及时更新robots.txt并重新部署
4. 定期使用搜索引擎的站长工具检查索引情况

总结

Waku框架作为React服务端组件的新兴解决方案，在开发体验和性能方面带来了诸多优势。随着框架的成熟，类似这样的生产环境最佳实践也将不断完善。通过合理配置robots.txt，开发者可以确保应用既保持了Waku的技术优势，又符合SEO的最佳实践。