网站出海每日分享：使用爬虫参考SEO内容

公众号: droidHZ 发布时间: 1970-01-01 08:33:46 原文链接: https://mp.weixin.qq.com/s?__biz=MzkzNzYzNzE3Mg==&mid=2247485441&idx=1&sn=4d49f44753d90ef5bb64e36e6159cd77&chksm=c28d2c5af5faa54ce0d9c16a245d6e26a9fa6d7f46688078500cb96292c0cfd11f956ce304bc#rd

---

早上好，朋友们！

试用了一下大家推荐的xcrwal ,各爬虫的优势它都有（反爬、 内置住宅代理、JS渲染等），发现对于我们做网站来说还是非常有帮助的，可以监控sitemap、获取API文档、其他网站SEO内容等。

比如下面我让它获取某个搜索词的网站的相关信息，更好地去做SEO内容。

首先参考仪表盘的代码示例，配置上对应的MCP

然后直接使用了，比如告诉claude code: 使用xcrwal mcp 获取关键词“ai video generator” 前面10名的网站数据，然后参考这些网站数据，帮我生成一份核心关键词是“ai video generator” 的SEO文档。

这样生成的SEO内容是有参考的来源，不是AI随意生成的，而且会基于前10名网站的SEO内容，给你一些有参考性的建议。

另外Xcrawl抓取的数据还是结构化的数据，markdown 或 json，AI能够更好的理解，对于token 的消耗也更少。

新用户注册有免费的1000积分，差不多就是1000次，可以用挺久的，有需要的朋友可以去看看 ： https://xcrawl.com/?keyword=v0vywoot

我是赫兹，专注网站出海第322天，持续分享网站出海内容。新朋友可以看看之前的文章合集；想系统学习，也推荐关注哥飞老师，我很多方法是向他学习的，微信搜索 361079 就可以找到他。

• 网站出海每日分享

• 网站出海深度总结

相关链接

• 04-SEO优化配置]
• 关键词研究]
• 08-复盘与规模化]
• 01-认知与入门]