前几天写过一篇关于网站极易犯的五个seo错误及解决方法中提及：部分网站使用JS、Ajax技术等人为限制了百度蜘蛛的抓取，有客户问具体如何界定搜索引擎能抓取到的页面内容，其实有个简单的模拟百度蜘蛛抓取的工具，链接：http://s.tool.chinaz.com/tools/robot.aspx

该百度蜘蛛模拟检测工具界面如下：

在上方输入我们要检测的页面网址，下方呈现的就是搜索引擎能抓取到的文本内容。

使用百度蜘蛛模拟工具有两个好处：

1、这个工具十分简单易用，摒除掉了各种js、html代码。即使不懂代码的小白，也可以第一时间看到网站对百度蜘蛛抓取的内容，判断网站对百度蜘蛛是否友好，避免网站做的美轮美奂，呈现给搜索引擎的却是只有几个字的质量极低的页面。

2、该工具可以与关键词密度检测工具结合使用，判断页面关键词密度设置是否合理。关键词密度检测工具网址如下：http://tool.chinaz.com/tools/density.aspx

3、诸如万年历类别的蜘蛛陷阱也可以第一时间甄别出。有可能网站技术自身并没有发觉网站对蜘蛛设置了陷阱。