Screaming Frog SEO Spider (尖叫青蛙)

Screaming Frog SEO Spider 是一款专业的网站资源检测搜索工具，它可以帮助您从不同的网页上选择需要抓取的内容，软件具有网页蜘蛛功能，您可以让蜘蛛在网页上不断的搜索需要的资源，可以设置搜索的一个主要网页地址，并设置自定义分析扩展页面的功能，这样软件就会自动在一个网站上分析几十个、上百个网页界面，通过Screaming Frog SEO Spider分析以后，就可以得到自己需要的数据，同时也可以通过抓取的功能测试网页的性能，分析一切无法响应的网页，分析打开具有病毒提示的网页，另外该软件还支持使用XPath提取数据，所以只要你的网站结构简练就不必担心在抓取时可能会出现错漏问题，无论是检测企业网站还是搜索网络的资源都是非常方便的 ,一般我们英文SEO用于检测站内描文本的数量是否过多。

软件特点

1、找到断开的链接
立即抓取网站，找到损坏的链接（404）和服务器错误。批量导出错误和源URL以修复或发送给开发人员。
2、审计重定向
找到临时和永久的重定向，识别重定向链和循环，或者上传一个网址列表，以在网站迁移中进行审计。
3、分析页面标题和元数据
在抓取过程中分析页面标题和元描述，并确定在您的网站中过长，短小，缺失或重复的页面标题和元描述。
4、发现重复的内容
使用md5算法检查发现精确的重复网址、部分重复的网页标题、说明或标题等元素，并找到内容较低的网页。
5、使用XPath提取数据
使用CSS Path，XPath或regex从网页的HTML中收集任何数据。这可能包括社交元标签、额外的标题、价格、SKU或更多！
6、审查机器人和指令
查看由robots.txt、meta robots或X-Robots-Tag指令（如“noindex”或“nofollow”）以及canonicals和rel=“next”和rel=“prev”阻止的URL。
7、生成XML站点地图
快速创建XML站点地图和图像XML站点地图，通过包含URL的高级配置，上次修改，优先级和更改频率。
8、与Google Analytics集成
连接到Google AnalyticsAPI，并抓取用户数据，例如会话或跳出率和转化次数，目标，交易和着陆页的收入。