Screaming frog是最好用的爬虫模拟软件/工具，它可以快速爬取你整站的URL，分析TDK、状态码、https、重定向、文件大小、内链数、SERP等等。他是On-page的非常好的工具。免费版可以抓取500链接，对于一般的网站也够用。
Screaming frog的功能
1、文件类别（html、javascript、css、image、pdf、flash、other）；
2、HTTP 状态码（Status Code）；
3、Page Title 和Page Title 的长度；
4、Meta Description 和Meta Description 的长度；
5、Meta Keywords 和Meta Keywords 的长度；
6、H1 和H1 的长度；
7、H2 和H2 的长度；
8、Canonical URL；
9、文件大小：网址和图片的大小。
Screaming frog可以让蜘蛛在网页上不断的搜索需要的资源，可以设置搜索的一个主要网页地址，并设置自定义分析扩展页面的功能，这样软件就会自动在一个网站上分析几十个、上百个网页界面，通过Screaming Frog SEO Spider分析以后，就可以得到自己需要的数据，同时也可以通过抓取的功能测试网页的性能，分析一切无法响应的网页，分析打开具有病毒提示的网页，另外该软件还支持使用XPath提取数据，所以只要你的网站结构简练就不必担心在抓取时可能会出现错漏问题，无论是检测企业网站还是搜索网络的资源都是非常方便的
