[TOC] # Web目录扫描 ## 扫描原因 （1）寻找到网站后台管理 （2）寻找未授权界面 （3）寻找网站更多隐藏信息 （4）通过使用目录扫描可以让我们发现这个网站存在多少个目录，多少个页面，探索出网站的整体结构。通过目录扫描我们还能扫描敏感文件，后台文件，数据库文件，和信息泄漏文件等等。 ## 扫描方法 ### robots.txt         （1）Robots协议(Robots Exclusion Protocol)“网络爬虫排除标准”，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。 （2）同时也记录网站所具有基本的目录。 ### 搜索引擎         （1）搜索引擎会爬取网站下目录，并且不需要触碰网站任何防御设备         （2）语法: site:sangfor.com.cn ### 使用爆破工具         （1）通过字典匹配网站是否返回相应正确状态码，然后列出存在的目录。         （2）爆破可能会触发网站防火墙拦截规则，造成lP封禁。 ### 爆破工具 **爆破工具—dirb** （1）DIRB是一个Web内容扫描程序 （2）通过字典查找WEB服务器的响应 （3）DRIB只能扫描网站目录不能扫描漏洞 （4）参数:-a设置User-Agent -x XXX在每个词后增加XXX后缀，比如“.html" . ".php" -z number延迟多少毫秒后，再发包。比如间隔1秒发包， -z 1000 -b不扫描../或者./ -c设置Cookie -E设置证书文件 -o outfile_file保存扫描文件 **爆破工具—dirbuster** DirBuster多线程Java应用程序。        （1）主要扫描服务器上的目录和文件名        （2）扫描方式分为基于字典和纯爆破        （3）OWASP下开源项目 **爆破工具—御剑** ## 流量特征 1、时间间隔比较短 2、返回状态码大部分都是404不存在的 3、客户里会存在一些确认服务是否存活的机制，但是他是固定的url