如何使用DeadFinder寻找失效链接
2022-10-17 19:58:53 Author: FreeBuf(查看原文) 阅读量:13 收藏

 关于DeadFinder 

DeadFinder是一款功能强大的链接分析工具,该工具可以帮助广大研究人员快速地寻找目标页面中的无效链接(死链)。所谓死链,即一个页面中存在的无法被连接的一条链接。这些链接如果一直保留在页面中的话,可能会影响SEO的效果,更严重的可能会影响整个网站的安全。因此,DeadFinder便应运而生,在该工具的帮助下,广大研究人员可以轻松识别和修改这些死链。

 工具安装 

源码获取

广大研究人员可以使用下列命令将该项目源码克隆至本地:

git clone https://github.com/hahwul/deadfinder.git

(向右滑动,查看更多)

使用Gem安装

我们还可以使用Gem来安装DeadFinder:

gem install deadfinder

Docker镜像安装

除此之外,该工具还提供了预构建的Docker镜像:

docker pull ghcr.io/hahwul/deadfinder:latest

(向右滑动,查看更多)

 工具使用 

Commands:
deadfinder file # Scan the URLs from File. (e.g deadfinder file urls.txt)
deadfinder help [COMMAND] # Describe available commands or one specific command
deadfinder pipe # Scan the URLs from STDIN. (e.g cat urls.txt | deadfinder pipe)
deadfinder sitemap # Scan the URLs from sitemap.
deadfinder url # Scan the Single URL.
deadfinder version # Show version.
Options:
c, [--concurrency=N] # Set Concurrncy
# Default: 20
t, [--timeout=N] # Set HTTP Timeout
# Default: 10
o, [--output=OUTPUT] # Save JSON Result

(向右滑动,查看更多)

参数解释

deadfinder file:从文件读取并扫描多个URL地址,例如“deadfinder file urls.txt”            
deadfinder help [COMMAND]:查看工具可用命令和指定命令帮助信息
deadfinder pipe:从STDIN扫描多个URL地址,例如“cat urls.txt | deadfinder pipe
deadfinder sitemap:从站点sitemap扫描多个URL地址
deadfinder url:扫描单个URL地址
deadfinder version:显示工具版本信息
c, [--concurrency=N]:设置并发数量,默认为20
t, [--timeout=N]:设置HTTP超时,默认为10秒
o, [--output=OUTPUT]:存储JSON结果

(向右滑动,查看更多)

运行模式

从STDIN扫描多个URL地址:

cat urls.txt | deadfinder pipe

从文件读取并扫描多个URL地址:

deadfinder file urls.txt

扫描单个URL地址:

deadfinder url https://www.hahwul.com

从站点sitemap扫描多个URL地址:

deadfinder sitemap https://www.hahwul.com/sitemap.xml

(向右滑动,查看更多)

JSON处理

deadfinder sitemap https://www.hahwul.com/sitemap.xml \
-o output.json
cat output.json | jq

(向右滑动,查看更多)

 工具运行截图 

 项目地址 

DeadFinderhttps://github.com/hahwul/deadfinder

精彩推荐


文章来源: http://mp.weixin.qq.com/s?__biz=MjM5NjA0NjgyMA==&mid=2651199558&idx=4&sn=227c08a2229371546912aeb6d3672967&chksm=bd1d8acd8a6a03db0a18cb1e22f8ce3533f056df1594defbb1a959cc39a942db905fb6fd9325#rd
如有侵权请联系:admin#unsafe.sh