怎么制作网站镜像 爬取整个网站

https://web.archive.org/ 是互联网档案,上面会定期爬取网站的所有页面。

例如我们可以通过 “https://web.archive.org/web/20220523022525/https://coolshell.cn/” 查看酷壳 2022 年的页面

接下来可以通过官方提供的工具,下载最新的网站快照

docker pull hartator/wayback-machine-downloader

# 并发300下载
docker run --rm -it -v $PWD/websites:/websites hartator/wayback-machine-downloader http://example.com -c 300

更多功能可以参考链接 https://github.com/hartator/wayback-machine-downloader

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

下一篇: