Linux之——使用wget命令爬取整站

wget -c -r -npH -k -nv http://www.baidu.com  

参数说明

  • -c:断点续传

  • -r:递归下载

  • -np:递归下载时不搜索上层目录

  • -nv:显示简要信息

  • -nd:递归下载时不创建一层一层的目录,把所有文件下载当前文件夹中

  • -p:下载网页所需要的所有文件(图片,样式,js文件等)

  • -H:当递归时是转到外部主机下载图片或链接

  • -k:将绝对链接转换为相对链接,这样就可以在本地脱机浏览网页了

  • -L:只扩展相对连接,该参数对于抓取指定站点很有用,可以避免向宿主主机

启用地址伪装

-user-agent="Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4482.400 QQBrowser/9.7.13001.400"  

原文出处:csdn -> https://blog.csdn.net/l1028386804/article/details/92659382

本站所发布的一切资源仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。如果侵犯你的利益,请发送邮箱到 [email protected],我们会很快的为您处理。
超哥软件库 » Linux之——使用wget命令爬取整站