就是下载别人的OneDrive分享链接
OD超限的问题就很难搞,429是很常见的
有个工具是分享链接获取直链+aria2下载的,可以保持原有目录,挺棒的,但是,429问题很难搞,导致下载了一堆里面是html的内容,写什么什么超限之类的内容
而且429的几率特别高,真的很高,推送几十个链接,只能下载成功几个,有可能是多线程下载的问题,可是aria2调低了线程数和任务数问题依旧没什么缓解。
后面发现用wget,这个问题出现几率就低(同样的文件),而且用国外小鸡单线程下载也蛮快的,大文件的话经常可以在50MB/s以上(小文件没跑起来就下载完了)
就获取了直链,wget -c -x -i,就可以了,配合我之前发过的获取cookie脚本,直接写死循环一直下载(只下载一遍肯定下不全的,可恶的OD限制),但是需要大盘,以及时间
后来遇到个问题,就是文件名过长的问题,就是od/sp的那个目录,很长(文件名过长报错,无法保存文件)
接着想了个解决方法,就是我说的绝活
用nginx 301一下,就可以缩短网址了
顺便把配置贴上来吧
- server {
listen 80;
server_name download;
location / {
return 301 https://xxxxx-my.sharepoint.com/personal/xxxxx_xxxxx_onmicrosoft_com/Documents/Document/$request_uri;
}
}
server_name download;可以自己改,这个将会是你下载的文件夹
然后需要在hosts指向本地,就是启动了nginx的地方,也不一定要本地弄,但是本地快一点
echo 127.0.0.1 download
如果需要可以弄个docker镜像,这样就不需要本机有nginx了,也不需要占用本地的端口,相应的Hosts指向docker容器的ip就好了,默认是172.17.x.x的,不知道映射端口出来用保存的目录会不会带端口,没试过,如果不带就更简单了(可以直接用caddy之类的,更简单),但是我感觉我这个需求,应该比较少,我自己用我就懒得弄了
这样操作过后
保存下来的文件就是这样的
- download/mp3/12345.mp3
download/mp4/1234567.mp4
没有这样弄,就是这样的
- xxxxx-my.sharepoint.com/personal/xxxxx_xxxxx_onmicrosoft_com/Documents/Document/mp3/12345.mp3
xxxxx-my.sharepoint.com/personal/xxxxx_xxxxx_onmicrosoft_com/Documents/Document/mp4/1234567.mp4
差别还是很大的,主要是文件名太长的时候就不行了,不然其实无所谓
虽说可以另外写个脚本,wget的时候指定-O保存文件,但是有点繁琐,需要从链接中提取目录,文件名,然后创建目录,下载文件,估计没有十几二十行代码下不来,用-x多是一件美事啊
aff地址:https://hostloc.com/thread-1032985-1-1.html?aff=1000
再贴一下我之前发过的《curl获取OneDrive分享链接的cookie用来下载直链》
带aff:https://hostloc.com/thread-1018757-1-1.html?aff=1000
直接给一段示例吧,curl那个命令的url一定要改成分享链接,就是分享链接,不是你打开之后又从浏览器地址栏复制的,很重要!
获取到的直链放在urls.txt
- 记得把获取到的直链中的
https://xxxxx-my.sharepoint.com/personal/xxxxx_xxxxx_onmicrosoft_com/Documents/Document
改成
http://download
- cookie="$(curl -sL 'https://xxxxx-my.sharepoint.com/:f:/g/personal/xxxxx_xxxxx_onmicrosoft_com/xxxxxxxx' -A 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.84 Safari/537.36' -s -I|grep set-cookie|grep FedAuth|sed 's/set-cookie: //'|sed 's/;.*//')"
wget --header "cookie: $cookie" -c -x -i urls.txt
加死循环就是下面这样,文件很多的时候可以这样循环一下,挂一晚上第二天看看下齐全了没有
- while true;do
cookie="$(curl -sL 'https://xxxxx-my.sharepoint.com/:f:/g/personal/xxxxx_xxxxx_onmicrosoft_com/xxxxxxxx' -A 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.84 Safari/537.36' -s -I|grep set-cookie|grep FedAuth|sed 's/set-cookie: //'|sed 's/;.*//')"
wget --header "cookie: $cookie" -c -x -i urls.txt
done
热议
2楼 coouk 昨天11:11
qpzc
3楼 aes 昨天11:12
感谢大佬分享
4楼 antbt 昨天11:20
请教大佬,OD分享的文件如何批量下载?
5楼 冲浪麦浪花郎 昨天11:22
已阅
6楼 好鸭 昨天11:23
请教大佬,OD分享的文件如何批量下载?
就获取了直链,wget -c -x -i,就可以了
7楼 IDC_Global 昨天11:25
谢谢分享的大佬
8楼 antbt 昨天11:27
就获取了直链,wget -c -x -i,就可以了
网上找了找,用那个油猴脚本获取直链吗?
9楼 好鸭 昨天11:30
网上找了找,用那个油猴脚本获取直链吗?
嗯,用那个就可以,不过我是用那个python推送aria2的改了一下,都差不多,就是油猴那个文件多的时候要等好一阵子,浏览器有点卡
10楼 vanechka 昨天11:35
支持技术贴
12楼 troforit 昨天12:07
感谢大佬分享
13楼 pulpfunction 昨天12:11
od没有那么多资料
14楼 omo.moe 昨天12:12
一次性官方api.最多只能5000目录,一个个查询结构基本上只能11000-13000个文件就会出错,目前尚未出现完美解决数万文件目录获取的方式
15楼 antbt 19分钟前
感谢大佬指教,已经在批量下载了。
申明:本文内容由网友收集分享,仅供学习参考使用。如文中内容侵犯到您的利益,请在文章下方留言,本站会第一时间进行处理。