谷姐:我们都是谷歌迷
We are all Google fans

想建一个几十万部大姐姐的网站,存储和CDN怎么部署-simonw

Rate this post

目前日本有码无码加起来大概40万部左右,一部压到1GB,大概400T存储,压到2GB,就是800T。
等真大佬来讲讲经验

==============================================

现在能想到的比较现实一点的低投入方案是上几台几十TB SSD的G口机器,不用一次性全上齐,前期用付费CDN跑流量,CDN费用跑多少算多少,后端存储机上到800T的SSD应该也会不超过10万RMB。

刚看了下HZ nvme3840*6的价格是208欧,差不多9欧/TB,按800TB算的话大概7000欧,每台1G带宽加起来30多G,做后端应该够用了。
跑国外流量,后端应该可以放到欧洲,不打算做国内流量。

很想看有实操经验的大佬讲讲实战具体是怎么配置的。
如果是用机械+SSD缓存的机器能节省很多成本,但是性能是否够用?之前找过几个机械+SSD缓存的测评看了下,性能提升并不是很大,至少离NVME还有非常大的差距。

热议
推荐楼 vancouver 前天16:11

真张口就来 还40万部.....

你根本GET不到重点,哪里是存储的事.
首先是片源 你知道源片几大吗

4K原片120m时长的,一部是10GB大小起步

转码一部这种视频 你知道耗费多久吗
以AMD 9590x,输出标准H264格式的Web Video/FPS30 4种规格 480p/720p/1080p/4k
按单进程处理以2小时1部计算,单台一天处理12部
40万部你需要多少转码集群的投入吗?
如果你使用GPU速度是快了但是体积会大,无论如何调优同码率同画质下 体积都比CPU大

你理解10GB大小的电影 转换出来
480P 按400M算
720P 按600M算
1080P 按1G算
4K 按3G算
缩略图算的就不算了
你需要耗费的存储 原片10G + 输出的(480P+720P+1080P+4K)5G= 15G
如果考虑点播速度 使用HLS/TS切片 = 5G x 2 = 10G + 10G = 20G
在考虑视频预览片段 + 时间线缩略图+预览图 +++ 。。。。。

存储很便宜,是最不值一提的东西......
1PB 以下都是 小场面,美国和欧洲存储都是低于$1/TB的
$300就可以实现300T的G口存储,加上Raid6阵列存储也有200多T的容灾可用了
我帮客户改造过这种,成本降低80%

CDN架构我在之前回复过另外一个帖子你可以找找
如何整个覆盖 美国 欧洲 亚洲 中国运营商定向覆盖
一样原理

推荐楼 nttstar 前天15:23

感觉楼主离银手环缝纫机又近了一步

推荐楼 我是老王 前天15:22

当然是自建机柜了 1个HDD 就有16T 800T内容 组RAID10

200块HDD盘子 算算增量再加100块盘子

一共300块就搞定了

前面弄个几十T的SSD做常用的片子的缓存

不常用的就做冷数据

这才多少钱 面对广告费是九牛一毛

存储方案是最便宜的 贵的是流量费

推荐楼 王健林 前天16:32

这么大的量,CDN不贵死 ,有盈利吗?
全部AV1编码 压到500MB,这样就只要200TB,而且流量压力就小了,
预计码率干到1Mbps那么:
100Mbps的宽带可以同时在线100人,
10000个MJJ只要10Gbps

另外求个VIP SVIP VVIP

推荐楼 野草云 昨天08:31

论坛其他人搞有了,在那里打击楼主的,可能是竞争对手。

推荐楼 Simmoc 前天17:02

送ssssssssssssssssssvip吗

推荐楼 Nigel 前天16:57

真张口就来 还40万部.....

你根本GET不到重点,哪里是存储的事.

看来大佬搞过啊

推荐楼 点点 前天15:26

送sssssssssvip吗

推荐楼 momomo 前天15:21

有91会员看的那种高清全集吗?
有的话买一份

推荐楼 Debians 前天15:21

先送我们VIP再说别的

2楼 Nichne 前天15:18

绑定 蹲个尊享vip

3楼 lewissue 前天15:20

先送我们VIP再说别的

5楼 simonw 前天15:21

绑定 蹲个尊享vip

做免费站

7楼 炒土豆丝 前天15:22

先送我们VIP再说别的

12楼 wcg928 前天15:29

送vVVVVVVVIp我就告诉你。

13楼 z先生 前天15:30

蹲个vvvvvvip

14楼 maiawpyg 前天15:31

有前途啊 大佬 搞起来

15楼 沉默的鱼 前天15:33

感觉楼主离银手环缝纫机又近了一步

人不在墙内应该都问题不大

16楼 win68 前天15:34

先送我们VIP再说别的

17楼 lanbing 前天15:34

老哥不考虑建个免费楼凤网站吗?

18楼 yanaxiao 前天15:35

蹲一个永V

19楼 丶心围双城 前天15:35

无期徒刑

20楼 mnwfbo 前天15:36

先送我们VIP再说别的

22楼 helpzmp 前天15:38

绑定,蹲一个vip

23楼 unclesamo 前天15:47

现在存的哪里115?

24楼 simonw 前天15:56

你么大的空间,你是靠什么存储的

后端仓库存储简单
主要是跑网站流量的存储难搞

25楼 hkkvm 前天15:57

20T SSD硬盘服务器,G口不限流量 3000元月
60T SATA硬盘服务器,G口不限流量 2500元月
100T SATA硬盘服务器,G口不限流量 4000元月

26楼 ljq 前天16:01

楼主送个VIP

27楼 nancydeja 前天16:01

卖服务器的冲一波。。。

28楼 vancouver 前天16:11

真张口就来 还40万部.....

你根本GET不到重点,哪里是存储的事.
首先是片源 你知道源片几大吗

4K原片120m时长的,一部是10GB大小起步

转码一部这种视频 你知道耗费多久吗
以AMD 9590x,输出标准H264格式的Web Video/FPS30 4种规格 480p/720p/1080p/4k
按单进程处理以2小时1部计算,单台一天处理12部
40万部你需要多少转码集群的投入吗?
如果你使用GPU速度是快了但是体积会大,无论如何调优同码率同画质下 体积都比CPU大

你理解10GB大小的电影 转换出来
480P 按400M算
720P 按600M算
1080P 按1G算
4K 按3G算
缩略图算的就不算了
你需要耗费的存储 原片10G + 输出的(480P+720P+1080P+4K)5G= 15G
如果考虑点播速度 使用HLS/TS切片 = 5G x 2 = 10G + 10G = 20G
在考虑视频预览片段 + 时间线缩略图+预览图 +++ 。。。。。

存储很便宜,是最不值一提的东西......
1PB 以下都是 小场面,美国和欧洲存储都是低于$1/TB的
$300就可以实现300T的G口存储,加上Raid6阵列存储也有200多T的容灾可用了
我帮客户改造过这种,成本降低80%

CDN架构我在之前回复过另外一个帖子你可以找找
如何整个覆盖 美国 欧洲 亚洲 中国运营商定向覆盖
一样原理

29楼 luckyren 前天16:13

先送我们VIP再说别的

30楼 元宇宙 前天16:24

居然存了这么多?

32楼 Frp大佬 前天16:31

弱弱的把你楼主问下大家,放小jj的服务器除大陆以外建议哪个国家或者具体哪些商家可以放?

33楼 520520 前天16:31

这么大的量,CDN不贵死 ,有盈利吗?
全部AV1编码 压到500MB,这样就只要200TB,而且流量压力就小了,
预计码率干到1Mbps那么:
100Mbps的宽带可以同时在线100人,
10000个MJJ只要10Gbps

另外求个VIP SVIP VVIP

35楼 Frp大佬 前天16:35

jimmy2024 发表于 2024-10-11 15:38
你么大的空间,你是靠什么存储的

可以本地,然后frpc内网穿透

36楼 httpd 前天16:37

真张口就来 还40万部.....

你根本GET不到重点,哪里是存储的事.

這種**網站轉碼後源片不刪除嗎?如果不刪除是不是加上某個文件名就能下載到?

37楼 张汪杨希 前天16:47

光机器你可能就要投入十几万。16T假设组RAID10,你就要准备110个,量那么大就算你500一个就是5万多,这只是硬盘的钱,机器也要准备好几个吧,如果你有转码需求性能还不能拉。托管和流量这些还没算。

38楼 zavier 前天16:49

记得给论坛兄弟们安排几个终身会员

39楼 vancouver 前天16:57

這種**網站轉碼後源片不刪除嗎?如果不刪除是不是加上某個文件名就能下載到? ...

这个是二件事
不删除不代表你可以下载

一般网站或转码系统 是可以设置选择是否保留片源
都会选择删除

因为规模化运营的 都是有部署专门的数据仓库 就是巨大的存储服务器
BT下载 买来的数据片源 都是存在这里面
这里的会分类好比如动作片 悬疑片 爱情片
都是没有水印的片源

上业务
比如新建个业务网站 叫 美剧饭
就把数据库仓库里的所有美剧电影 电视剧
拉出来
导入网站 转码 (为什么要转码 因为要加水印 加广告 那些)

后续 加新站 叫 爱美剧
就又重复一次
不同水印 广告文字
都是转码时候 用ffmpeg滤镜加进去的

差不多这个逻辑

个人的可能无所谓 转码完成就删了

40楼 Nigel 前天16:57

真张口就来 还40万部.....

你根本GET不到重点,哪里是存储的事.

看来大佬搞过啊

42楼 Simmoc 前天17:02

送ssssssssssssssssssvip吗

43楼 chxin 前天17:05

目前在搞着呢,甲骨文全自动下载切片上传大厂图床,djj和影视都做着呢,就是转码时间太长,一天只能转70部左右

44楼 总是吵架的猪 前天17:06

做tg频道吧 不要钱 就是需要你上传 你这些片 不得上传一年

45楼 chxin 前天17:07

这么大的量,CDN不贵死 ,有盈利吗?
全部AV1编码 压到500MB,这样就只要200TB,而且流量压力就小了,
预计 ...

目前正在搞
全自动下载切片上传大厂图床,原片存E3 od,服务器甲骨文免费机,纯白票

46楼 ccooccoo 前天17:07

四十万部?你小子真是资深骨灰级老司机牛

47楼 王健林 前天17:10

目前正在搞
全自动下载切片上传大厂图床,原片存E3 od,服务器甲骨文免费机,纯白票 ...

大佬!!!
自己存不是更安全么~~,

48楼 httpd 前天17:15

这个是二件事
不删除不代表你可以下载

哦哦

49楼 simonw 前天17:22

真张口就来 还40万部.....

你根本GET不到重点,哪里是存储的事.

转码不需要你帮我算啊

我手里的机器转日本片子一天能转1千+,完全CPU转

存储最便宜的HZ现在都在1.2欧/TB以上,还是机械盘,还是在欧洲,完全没法给CDN做后端

300刀做到300T,真不知道你是咋想的。

50楼 王健林 前天17:33

转码不需要你帮我算啊

我手里的机器转日本片子一天能转1千+,完全CPU转

搞个线路好1Gbps的SSD硬盘,服务器反代 存储服务器 加大Nginx的缓存
,然后由这个服务器做CDN,或者Nginx分节点反代

52楼 jimmy2024 前天17:49

可以本地,然后frpc内网穿透

我只是好奇这么大的量 怎么存储的,我的问题根内网穿透 没有关系

53楼 Rubicund 前天17:53

转码不需要你帮我算啊

我手里的机器转日本片子一天能转1千+,完全CPU转

之前没有接触过这种类型的客户,看了一圈下来,其实最主要成本还是在流量吧?唉~难搞。作为供应商可以帮你压低云上服务器、存储和CDN的价格成本作为支持。最重要的是 ,网站建好后,一定发出来给兄弟们看看! 哈哈哈哈!

54楼 scheme 前天17:55

收个无限存储的gd ,再开个cf 企业套餐,买个20美元的小鸡,使用alist 搭桥,我预计只需要不到500刀搞定

55楼 jimmy2024 前天17:55

后端仓库存储简单
主要是跑网站流量的存储难搞

那你可以把所有的文件 拆分下来放置多个服务器,然后薅羊毛 cloudflare 免费流量

56楼 唐王李世民 前天17:57

我跟你说,民静的kpi很难完与的,你这是要助攻啊

57楼 TMD 前天17:58

我看刑!

58楼 simonw 前天18:01

我跟你说,民静的kpi很难完与的,你这是要助攻啊

纯技术探讨
真想搞起的话可以直接上线,边搞边测试方案

59楼 begin 前天22:37

纯技术探讨
真想搞起的话可以直接上线,边搞边测试方案

精选各类视频,50T大概够用了.500U可以了

60楼 Frp大佬 昨天00:02

我只是好奇这么大的量 怎么存储的,我的问题根内网穿透 没有关系

需要几十个18T硬盘

62楼 pykane 昨天00:11

你要把每一个视频切片成,2M左右的,小文件,
然后分散到个个不同的地方。
这样你用CF ,就能绶存了。

63楼 npnp 昨天00:13

纯国外流量怎么搞定版权投诉问题?

64楼 VigoFen 昨天00:14

看的过来吗 求sssssssssssssssvip

65楼 夜不眠 昨天07:45

日盈利10000刀起步吧

66楼 随便起个名字 昨天08:01

我只好奇从哪里下载这么多的

67楼 imdong 昨天08:30

利用ffmpeg将视频转成m3u8(单个ts文件不要大于20M) 通过 tg bot 上传到tg群组, 在搞几台大宽带的机器调用tg接口 获取视频或者用cloudflare workers调用tg接口获取视频

68楼 野草云 昨天08:31

论坛其他人搞有了,在那里打击楼主的,可能是竞争对手。

69楼 jxbgod 昨天11:10

一聊这个都冒出来了。。。禽兽!
求sssssssssssvip

70楼 kucn 昨天11:36

SVIP来一个。要高清五马的。

72楼 气味 昨天14:03

这还想CDN
确实不差钱啊

73楼 trips 昨天14:52

真张口就来 还40万部.....

你根本GET不到重点,哪里是存储的事.

大佬,抗投诉G口知道哪里便宜吗。

74楼 淑君 昨天15:03

先送我们VIP再说别的

75楼 M100700 昨天15:45

兄弟,说个题外话,你有没有考虑过你那40万部片根本没人想看?

做个简单的调查,DMM也只保留最近2年的片子,日本每天产生大量的新内容,当然绝大部分是辣鸡,下载都属于浪费电费,这个行业都是靠新鲜取胜,所以只有新片才有人看,这个“新”的定义大概我们就跟着DMM走吧,毕竟他们是权威,也就是说两年内的片子才有价值。

76楼 falco 昨天17:07

其实他们都没做过 你跟一些没做过的讨论也没意义

77楼 falco 昨天17:09

方案1:建议用bunny的转码 存储放到便宜点的区域 方案2:冷热缓存你的40万不是经常会有人点播的,你把数据存到hdd就可以,当一个资源成为热门,缓存到周边的m2硬盘设备就可以,费用节省75%

78楼 吃瓜中 昨天17:24

没试过,等个vip

79楼 M100700 昨天19:29

方案1:建议用bunny的转码 存储放到便宜点的区域 方案2:冷热缓存你的40万不是经常会有人点播的,你把数据 ...

bunny 5 刀一个T的流量费,你的好好想想怎么cover这个费用

80楼 cst 昨天19:33

来个vip

82楼 额头有王的喵 昨天22:25

你先来1000部搭建起来,等流量起来了再说40万部

83楼 falco 昨天22:31

M100700 发表于 2024-10-12 19:29
bunny 5 刀一个T的流量费,你的好好想想怎么cover这个费用

bunny 大客户 不到1刀 看来你是小客户,另外我手机打字,bunny的转码是免费,用转码临时空间转完把资源取到本地即可

84楼 winterbe 昨天23:05

不是,真正有需求的,上p站看也能解决问题。没错是有广告,可是你来建站也肯定要广告啊,又压了,要质量也没有呀

86楼 rw1024 2小时前

蹲个vip

87楼 654321 1小时前

其实在画大饼运营过的都知道费用没这么大
自建主要是流量费

申明:本文内容由网友收集分享,仅供学习参考使用。如文中内容侵犯到您的利益,请在文章下方留言,本站会第一时间进行处理。

未经谷姐允许不得转载:谷姐靓号网 » 想建一个几十万部大姐姐的网站,存储和CDN怎么部署-simonw
分享到: 生成海报

热门文章

评论 抢沙发

评论前必须登录!

立即登录   注册

买Google Voice认准【谷姐靓号网】

Google Voice靓号列表Google Voice自助购买
切换注册

登录

忘记密码 ?

切换登录

注册

我们将发送一封验证邮件至你的邮箱, 请正确填写以完成账号注册和激活