项目flexgen：
地址：https://github.com/FMInference/FlexGen 斯坦福 伯克利 meta (FB) 联合发布
标题：Running large language models like OPT-175B/gpt-3 on a single GPU. Up to 100x faster than other offloading systems.
在单个gpu上运行大型语言模型，类似opt-175b/gpt-3，相比其他卸货系统有高达100x速度提升
论文：
地址：https://github.com/FMInference/FlexGen/blob/main/docs/paper.pdf
目测10个联合署名的7个应该是华人
12小时直接2.3k star，什么是国际热度，战术后仰
热议
推荐楼 ericls 昨天22:13
It was on the top of hacker news
推荐楼 jackyjack 昨天22:49
开源后，我预测国内chatgpt会雨后春笋般出现
3楼 善良的狼 昨天22:20
我还想着等显卡降价呢
4楼 gzelvis 昨天22:43
一块nVIDIA T4 是什么价格啊。。。。 那不是显卡，那是核弹
5楼 yy10112001 昨天22:45
这是开源给你自己训练吗。。。。
那岂不是玩法很多了。。。。。。。
很多人要失业了啊
7楼 小学生 昨天22:53
百度：感谢老铁的开源
8楼 riofredinand 昨天22:56
真的吗？是不是得买几张50hx屯着？
9楼 riofredinand 昨天23:17
真的吗？是不是得买几张50hx屯着？
原来要15GB显存 那就是要至少3080TI显卡 不然就要用内存代替 性能会下降 还没搞清楚怎么训练
10楼 白小姐 昨天23:24
能达到chatgpt网页版智能吗 还是需要自己训练
12楼 白小姐 昨天23:41
要自己训练A100 80G*16的机子部署的然后现在一脸懵中 啥也干不了
你上哪找成千上万人来帮你训练
13楼 spotlight 2小时前
yy10112001 发表于 2023-2-21 22:45
这是开源给你自己训练吗。。。。
那岂不是玩法很多了。。。。。。。
很多人要失业了啊 ...
难道不是创造了更多可以骗经费的岗位吗？是什么限制了你的想象力？
14楼 yy10112001 1小时前
难道不是创造了更多可以骗经费的岗位吗？是什么限制了你的想象力？
卧槽可以啊。你活该赚大钱
15楼 lanlandezei 1小时前
现在已经不少 用着GPT的接口，美名自研的。
16楼 a87750530 半小时前
16GB T4 GPU or a 24GB RTX3090 gaming card
上万元可以娱乐啊
17楼 now163-1 半小时前
要自己训练A100 80G*16的机子部署的然后现在一脸懵中 啥也干不了
大佬请喝茶。
一块80G就要8w+。。
18楼 spotlight 半小时前
16GB T4 GPU or a 24GB RTX3090 gaming card
上万元可以娱乐啊
3090只需要5000+，没那么贵
申明：本文内容由网友收集分享，仅供学习参考使用。如文中内容侵犯到您的利益，请在文章下方留言，本站会第一时间进行处理。