一夜普及，单显卡已能运行gpt3模型，速度100x-spotlight

项目flexgen：

地址：https://github.com/FMInference/FlexGen 斯坦福 伯克利 meta (FB) 联合发布

标题：Running large language models like OPT-175B/gpt-3 on a single GPU. Up to 100x faster than other offloading systems.

在单个gpu上运行大型语言模型，类似opt-175b/gpt-3，相比其他卸货系统有高达100x速度提升

论文：

地址：https://github.com/FMInference/FlexGen/blob/main/docs/paper.pdf

目测10个联合署名的7个应该是华人

12小时直接2.3k star，什么是国际热度，战术后仰

热议
推荐楼 ericls 昨天22:13

It was on the top of hacker news

推荐楼 jackyjack 昨天22:49

开源后，我预测国内chatgpt会雨后春笋般出现

3楼 善良的狼 昨天22:20

我还想着等显卡降价呢

4楼 gzelvis 昨天22:43

一块nVIDIA T4 是什么价格啊。。。。 那不是显卡，那是核弹

5楼 yy10112001 昨天22:45

这是开源给你自己训练吗。。。。
那岂不是玩法很多了。。。。。。。
很多人要失业了啊

7楼 小学生 昨天22:53

百度：感谢老铁的开源

8楼 riofredinand 昨天22:56

真的吗？是不是得买几张50hx屯着？

9楼 riofredinand 昨天23:17

真的吗？是不是得买几张50hx屯着？

原来要15GB显存 那就是要至少3080TI显卡 不然就要用内存代替 性能会下降 还没搞清楚怎么训练

10楼 白小姐 昨天23:24

能达到chatgpt网页版智能吗 还是需要自己训练

12楼 白小姐 昨天23:41

要自己训练A100 80G*16的机子部署的然后现在一脸懵中 啥也干不了

你上哪找成千上万人来帮你训练

13楼 spotlight 2小时前

yy10112001 发表于 2023-2-21 22:45
这是开源给你自己训练吗。。。。
那岂不是玩法很多了。。。。。。。
很多人要失业了啊 ...

难道不是创造了更多可以骗经费的岗位吗？是什么限制了你的想象力？

14楼 yy10112001 1小时前

难道不是创造了更多可以骗经费的岗位吗？是什么限制了你的想象力？

卧槽可以啊。你活该赚大钱

15楼 lanlandezei 1小时前

现在已经不少 用着GPT的接口，美名自研的。

16楼 a87750530 半小时前

16GB T4 GPU or a 24GB RTX3090 gaming card
上万元可以娱乐啊

17楼 now163-1 半小时前

要自己训练A100 80G*16的机子部署的然后现在一脸懵中 啥也干不了

大佬请喝茶。
一块80G就要8w+。。

18楼 spotlight 半小时前

16GB T4 GPU or a 24GB RTX3090 gaming card
上万元可以娱乐啊

3090只需要5000+，没那么贵

申明：本文内容由网友收集分享，仅供学习参考使用。如文中内容侵犯到您的利益，请在文章下方留言，本站会第一时间进行处理。