马斯克:训练大模型用了万块英伟达芯片

一四 阅读:318 2024-08-26 18:36:12 评论:0

IT之家7月2日消息,马斯克:训练大模型用了万块英伟达芯片马斯克已经宣布其人工智能初创公司xAI的大语言模型Grok-2将于8月推出,将带来更先进的AI功能。虽然Grok-2还没亮相,但马斯克已经开始为其Grok-3进行造势。

马斯克表示,训练AI聊天机器人需要数据集,而且从现有数据中清除大型语言模型(LMM)的工作量很大。他还谈到了OpenAI模型输出训练的几个问题。

他透露xAI的Grok-3用了10万块英伟达H100芯片进行训练,预计将于年底发布,相信它会“非常特别”。

H100是英伟达开发的专门用于处理大语言模型(LLMs)数据的AI芯片。每块英伟达H100人工智能芯片的价格估计在3-4万美元(当前约21.9-29.2万元人民币)左右,批量购买的话可能会有折扣。

我们简单计算可知,xAI这里的10万块英伟达H100价值30-40亿美元(IT之家备注:当前约218.68-291.57亿元人民币)。马斯克之前曾提到特斯拉今年从英伟达的采购额估计将在30-40亿美元之间,合理推测xAI这里用的是特斯拉购买的英伟达芯片进行训练。

可以去百度分享获取分享代码输入这里。
声明

免责声明:本网站部分内容由用户上传,若侵犯您权益,请联系我们,谢谢!联系QQ:2760375052

搜索
关注我们

扫一扫关注我们,了解最新精彩内容