开云网址·(中国)官方网站又一AI产品Groq火出圈!响应速度惊人 自研LPU或可威胁英伟达2月19日,美国硅谷AI初创企业Groq开放了自家产品的免费试用。众多用户进行试用后纷纷表示震惊。
大家最为震惊的点在于,Groq的响应速度实在是太快了。据网友测试,Groq每秒生成速度接近500 tokens。
从视频我们可以更加直观感受到这种响应速度有多么惊人,直接碾压ChatGPT那种逐字生成答案的聊天机器人!
这样快的响应速度得益于Groq背后的团队为大语言模型(LLM)开发了自己的定制专用集成电路(ASIC)芯片。相比之下,该模型的公开版本ChatGPT-3.5每秒可以生成大约40个tokens。
一般来说,人工智能工作负载分为两个不同的类别:训练和推理。虽然训练需要大量的计算和内存容量,但访问速度并非重点关注对象,推理却不同。通过推理,人工智能模型必须运行得非常快,以便为最终用户提供尽可能多的tokens,从而更快地为用户提供回答。
从这个角度来看,Groq是一个“推理引擎”,而不是像ChatGPT、Gemini或马斯克旗下的Grok那样的聊天机器人。Groq可以帮助这些聊天机器人运行得非常快,但不会完全取代它们。在Groq的网站上,用户可以测试不同的聊天机器人,并查看和比较它们使用Groq的运行速度。
根据Artificial Analysis上周发布的第三方测试开云网址开云网址,Groq每秒可生成247个tokens,而微软每秒生成18个tokens。这意味着如果ChatGPT在Groq的芯片上运行,其运行速度可以提高13倍以上。
而ChatGPT、Gemini和Grok等人工智能聊天机器人如果速度更快,对AI发展也会更有益处。当前人工智能聊天机器人的有一个痛点就是存在延迟。谷歌最近展示了一段与Gemini有关的视频,视频中的Gemini可以进行实时、多模式的对话,尽管官方表示这段视频经过编辑、加速。但随着Grok速度的提高,该视频所呈现的效果后续可能成为现实。
此外值得注意的是,开发Groq的公司Groq Inc.还表示,其已经创建了第一个运行模型的语言处理单元(LPU)。据官方介绍 ,LPU推理引擎是一种新型的端到端处理单元系统,可为具有顺序组件的计算密集型应用程序提供最快的推理,例如LLM。
在加入Groq之前,创始人兼首席执行官乔纳森·罗斯(Jonathon Ross)是谷歌人工智能芯片部门的联合创始人,该部门生产用于训练人工智能模型的尖端芯片。Ross表示,通过LPU,Groq绕过了GPU和CPU遇到的两个LLM瓶颈:计算密度和内存带宽。
就LLM而言,LPU比GPU和CPU具有更强大的计算能力。这减少了每个单词的计算时间,从而可以更快地生成文本序列。此外,消除外部内存瓶颈使LPU推理引擎能够在LLM上提供更高的性能,与GPU相比可以高出几个数量级开云网址。
Groq LPU具有80 TB/s带宽的海量并发性,具有230 MB本地SRAM容量。所有这些共同为Groq提供了出色的性能。根据LLMPerf排行榜,Groq LPU在7到700亿个参数的配置中推理LLM Llama方面击败了基于GPU的云提供商。在tokens吞吐量(输出)和第一个tokens的时间(延迟)方面,Groq处于领先地位,实现了最高的吞吐量和第二低的延迟。
近一年来,英伟达的GPU被视为运行AI模型的行业标杆,在AI热潮下英伟达的GPU日益变得稀缺且昂贵。现在早期结果表明,在AI模型训练方面,LPU可能会击败GPU,并成为英伟达A100和H100芯片的替代品。
虽然LPU是否会被业界大量采用仍是一个问题,但其所展示出来的超高推理性能已经或多或少挑战到英伟达、AMD和英特尔等GPU提供商的地位了。
如今,AI芯片越来越受到行业关注,不仅传统芯片制造商在关注,其他科技企业也对AI芯片展现出颇高的兴趣。包括OpenAI在内的主要人工智能企业正在寻求开发内部芯片,以降低对英伟达等芯片制造商的依赖。返回搜狐,查看更多