前一陣子，Groq芯片刷屏了，據(jù)說Groq芯片計算速度遠(yuǎn)遠(yuǎn)超過英偉達(dá)GPU，經(jīng)網(wǎng)友測試，Groq每秒生成速度接近500 tok/s，碾壓GPT-4的40 tok/s。Groq是一家成立于2016年的AI創(chuàng)企，據(jù)其官網(wǎng)介紹，LPU是一種專為AI推理所設(shè)計的芯片。LPU的工作原理與GPU截然不同。它采用了時序指令集計算機（Temporal Instruction Set Computer）架構(gòu)，這意味著它無需像使用高帶寬存儲器（HBM）的GPU那樣頻繁地從內(nèi)存中加載數(shù)據(jù)。當(dāng)然，Groq也受到了廣泛的質(zhì)疑，主要的點在于，Groq LPU芯片相當(dāng)于是去掉了HBM，而只是依靠SRAM來計算，Groq極高的速度是建立在很有限的單卡吞吐能力上的。要保證和 H100同樣吞吐量，你就需要更多的卡，因此其實際成本并不低。媒體熱炒的話題，所謂Groq取代英偉達(dá)GPU的可能性，這個主題很吸引眼球，但其實是故弄玄虛，兩者是不同類型的產(chǎn)品，不存在誰取代誰的問題。正如Groq創(chuàng)始人Jonathan Ross強調(diào)的，Groq面向的是大模型推理場景，它只是一款推理用ASIC加速芯片，只能適用特定的模型，而且性價比也不高。英偉達(dá)的GPU產(chǎn)品是通用的，而Groq的產(chǎn)品形態(tài)是ASIC，它不是通用產(chǎn)品，而是一個定制產(chǎn)品。簡單點來說，任何一個人工智能算法都可以使用英偉達(dá)的H200，但只有Mixtral和Llama 2才能使用Groq的LPU。大模型公司想要使用Groq的產(chǎn)品，還需要先確定需求和指定規(guī)格，再進行功能驗證，最后生產(chǎn)出來的產(chǎn)品才能使用。人工智能算力的主要兩個應(yīng)用場景：訓(xùn)練和推理。訓(xùn)練市場顯然英偉達(dá)GPU已經(jīng)沒有對手，但推理市場的競爭才剛剛開始。今年早些時候，瑞銀分析師估計 90% 的芯片需求來自訓(xùn)練，而這一推論到明年只會推動 20% 的市場份額。推理增長的速度可能比之前預(yù)期的要快。盡管Groq的LPU在速度和成本上具有明顯優(yōu)勢，但它目前主要針對的是推理任務(wù)，而不是模型訓(xùn)練。在AI領(lǐng)域，模型訓(xùn)練和推理是兩個截然不同的過程，前者需要大量的計算資源和時間，而后者則更注重速度和響應(yīng)時間。目前，英偉達(dá)的GPU在模型訓(xùn)練方面仍然占據(jù)主導(dǎo)地位，而Groq的LPU在這方面的表現(xiàn)尚不得而知。Groq的創(chuàng)新點：1、LPU 推理引擎，這是Groq創(chuàng)建的一種新型的端到端處理單元系統(tǒng)，可為具有順序組件的計算密集型應(yīng)用程序提供最快的推理，例如 AI 語言應(yīng)用程序 (LLM) ）。它的核心技術(shù)其實是一個名叫TSP的微架構(gòu)設(shè)計，全稱叫做張量流處理器，Tensor Streaming Processor，TSP。2、可擴展計算架構(gòu)，比傳統(tǒng)的GPU，GroqChip? 1具有更簡化的編程模型，更高的響應(yīng)速度以及更可靠的執(zhí)行。該芯片擁有多個特色組件，包括高速網(wǎng)絡(luò)、數(shù)據(jù)交換器、指令控制、SRAM內(nèi)存以及Groq TruePoint?矩陣，使其具備了強大的計算能力和靈活性。3、編譯器創(chuàng)新，公司開發(fā)了一種將LLM處理得像編寫軟件程序一樣的方法，并設(shè)計構(gòu)建了能在其上運行編譯后LLM代碼的芯片級硬件，編譯器可以對程序執(zhí)行進行精確控制，從而提高了執(zhí)行效率，實現(xiàn)了“軟件定義硬件”的機會。Groq是否比英偉達(dá)GPU先進？是否能取代英偉達(dá)？是否能取得商業(yè)成功？大部分看客可能只關(guān)心這些問題的結(jié)果，但我覺得這些其實并不是關(guān)鍵，關(guān)鍵在于，在英偉達(dá)如日中天的時候，有一家小公司八年磨一劍，敢于對業(yè)界霸主亮劍，敢于對英偉達(dá)說不，讓大家看到說：“哦，原來英偉達(dá)并不一定是唯一的正確答案?！币灿匈Y本愿意為其創(chuàng)新買單，支持其從應(yīng)用需求的本源出發(fā)進行創(chuàng)新。至于Groq是不是能挑戰(zhàn)成功，那要看天時地利人和，但AI芯片領(lǐng)域波濤洶涌，隨著Groq的冒頭，必然還會涌現(xiàn)出更多大量創(chuàng)新級別的產(chǎn)品。反觀國內(nèi)的一波明星GPU，也是百花齊放紅極一時，每家融資幾十億規(guī)模，似乎絕大部分只是在跟隨英偉達(dá)、模仿英偉達(dá)、想成為英偉達(dá)，或者說想成為英偉達(dá)在國內(nèi)的替代品，大量的資本也鼓勵這么做，并在二級市場上熱炒那些其實一點不相關(guān)的概念，至于我們這些公司，是否有意愿有能力在這個領(lǐng)域敢于投入真正的創(chuàng)新？哪怕是在架構(gòu)或生態(tài)上有一點自己的想法？文章來源于土人觀芯，作者土人觀芯