英特爾宣布，已經(jīng)建造了世界上最大的神經(jīng)形態(tài)系統(tǒng)，代號為Hala Point，這一大規(guī)模神經(jīng)形態(tài)系統(tǒng)最初部署在桑迪亞國家實驗室，采用英特爾的Loihi 2處理器，旨在支持未來以大腦啟發(fā)的AI研究，并解決當前AI在效率和可持續(xù)性方面的挑戰(zhàn)。Hala Point對英特爾第一代大規(guī)模研究系統(tǒng)Pohoiki Springs進行了架構(gòu)改進，神經(jīng)元容量提高了十倍以上，性能提升了多達十二倍。

英特爾實驗室神經(jīng)形態(tài)計算實驗室主任Mike Davies表示：“當今AI模型的計算成本正以不可持續(xù)的速度增長。因此，我們開發(fā)了Hala Point，它結(jié)合了深度學(xué)習(xí)效率與新穎的大腦啟發(fā)式學(xué)習(xí)和優(yōu)化能力。我們希望Hala Point的研究能夠推動大規(guī)模AI技術(shù)的效率和適應(yīng)性。”

Hala Point是第一個在主流AI工作負載上展示最先進計算效率的大規(guī)模神經(jīng)形態(tài)系統(tǒng)。性能測試顯示，它能支持高達20千萬億次(20 petaops)運算能力，當執(zhí)行常規(guī)深度神經(jīng)網(wǎng)絡(luò)時，效率超過每瓦特15萬億次8比特運算(TOPS/W)，這一性能不僅媲美，甚至超過了基于圖形處理單元(GPU)和中央處理單元(CPU)構(gòu)建的架構(gòu)。Hala Point的獨特能力未來可實現(xiàn)AI應(yīng)用的實時連續(xù)學(xué)習(xí)，例如科學(xué)和工程問題解決、物流、智慧城市基礎(chǔ)設(shè)施管理、大型語言模型(LLMs)及AI代理。

如何使用：桑迪亞國家實驗室的研究人員計劃利用Hala Point進行先進的大腦規(guī)模計算研究。該機構(gòu)將專注于解決設(shè)備物理學(xué)、計算機架構(gòu)、計算機科學(xué)和信息學(xué)領(lǐng)域的科學(xué)計算問題。

桑迪亞國家實驗室的Hala Point團隊負責人Craig Vineyard表示：“與Hala Point合作提升了我們桑迪亞團隊解決計算和科學(xué)建模問題的能力。利用這種規(guī)模的系統(tǒng)進行研究將使我們能夠跟上AI在從商業(yè)到國防再到基礎(chǔ)科學(xué)等領(lǐng)域的發(fā)展。”

目前，Hala Point是一個研究原型，將推動未來商業(yè)系統(tǒng)的能力發(fā)展。英特爾預(yù)計，此類經(jīng)驗教訓(xùn)將帶來實際進展，例如使大型語言模型(LLMs)能夠持續(xù)從新數(shù)據(jù)中學(xué)習(xí)。這樣的進展有望顯著減輕普遍部署AI的不可持續(xù)的訓(xùn)練負擔。

為什么這很重要：近期將深度學(xué)習(xí)模型擴展到數(shù)萬億參數(shù)的趨勢揭示了AI面臨的巨大可持續(xù)性挑戰(zhàn)，并突顯了在硬件架構(gòu)的最底層進行創(chuàng)新的必要性。神經(jīng)形態(tài)計算是一種全新的方法，它借鑒了神經(jīng)科學(xué)的見解，將存儲和計算與高度精細的并行性結(jié)合起來，以最小化數(shù)據(jù)移動。在本月的國際聲學(xué)、語音和信號處理會議(ICASSP)上發(fā)布的結(jié)果中，Loihi 2在效率、速度和適應(yīng)性方面展示了數(shù)量級的增益，這些增益適用于新興的小規(guī)模邊緣工作負載。

Hala Point在其前身Pohoiki Springs的基礎(chǔ)上進行了許多改進，現(xiàn)在將神經(jīng)形態(tài)性能和效率提升帶到了主流的傳統(tǒng)深度學(xué)習(xí)模型中，特別是那些處理實時工作負載如視頻、語音和無線通信的模型。例如，愛立信研究院正在利用Loihi 2優(yōu)化電信基礎(chǔ)設(shè)施效率，這一點在今年的世界移動通信大會上得到了強調(diào)。

關(guān)于Hala Point：基于Loihi 2神經(jīng)形態(tài)處理器構(gòu)建的Hala Point，采用了啟發(fā)于大腦的計算原理，例如異步的、基于事件的脈沖神經(jīng)網(wǎng)絡(luò)(SNNs)、集成化的內(nèi)存與計算以及稀疏且持續(xù)變化的連接，以實現(xiàn)能耗和性能的數(shù)量級提升。神經(jīng)元之間直接通信，而非通過內(nèi)存，從而減少了整體功耗。

Hala Point集成了1152個在Intel 4工藝節(jié)點生產(chǎn)的Loihi 2處理器，安裝在一個六機架單元數(shù)據(jù)中心機柜中，其大小相當于一個微波爐。該系統(tǒng)支持多達11.5億個神經(jīng)元和1280億個突觸，分布在140,544個神經(jīng)形態(tài)處理核心上，最大功耗為2600瓦。它還包括2300多個嵌入式x86處理器，用于輔助計算。

Hala Point將處理、內(nèi)存和通信通道集成在一個高度并行化的結(jié)構(gòu)中，提供總共16PB/s的內(nèi)存帶寬、3.5PB/s的核間通信帶寬和5TB/s的芯片間通信帶寬。該系統(tǒng)能夠每秒處理超過380萬億次8位突觸運算和超過240萬億次神經(jīng)元操作。

應(yīng)用于生物啟發(fā)的脈沖神經(jīng)網(wǎng)絡(luò)模型，該系統(tǒng)可以以人腦速度的20倍執(zhí)行其全部11.5億神經(jīng)元的容量，并在較低容量下達到高達200倍的速度。雖然Hala Point并非旨在進行神經(jīng)科學(xué)建模，但其神經(jīng)元容量大致相當于一只貓頭鷹的大腦或一只卷尾猴的大腦皮層。

基于Loihi的系統(tǒng)能夠在能耗低100倍的同時，比傳統(tǒng)的CPU和GPU架構(gòu)快50倍進行AI推理和解決優(yōu)化問題。通過利用最高10:1的稀疏連接和事件驅(qū)動活動，Hala Point的初步結(jié)果顯示，該系統(tǒng)能夠在不需要將輸入數(shù)據(jù)批處理(GPU常用的一種優(yōu)化，會顯著延遲實時到達的數(shù)據(jù)處理，如攝像機視頻)的情況下，達到高達15 TOPS/W的深度神經(jīng)網(wǎng)絡(luò)效率。雖然還在研究階段，未來能持續(xù)學(xué)習(xí)的神經(jīng)形態(tài)大型語言模型(LLMs)可能通過消除定期使用日益增長的數(shù)據(jù)集重新訓(xùn)練的需求，節(jié)省千兆瓦時的能源。

接下來：將Hala Point交付給桑迪亞國家實驗室標志著Intel計劃與其研究合作伙伴共享的一系列新型大規(guī)模神經(jīng)形態(tài)研究系統(tǒng)的首次部署。進一步的開發(fā)將使神經(jīng)形態(tài)計算應(yīng)用克服限制AI能力在真實世界實時部署的功耗和延遲約束。

與全球包括頂尖學(xué)術(shù)團體、政府實驗室、研究機構(gòu)和公司在內(nèi)的200多個Intel神經(jīng)形態(tài)研究社區(qū)(INRC)成員一道，Intel正努力推動以大腦為靈感的AI的邊界，并在未來幾年內(nèi)將這項技術(shù)從研究原型推進至行業(yè)領(lǐng)先的商業(yè)產(chǎn)品。