10 月 27 日消息，高通公司今日發(fā)布其新一代數(shù)據(jù)中心 AI 推理優(yōu)化解決方案：基于高通 AI200 和 AI250 芯片的加速卡和機(jī)架。

高通 AI200 推出一款專(zhuān)為機(jī)架級(jí) AI 推理設(shè)計(jì)的解決方案，旨在提供低擁有總成本（TCO）和優(yōu)化的性能，用于大型語(yǔ)言和多模態(tài)模型（LLM、LMM）推理和其他 AI 工作負(fù)載。每張卡支持 768GB 的 LPDDR 內(nèi)存，以實(shí)現(xiàn)更高的內(nèi)存容量和更低的成本。

高通 AI250 解決方案將采用基于近內(nèi)存計(jì)算（near-memory computing）的創(chuàng)新內(nèi)存架構(gòu)，通過(guò)提供超過(guò) 10 倍的內(nèi)存帶寬提升和降低功耗，為 AI 推理工作負(fù)載帶來(lái)更高的效率與性能。

這兩種機(jī)架解決方案均采用直接液冷技術(shù)以提高散熱效率，支持 PCIe 擴(kuò)展、以太網(wǎng)擴(kuò)展、機(jī)密計(jì)算以保障 AI 工作負(fù)載安全，以及 160 kW 的機(jī)架級(jí)功耗。

高通的超大規(guī)模 AI 軟件棧，從應(yīng)用層到系統(tǒng)軟件層覆蓋端到端，專(zhuān)為 AI 推理進(jìn)行了優(yōu)化。該棧支持領(lǐng)先的機(jī)器學(xué)習(xí)（ML）框架、推理引擎、生成式 AI 框架，以及 LLM / LMM 推理優(yōu)化技術(shù)（如解耦合服務(wù)）。開(kāi)發(fā)者可借助高通技術(shù)的 Efficient Transformers Library 和高通 AI 推理套件，實(shí)現(xiàn)模型的平滑上載和 Hugging Face 模型的一鍵部署。高通的軟件提供即用型 AI 應(yīng)用和代理、全面的工具、庫(kù)、API 和服務(wù)，用于 AI 的運(yùn)營(yíng)。

高通 AI200 和 AI250 預(yù)計(jì)分別于 2026 年和 2027 年商用。

截至發(fā)文，高通公司股價(jià)大漲 20%。