新聞中心
News
分類>>星空體育官方網(wǎng)站攜英特爾?至強(qiáng)?CPU Max系列寶德服務(wù)器為大模型推理提供澎湃算力
2024-08-14 00:31:09
瀏覽次數(shù)：
次
返回列表星空體育官方網(wǎng)站攜英特爾?至強(qiáng)?CPU Max系列寶德服務(wù)器為大模型推理提供澎湃算力AI大模型空前火爆，應(yīng)用服務(wù)加速，正在走進(jìn)人們的工作和生活。其中，大語言模型（LLM）以其在圖像、語音、自然語言處理等方面表現(xiàn)出的卓越能力，使其成為最
一直以來，英特爾以廣泛的AI硬件和軟件組合助力大語言模型的普及，推動(dòng)AI發(fā)展惠及各行各業(yè)。其中，英特爾?至強(qiáng)?可擴(kuò)展處理器以其原生AI加速能力和全面提升的整體性能，充分滿足大模型工作負(fù)載以及復(fù)雜AI計(jì)算場景的需求。
英特爾?至強(qiáng)?可擴(kuò)展處理器具有英特爾高級矩陣擴(kuò)展（AMX）的AI加速功能，有全新的指令集與電路設(shè)計(jì)，可幫助諸如圖像識別、對象探測等任務(wù)中的張量處理獲得多倍效率提升，并可用于INT8、BF16等不同數(shù)據(jù)格式以加速深度學(xué)習(xí)訓(xùn)練和推理工作負(fù)載等多種類型的AI模型，性能高達(dá)上一代10倍。
在此基礎(chǔ)上，英特爾?至強(qiáng)?CPU Max系列更是大模型的算力擔(dān)當(dāng)，它每顆CPU提供64GB的高帶寬內(nèi)存（HBM2E），兩顆共128GB，有效解決大語言模型工作負(fù)載經(jīng)常受到內(nèi)存帶寬限制的窘境。數(shù)據(jù)顯示，其針對建模、人工智能、深度學(xué)習(xí)、高性能計(jì)算 (HPC) 和數(shù)據(jù)分析等實(shí)際工作負(fù)載的性能提升了 4.8 倍。
寶德自研雙路服務(wù)器PR2715E，支持兩顆英特爾?至強(qiáng)?CPU Max系列星空體育官方網(wǎng)站，以比較基礎(chǔ)的32核心+64GB HBM緩存的Max 9462為例，該產(chǎn)品就可輕松支持60B參數(shù)下8路推理需求。它采用CPU+GPU異構(gòu)計(jì)算設(shè)計(jì)，有8個(gè)標(biāo)準(zhǔn)PCIe5.0插槽，可以支持8張單寬或3張雙寬包括英特爾?GPU Flex系列的GPU計(jì)算卡，強(qiáng)大的AI算力和安全技術(shù)，能夠?yàn)榇竽Ｐ虯I推理工作負(fù)載加速和護(hù)航。另外，該機(jī)型有32個(gè)DDR5內(nèi)存插槽，最大可支持8TB，支持400Gb/s高速網(wǎng)絡(luò)，優(yōu)化低延遲應(yīng)用體驗(yàn)；它最大支持12個(gè)2.5”( 3.5”)和4個(gè)后置2.5 ” SATA/SAS/NVMe熱插拔硬盤，或24個(gè)2.5”SATA/SAS/NVMe和2個(gè)后置2.5 ”SATA/SAS熱插拔硬盤，支持內(nèi)置1個(gè)M.2（NVMe/SATA），保障了整機(jī)性能的強(qiáng)勁可靠。此外，PR2715E支持液冷散熱方案，通過選用冷板液冷方案，可以有效減少AI大模型算力集群和數(shù)據(jù)中心的整體碳排放和顯著降低客戶TCO（總體擁有成本）。
尤其值得一提的是，寶德四子星服務(wù)器PR2745TE，在2U 機(jī)架中提供多達(dá) 4個(gè)雙路節(jié)點(diǎn)和高容量存儲(chǔ)，使得它1臺服務(wù)器就可以支持多達(dá)八顆英特爾?至強(qiáng)?CPU Max系列，從而完美支持60B參數(shù)下32路推理需求。而且，它在2U規(guī)格內(nèi)提供超常的吞吐量、存儲(chǔ)、網(wǎng)絡(luò)、I / O、內(nèi)存和處理能力，形成一個(gè)靈活的平臺,為要求苛刻的AI、高性能和橫向擴(kuò)展等工作負(fù)載提供強(qiáng)勁動(dòng)力。PR2745TE為簡化部署和維護(hù)而設(shè)計(jì)，并以最高質(zhì)量組裝，以確保最大容量的連續(xù)操作?？蛻艨梢酝ㄟ^它提供的解決方案滿足最具挑戰(zhàn)性的IT 需求，并受益于特殊的總擁有成本(TCO)。 作為業(yè)界雙子星/多子星服務(wù)器的首創(chuàng)，寶德四子星服務(wù)器久經(jīng)市場考驗(yàn)，已經(jīng)幫助AI用戶、數(shù)據(jù)中心、 高性能計(jì)算和云計(jì)算環(huán)境的客戶獲得了來自數(shù)據(jù)中心資源的強(qiáng)大競爭優(yōu)勢，也將是大模型推理應(yīng)用堅(jiān)實(shí)的算力基礎(chǔ)之一。
AI大模型空前火爆，應(yīng)用服務(wù)加速，正在走進(jìn)人們的工作和生活。其中，大語言模型（LLM）以其在圖像、語音...
收購風(fēng)險(xiǎn)軟件提供商Kamakura未滿18個(gè)月,SAS即領(lǐng)銜Chartis風(fēng)險(xiǎn)技術(shù)領(lǐng)導(dǎo)者象限,助力金融公司全方位監(jiān)管信...
近日， 58同城、安居客數(shù)智化研究成果云洞察榮獲由中國房地產(chǎn)協(xié)會(huì)評選的2023年房地產(chǎn)行業(yè)數(shù)字經(jīng)濟(jì)應(yīng)用...
前不久，中央金融工作會(huì)議明確提出金融強(qiáng)國目標(biāo)，會(huì)議首次提出做好科技金融、綠色金融、普惠金融、養(yǎng)老...
天山雪色連蒼莽，河水如帶繞草原。12月26日，全新一代純正五十鈴高能進(jìn)階皮卡T30探險(xiǎn)家新疆上市震撼來襲...
隨著新質(zhì)生產(chǎn)力成為2023年度流行語之一，其帶動(dòng)的一系列科技創(chuàng)新，也成為推動(dòng)傳統(tǒng)制造業(yè)升級的關(guān)鍵驅(qū)動(dòng)...
2024新年臨近,備受花粉期待的華為感恩回饋季如期而至。今年的華為感恩回饋季以同心聚力 年年有為為主題...
12月6日，由中國信息通信研究院、中國通信標(biāo)準(zhǔn)化協(xié)會(huì)大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會(huì)（CCSA TC601）共同主辦...
茶有百味,喝茶除了品味那份醇香,更多的是感受那份時(shí)光帶來的溫馨與愛意。鳴盞熟水茶吧機(jī)作為家居生活中...
距離元旦節(jié)越來越近了,很多打工人的心也早就飄遠(yuǎn)了。雖然只有三天小長假,但是早早地就計(jì)劃好了要玩什么,...
AI大模型空前火爆，應(yīng)用服務(wù)加速，正在走進(jìn)人們的工作和生活。其中，大語言模型（LLM）以其在圖像、語音...
收購風(fēng)險(xiǎn)軟件提供商Kamakura未滿18個(gè)月,SAS即領(lǐng)銜Chartis風(fēng)險(xiǎn)技術(shù)領(lǐng)導(dǎo)者象限,助力金融公司全方位監(jiān)管信...
黨的二十大報(bào)告指出，到二〇三五年，我國要基本實(shí)現(xiàn)國家治理體系和治理能力現(xiàn)代化，全過程人民制度...
隨著我國人均GDP超過10000美元，正式跨入中等收入國家門檻。普通中國人的生活方式早已發(fā)生了翻天覆地的...
過去,對于神經(jīng)酸這一成分的安全性一直存在疑慮和爭議。然而,最新的研究進(jìn)展為我們揭示了神經(jīng)酸在嬰幼兒...
嗨嘍,寶子們,員工摘鏡分享來啦~話不多說,趕緊來看看吧!【姓名】:張張【職位】:行政專員【術(shù)式】:千頻優(yōu)...
2023年12月23日，由江西首席信息官聯(lián)盟主辦，物聯(lián)網(wǎng)產(chǎn)業(yè)創(chuàng)新中心承辦的江西企業(yè)CIO聯(lián)盟AI人工智能論壇成...
2023年12月11日～12月13日，繫康萬家深度合作伙伴嘉會(huì)醫(yī)療領(lǐng)導(dǎo)一行前往日本，由上海嘉會(huì)國際醫(yī)院醫(yī)療院...
近日， 58同城、安居客數(shù)智化研究成果云洞察榮獲由中國房地產(chǎn)協(xié)會(huì)評選的2023年房地產(chǎn)行業(yè)數(shù)字經(jīng)濟(jì)應(yīng)用...
前不久，中央金融工作會(huì)議明確提出金融強(qiáng)國目標(biāo)，會(huì)議首次提出做好科技金融、綠色金融、普惠金融、養(yǎng)老...
天山雪色連蒼莽，河水如帶繞草原。12月26日，全新一代純正五十鈴高能進(jìn)階皮卡T30探險(xiǎn)家新疆上市震撼來襲...
12月22日上午，婁底市政府副市長伍鵠帶隊(duì)調(diào)研抖鑫硒谷農(nóng)業(yè)產(chǎn)業(yè)園，考察鮮舞茸與鮮銀耳的出菇房、包裝車...
近些年,控糖作為一種健康生活理念開始在大眾中傳播開來,因此出現(xiàn)了控糖主義,即控制糖的攝入量,注意飲食...
隨著集成電路制造技術(shù)和工藝水平的不斷提高, CPU日漸朝著高集成化、小型化和多功能化趨勢發(fā)展, 導(dǎo)致CP...
隨著新質(zhì)生產(chǎn)力成為2023年度流行語之一，其帶動(dòng)的一系列科技創(chuàng)新，也成為推動(dòng)傳統(tǒng)制造業(yè)升級的關(guān)鍵驅(qū)動(dòng)...
2024新年臨近,備受花粉期待的華為感恩回饋季如期而至。今年的華為感恩回饋季以同心聚力 年年有為為主題...
12月6日，由中國信息通信研究院、中國通信標(biāo)準(zhǔn)化協(xié)會(huì)大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會(huì)（CCSA TC601）共同主辦...
同一個(gè)班級、同一個(gè)老師，孩子之間卻總有差距。其實(shí)最主要的原因還是在于周末和晚上的居家時(shí)間。家庭是...
城市向上，商業(yè)向新。深耕佛山商業(yè)7年后，越秀商管悅匯廣場產(chǎn)品線首個(gè)作品悅匯廣場南海12月24日全...
