LLMOps Appliance
星環(huán)LLMOps大模型一體機
7 種大語言模型、文生圖模型，盡在LLMOps Appliance
產(chǎn)品簡介
星環(huán)LLMOps大模型一體機（預(yù)裝了開箱即用的滿血版DeepSeek-R1-671B、Phi-4-14B、Gemma-3-27B、Llama-3.3-70B-Instruct、Stable-Diffusion-3.5-Large、Jina-Embeddings-v3、Jina-Reranker-v2-Base-Multilingual等7種大模型），深度融合軟硬件技術(shù)，為企業(yè)提供從模型開發(fā)到應(yīng)用落地的全生命周期解決方案，助力AI技術(shù)快速融入生產(chǎn)與業(yè)務(wù)場景。
核心組件
LLMOps軟件平臺
星環(huán)大模型運營平臺 Sophon LLMOps 是一款企業(yè)級大模型全生命周期運營管理平臺，旨在賦能企業(yè)用戶能敏捷、高效、有閉環(huán)地將大模型落地到生產(chǎn)和業(yè)務(wù)中去。Sophon LLMOps 打通并優(yōu)化了語料接入和開發(fā)、提示工程、大模型訓(xùn)練、知識抽取和融合、模型管理、應(yīng)用和智能體構(gòu)建、應(yīng)用部署、運維和監(jiān)控，以及業(yè)務(wù)效果持續(xù)提升等全鏈路流程。
硬件平臺
大模型一體機的硬件平臺支持大模型訓(xùn)練的極高算力負(fù)載需求。它通過軟硬件工程優(yōu)化，為各類 LLM 算法提供 GPU 加速訓(xùn)練，此外，還可以根據(jù)客戶的個性化需求提供定制化套餐。
高速 InfiniB and 400G 交換機
每個 400G IB 交換機安裝在 1U 標(biāo)準(zhǔn)機箱內(nèi)，并提供 64 個 NDR 400Gb/s InfiniBand 端口。單個交換機可承載 51.2 TB/s 的聚合雙向吞吐量和超過 665 億個數(shù)據(jù)包/秒 (BPPS) 的數(shù)據(jù)包轉(zhuǎn)發(fā)率。
主要特性
處理器
支持 64 核心以上 2.0GHz 以上主頻的 Intel Xeon 處理器 或AMD EPYC 處理器。
數(shù)據(jù)存儲
至少 3塊3.84T企業(yè)級 2.5 寸 NVMe U.2 PCIe 4.0 SSD，用于存儲模 型數(shù)據(jù)和訓(xùn)練數(shù)據(jù)，存儲容量超過 10TB。
內(nèi)存
支持1TB 以上DDR4或 DDR5 RDIMM ECC 內(nèi)存。
算力網(wǎng)絡(luò)
每個節(jié)點支持多達(dá)8 塊 400G 單口InfiniBand 或以太網(wǎng)網(wǎng)卡，用于組建算力通信網(wǎng)絡(luò)，單口網(wǎng)絡(luò)帶寬達(dá)400Gbps交換機進行高速互聯(lián)，構(gòu)建高速參數(shù)網(wǎng)絡(luò)。
AI 算力
每個節(jié)點8塊高性能 GPU，單卡FP16算力從147 TFLops到989 TFLops FP8算力從 296TFLops 到 1979 TFLops；每個節(jié)點FP16算力從 1176 TFLops 到 7912 TFLops，F(xiàn)P8 算力從 2368 TFLops 到 15832 TFLops。
體系架構(gòu)
硬件層
配置 2 顆高性能多核處理器，最多 8 塊高性能顯卡通過專用高速芯片互聯(lián)，提供 600GB/s 以上的帶寬，NVMe U.2 PCIe 4.0 SSD，順序讀速度達(dá)到 7000MB/s，順序?qū)懰俣冗_(dá)到 4000MB/s, 400G InfiniBand 網(wǎng)卡實現(xiàn)節(jié)點之間高速互聯(lián)， 10G/25G 網(wǎng)卡實現(xiàn)管理業(yè)務(wù)通信。
底層協(xié)議及軟件層
使用 RDMA 協(xié)議實現(xiàn)多節(jié)點 GPU 之間低延遲、高帶寬的通信，使用DOCKER 實現(xiàn)云原生服務(wù)，采用 CUDA、CUDNN 作為 AI 框架的底層軟件庫，采用 NCCL 實現(xiàn)高效的 GPU 之間 和節(jié)點之間高速通信。
AI 框架及工具層
預(yù)裝滿血版DeepSeek R1 671B、Phi、Gemma、Llama、Stable Diffusion、Jina等7種大模型，提供語料接入和開發(fā)、提示工程、大模型訓(xùn)練、知識抽取和融合、模型管理、應(yīng)用和智能體構(gòu)建、應(yīng)用部署、運維和監(jiān)控等功能。
應(yīng)用功能層
包括模型服務(wù)、知識服務(wù)、應(yīng)用服務(wù)等。
應(yīng)用場景
自然語言處理
DeepSeek R1 671B 能夠理解和生成自然語言文本，適用于機器翻譯、文本摘要、情感分析問答系統(tǒng)等場景。
數(shù)據(jù)分析
該模型可以處理和分析大量數(shù)據(jù)，幫助企業(yè)從數(shù)據(jù)中提取有價值的信息，用于市場分析、趨勢預(yù)測等。
智能推薦
DeepSeek R1 671B 可以根據(jù)用戶的歷史行為和偏好，提供個性化的內(nèi)容推薦，如商品推薦、新聞推薦等。
自動化客服
在客戶服務(wù)領(lǐng)域，DeepSeek R1 671B 可以實現(xiàn)自動化響應(yīng)，提高服務(wù)效率，降低人力成本。
教育和培訓(xùn)
模型可以用于在線教育平臺，提供個性化的學(xué)習(xí)體驗和智能輔導(dǎo)。
游戲和娛樂
在游戲行業(yè)，DeepSeek R1 671B 可以用于創(chuàng)建更智能的非玩家角色(NPC)，提供更豐富的互動體驗。
創(chuàng)意設(shè)計
生成創(chuàng)業(yè)視覺草圖，如電商Banner、宣傳圖片、視頻腳本等，加速創(chuàng)意落地。
體系架構(gòu)圖
拓?fù)浼軜?gòu)
大模型一體機的拓?fù)浼軜?gòu)由管理網(wǎng)絡(luò)和算力網(wǎng)絡(luò)組成:- 管理網(wǎng)絡(luò): 由 10G/25G 的一臺或兩臺萬兆交換機構(gòu)成；- 算力網(wǎng)絡(luò): 由一至兩臺400G 的 InfiniBand 交換機構(gòu)成，運行RDMA 協(xié)議，能夠充分實現(xiàn)高速、低延遲的協(xié)議優(yōu)勢。大模型一體機的主機部分是采用高速互聯(lián)芯片互聯(lián)的八張高端的 GPU 卡構(gòu)成，64G 以上的高速 PCIE 通信的帶寬，單卡顯存容量從 80GB 到141GB， 顯存帶寬從 2TB/s 到 4.8TB/s。
套餐詳情
GPU 模組性能參數(shù)
* 注： 針對密集矩陣運算進行了優(yōu)化，是大模型應(yīng)用的理想選擇
軟件套餐二選一
LLMOps 標(biāo)準(zhǔn)版 (針對大模型應(yīng)用構(gòu)建)
LLMOps 標(biāo)準(zhǔn)版專為構(gòu)建 GenAI及大模型應(yīng)用而設(shè)計，預(yù)裝了包含DeepSeek R1 671B等 7 種最新的、開箱即用的大語言模型和文生圖模型，您還可以從Hugging Face 下載更多的模型來擴展您的AI能力。LLMOps 標(biāo)準(zhǔn)版具備異構(gòu)模型管理、知識庫構(gòu)建、AI大模型應(yīng)用開發(fā)、多租戶及硬件算力調(diào)度等強大工具，以幫助您快速創(chuàng)建及部署個性化的 GenAI應(yīng)用。
LLMOps Pro版 (針對大模型的預(yù)訓(xùn)練和微調(diào))
LLMOps Pro版專為有大模型預(yù)訓(xùn)練和微調(diào)需求的客戶量身定制，提供一整套從語料處理、模型訓(xùn)練和算力調(diào)度的工具，以幫助客戶快速訓(xùn)練及微調(diào)自己的大模型。LLMOps Pro版涵蓋了標(biāo)準(zhǔn)版的所有功能和所有7種模型，并額外提供了企業(yè)級的AI模型運行、應(yīng)用開發(fā)和維護管理套件，從而為您的企業(yè)構(gòu)建堅實的AI護城河。
軟件功能
LLMOPS標(biāo)準(zhǔn)版使用場景
開箱即用的GenAI及大模型推理
海量模型統(tǒng)一管理
基于私有語料的知識庫構(gòu)建
高效的AI智能體及應(yīng)用開發(fā)
安全的多租戶隔離及管理
硬件算力資源調(diào)度
LLMOPS Pro版使用場景
大模型預(yù)訓(xùn)練及微調(diào)
豐富的語料處理工具，賦能高質(zhì)量模型落地
所有標(biāo)準(zhǔn)版具備的功能和模型
星環(huán)科技,構(gòu)建明日數(shù)據(jù)世界
