近日,中國長城旗下長城科技推出長城AIGC一體機(jī)。該款一體機(jī)基于長城擎天GF7280 V5 AI服務(wù)器和國產(chǎn)GPU,可應(yīng)用于大模型和傳統(tǒng)AI等場景,具有設(shè)計(jì)性能優(yōu)異、性價比高的特點(diǎn)。 大模型場景 01 技術(shù)創(chuàng)新 單臺支持70B-180B開源大模型FP16精度的私有數(shù)據(jù)微調(diào),常規(guī)70B以上模型微調(diào)需要2-3臺8卡滿配80G顯存的GPU才能完成,長城通過顯存擴(kuò)容方案,解決模型“放不下”問題,微調(diào)成本降低60%。 本地私有微調(diào)后,即可在原配置上推理,真正做到訓(xùn)推一體,在金融、新聞、政務(wù)、醫(yī)療、工業(yè)等專業(yè)性要求高的垂直領(lǐng)域,模型性能要求高(70B以上規(guī)模模型效果好),且對專業(yè)知識理解能力強(qiáng)(私有數(shù)據(jù)微調(diào)),長城訓(xùn)推一體給出了完美解決方案。 02 兼容主流生態(tài) 支持主流框架(Pytorch、Tensorflow、PaddlePaddle、ONNX Runtime、DeepSpeed、Colossal-AI),支持主流開源模型(LLama2、...