700億參數LLaMA2訓練加速195% 開箱就能用從8到512卡全部支持

2023-09-05 16:33:08 編輯：闕珊巧來源：

導讀 LLaMA2訓練微調推理，針對700億版本，訓練加速195%，同時能基于云平臺實現無代碼訓練有個性私有化模型，并一鍵部署。LLaMA2的預訓練，預料...

LLaMA2訓練微調推理，針對700億版本，訓練加速195%，同時能基于云平臺實現無代碼訓練有個性私有化模型，并一鍵部署。LLaMA2的預訓練，預料大部分都來自于英文通用知識，如果僅僅只是使用微調，只能夠提升以及注入的領域知識我多語言能力也非常有限，并且也只能夠以私有化的形式保存下來。

針對這個問題，推出以低成本預訓練、繼續預訓練以及微調的方式，對于大模型系列做相關的調整，結合高質量私有化業務數據積累，能夠有效的幫助企業降低生產成本。Colossal-AI開源了針對LLaMA2的全流程方案，并且具備極高的可拓展性。從70億到700億的參數模型，以及從8卡到512卡都能夠保持更好的性能，在利用率方面也處于當前行業當中排名較靠前的地位。