对大模型推理成本的优化，可通过很多技术手段实现。首先是模型本身，模型结构、训练方法都可以持续改进，包括业界很关注的MoE(混合专家模型)，就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大，优化推理成本的空间也越大。以前的模型都是单机推理，大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好，推理成本就会大大降低。
从浪潮信息发布的“源2.0-M32”开源大模型来看，其基于“源2.0”系列大模型已有工作基础，创新提出和采用了“基于注意力机制的门控网络”技术，构建包含32个专家(Expert)的混合专家模型(MoE)，并大幅提升了模型算力效率，模型运行时激活参数为37亿，在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
网友评论更多
972诸葛艺桦i
消费端碳排放研究报告发布⚝🐷
2024/06/05 推荐
187****9233 回复 184****4448：高考选择药物推迟经期有用吗📚来自白银
187****5831 回复 184****1444：与大众合作夭折后，雷诺或联手中国企业开发低价电动车🏦来自鄂州
157****2718：按最下面的历史版本🤚♢来自柳州
1006史青芬56
粤港澳大湾区最长城际贯通 提速一小时生活圈🤺⚛
2024/06/04 推荐
永久VIP：尼日尔军方废除尼法所有安全协议，并要求法军9月3日前撤出🈸来自辛集
158****3942：各地优化调整房地产政策多地楼市活跃度不断攀升🚄来自兖州
158****9605 回复 666⏩：400年的张小泉，把压力传给了“二代”❺来自延吉
198司空纯心tn
曝北约国家无人机首次攻击俄本土🚯♮
2024/06/03 不推荐
季富婷om：四川通信管局组织召开“满格天府”专项行动第一次厅际联席会议🧟
186****7924 回复 159****4472：农业农村部公布209家珍贵濒危水生动物增殖放流苗种供应单位🍱