|
股票
豆包提出全新稀疏架构 推理成本较MoE最高可降83%
来源:
证券时报网
媒体
2025-02-12 12:37:48
(原标题:豆包提出全新稀疏架构 推理成本较MoE最高可降83%)
证券时报e公司讯,随着模型规模的扩大,推理成本和访存效率已成为限制大模型规模应用的关键瓶颈。近期,字节跳动豆包大模型团队提出了全新的稀疏模型架构UltraMem,该架构有效解决了MoE推理时高额的访存问题,推理速度较MoE架构提升2—6倍,推理成本最高可降低83%。该研究还揭示了新架构的Scaling Law,证明其不仅具备优异的Scaling特性,更在性能上超越了MoE。实验结果表明,训练规模达2000万value的UltraMem模型,在同等计算资源下,可同时实现业界领先的推理速度和模型性能,为构建数十亿规模value或expert开辟了新路径。
相关个股
更多关联个股
相关阅读
上海印发《上海市市场监督管理局开展优化消费环境三年行动若干措施》
证券时报网
2025-07-08
豫能控股:豫能台前2×1000MW煤电项目获得核准
证券时报网
2025-07-08
立华股份:6月肉鸡销售收入9.42亿元 同比下降21.3%
证券时报网
2025-07-08
天津自贸试验区在全国率先推出公平竞争审查优先通过工作机制
证券时报网
2025-07-08
朗博科技:上半年净利同比预增49.51%到66.12%
证券时报网
2025-07-08
赛象科技:中标5.33亿元空客天津飞机大部件运输工装夹具项目
证券时报网
2025-07-08
特别推荐
刚刚!三大利好齐发
证券之星资讯
2025-07-08
昊创瑞通IPO:近八成收入依靠国家电网,研发实力弱于同行,账面资金充足下仍募资补…
证券之星资讯
2025-07-08
券商今日金股:4份研报力推一股(名单)
证券之星资讯
2025-07-08
首页
股票
财经
基金
导航