|
股票
豆包提出全新稀疏架构 推理成本较MoE最高可降83%
来源:
证券时报网
媒体
2025-02-12 12:37:48
(原标题:豆包提出全新稀疏架构 推理成本较MoE最高可降83%)
证券时报e公司讯,随着模型规模的扩大,推理成本和访存效率已成为限制大模型规模应用的关键瓶颈。近期,字节跳动豆包大模型团队提出了全新的稀疏模型架构UltraMem,该架构有效解决了MoE推理时高额的访存问题,推理速度较MoE架构提升2—6倍,推理成本最高可降低83%。该研究还揭示了新架构的Scaling Law,证明其不仅具备优异的Scaling特性,更在性能上超越了MoE。实验结果表明,训练规模达2000万value的UltraMem模型,在同等计算资源下,可同时实现业界领先的推理速度和模型性能,为构建数十亿规模value或expert开辟了新路径。
相关个股
更多关联个股
相关阅读
在摸索与创新长跑中前行:恒坤新材的半导体材料突围战
证券时报网
2025-07-18
国内商品期货夜盘收盘 玻璃涨近5%
证券时报网
2025-07-18
进军碳化硅市场 芯联集成拟58.97亿元购买芯联越州72.33%股权
证券时报网
2025-07-18
氧化铝主力合约涨超6%
证券时报网
2025-07-18
中央企业,增加值5.2万亿!国务院国资委最新公布
券商中国
2025-07-18
东方财富,最新公告!实控人父亲拟转让1%股份,最新回应
券商中国
2025-07-18
特别推荐
东方明珠去年超九成净利润用于分红,核心板块增长乏力,公司业绩连续多年低迷
证券之星资讯
2025-07-18
体检10年未预警癌症,爱康国宾卷入“假体检”风波,爱康集团门店数量不及竞对三分之…
证券之星资讯
2025-07-18
大举买入!央行出手
证券之星资讯
2025-07-18
首页
股票
财经
基金
导航