群雄争霸多模态大模型

21世纪经济报道记者雷晨 北京报道  随着AI技术演进和应用场景的不断拓宽，多模态交互已经成为AI应用的重要趋势之一。

海内外科技企业相继布局AI视频生成赛道。比如，继今年2月首次发布Sora后，OpenAI近期正式上线Sora，并向包括美国在内的多数国家用户开放，用户可在OpenAI官网上体验Sora。

国内方面，字节跳动、快手、智谱AI、阿里云等科技企业纷纷发力视频生成模型。

与此同时，多模态AIGC市场规模有望持续增长。根据Omdia预测，全球生成式AI市场在未来五年将迎来爆发式增长，预计从2024年的146亿美元增长到2029年的728亿美元，增长幅度为五倍。

12月18日，2024火山引擎FORCE原动力大会在上海举办，火山引擎总裁谭待在接受21世纪经济报道等媒体采访时指出，大模型的商业化潜力巨大，同时，随着模型能力的提升，能解决的问题越来越多，应用的形态也将发生变化。

谈及市场竞争，谭待表示，目前大模型市场仍处于早期阶段，因此豆包大模型更关注用户需求。他认为，只有通过推出好的模型和合理的价格，才能让更多用户使用，进而产生更多反馈和创新。

豆包发布视觉理解模型

研究显示，人类接受的信息超过80%来自视觉。视觉理解将极大地拓展大模型的能力边界，同时也会降低人们与大模型交互的门槛，为大模型解锁更丰富的应用场景。

12月18日，字节跳动正式发布豆包视觉理解模型。

谭待表示，聊天功能是很基础的功能，在工作、教育等各种场景都可能用到，但要加上深度推理、图像视觉理解等能力，才能处理更复杂的任务，解锁更多场景。这也是模型发展空间越来越大的前提。

他认为，豆包视觉理解模型解锁了一个很大的场景。

“因为语言是描述世界的，但理解事情首先得靠视觉，就像我们坐在一起聊天，得看到、感觉到事物，再说出信息交互，所以视觉理解对大模型的调用量和场景会有很大帮助。”谭待说。

记者获悉，当前，豆包视觉理解模型的内容识别能力已经覆盖图像知识、动作情绪、位置状态、中国传统文化、文字信息、理解和推理能力（图表、数学、逻辑、代码等），以及更细腻的视觉描述能力（细节描述、指令遵循、多种文体创作等）。

值得一提的是，豆包视觉理解模型千tokens输入价格仅为3厘，一元钱就可处理284张720P的图片，比行业价格便宜85％，以更低成本推动AI技术普惠和应用发展。

谭待指出，豆包大模型市场份额的增长，得益于火山引擎“更强模型、更低成本、更易落地”的发展理念，让AI成为每一家企业都能用得起、用得好的普惠科技。

他还表示，更低成本、更低门槛的多模态交互，能够在教育、电商、旅游、门店管理、金融、医疗等领域极大地拓展AI应用的场景和边界，在各行业加速推动大模型的落地。

大模型高速发展

“今年是大模型高速发展的一年。当你看到一列高速行驶的列车，最重要的事就是确保自己要登上这趟列车。通过AI云原生和豆包大模型家族，火山引擎希望帮助企业做好AI创新，驶向更美好的未来。”谭待说。

今年以来，海内外多家科技企业积极投入资源押注视频生成产品，持续研发和迭代相关产品。

比如，相较于今年2月份首次发布的版本，OpenAI在12月10日上线的Sora新增Storyboard、Remix、Re-cut等功能，视频再创作能力大幅提升，还优化了视频生成速度及生成方式。

国内公司也紧随其后，纷纷发力AI视频生成产品。

6月，快手发布可灵AI视频生成大模型，其主要功能包括文生视频、图生视频、视频续写等，可生成长达2分钟、分辨率达1080P的视频。

7月，智谱AI上线视频生成产品智谱清影，并且在11月进行全新升级，支持生成时长为10秒的4K超高清视频。智谱清影还引入CogSound模型，可为生成的视频添加背景音乐。

8月，字节跳动推出即梦AI一站式创作平台，11月宣布即梦AI两大视频模型S2.0Pro和P2.0Pro正式全量上线。

记者获悉，近日，字节跳动视频生成模型PixelDance已在豆包电脑版正式开启内测，部分用户已开通体验入口。内测页面显示，用户每日可免费生成10个视频。

PixelDance视频生成模型于9月底首次发布，最早通过即梦AI、火山引擎面向创作者和企业客户小范围邀测，外部对其多镜头组合、运镜切换及人物运动能力评价较好。

据早期内测创作者介绍，当PixelDance生成10秒视频时，切换镜头3~5次的效果最佳，场景和角色能保持很好的一致性。通过小幅度、渐进式的提示词描述，PixelDance能生成魔术般的特效。此外，用户还可使用时序提示词、长镜头等技巧，增强视频的复杂度和表现力，对剧情创作非常友好。

目前，基于该模型的视频生成能力已在豆包电脑版陆续开放。豆包相关负责人表示，未来仍将持续开放和优化该功能，更好地帮助普通用户创作和表达。

行业应用落地加速

当前，大模型正在向各行各业加速渗透。

以豆包大模型为例，它已经与八成主流汽车品牌合作，并接入到多家品牌的手机、PC等智能终端，覆盖终端设备约3亿台，来自智能终端的豆包大模型调用量在近半年时间内增长100倍。

数据显示，截至12月中旬，豆包通用模型的日均tokens使用量已超过4万亿，较七个月前首次发布时增长了33倍。

在企业端的实践中，最近3个月，豆包大模型在信息处理场景的调用量增长了39倍，客服与销售场景增长16倍，硬件终端场景增长13倍，AI工具场景增长9倍，学习教育等场景也有增长。

“大模型本身在很多场景，特别是生产力场景里面会非常‘大’。这些场景与生产力性能、商业场景相关，增速并不比聊天类场景慢，现在呈现多元化发展。”谭待表示。

商业化方面，Omdia报告指出，生成式AI已经在各行各业得到广泛应用，尤其是在开源和专有大型语言模型（LLM）的推动下，生成式AI已经覆盖了120个行业应用场景。

根据中国互联网络信息中心（CNNIC）发布的《生成式人工智能应用发展报告〔2024〕》，截至2024年6月，我国生成式人工智能产品的用户规模已达到2.3亿人，占整体人口的16.4%。