logo

  • 联系我们
  • APP
  • 简体中文

要做大模型“商店” ?字节跳动推出大模型服务平台“火山方舟”

6月28日,字节跳动旗下云服务平台火山引擎主办了“V-Tech体验创新科技峰会”。在会上,火山引擎发布大模型服务平台“火山方舟”,将面向企业提供模型精调、评测、推理等全方位的平台服务。

近期,中国企业官宣自家大模型的消息此起彼伏。在这股大模型浪潮下,中国最大的独角兽之一字节跳动终于也向外界披露了与大模型有关的最新消息。

根据火山引擎官方公众号消息显示,6月28日,字节跳动旗下云服务平台火山引擎主办了“V-Tech体验创新科技峰会”。在会上,火山引擎发布大模型服务平台“火山方舟”,将面向企业提供模型精调、评测、推理等全方位的平台服务(MaaS,即Model-as-a-Service)。

火山方舟

值得注意的是,不同于百度、阿里、腾讯等其他国内互联网科技企业,字节跳动此次发布的火山方舟不是自研大模型,而是大模型服务平台。火山引擎总裁谭待表示,“我们会把优选的大模型放上平台,供客户挑选使用。”在谭待看来,火山方舟如同一个大模型的“优选店”,基于火山方舟,企业可同步试用多个大模型,选用更适合自身业务需要的模型组合。

同时,谭待也表示:“火山方舟是个开放的平台。字节内部其他团队,如果做好了模型,大概也会上到方舟平台上对外提供,它在方舟上就是众多模型的一个

在火山引擎方面看来,未来的大模型市场将是一个百花齐放的多模型生态。未来企业自身对于大模型的应用,将会是一个“1+N”的应用模式,即一个主力模型和N个外部模型协作的模式。据介绍,火山方舟将打造一个由火山方舟模型提供方模型使用者共同组成的生态全景。

火山方舟生态全景

对模型提供方,通过 “火山方舟”能够以更低的成本触达海量客户,更小的代价在ToB市场实现规模化;严谨的安全互信机制,兼顾灵活性与安全性;源源不断的算力,形成最具竞争力的性价比。对模型使用者来说,通过 “火山方舟”可以便捷地接触到众多高质量的基座模型,一站式对接多家模型提供商,为不同场景选择最合适的模型。

具体来看,火山方舟基于大模型应用的工作习惯,打造了多个核心部分。模型广场”会有不同的模型供应商提供不同版本和尺寸的模型,用户可以直接与模型交互,调用推理API,接入生产环境;“模型评估”是“火山方舟”重点打造的环节入口,用户可以基于业务需求设计一套可量化的评估指标,在模型评估后挑选最合适的模型;“模型精调” 可以帮助客户利用自有数据进行持续训练,建设和积累自己的精调数据集,降低推理成本。

火山引擎智能算法负责人吴迪表示,一个经过良好精调的中小规格模型,在特定工作上的表现可能不亚于通用的、巨大的基座模型,而推理成本可以降低到原来的十分之一

同时,为了促进模型提供方和使用方的互信,“火山方舟”上线了基于安全沙箱的大模型安全互信计算方案,利用计算隔离、存储隔离、网络隔离、流量审计等方式,以实现模型的机密性、完整性和可用性,这一方案适用于对训练和推理延时要求较低的客户。

据官网介绍,火山方舟的行业场景包括汽车、金融、大消费、泛互联网和教育办公在汽车领域,火山方舟提供的服务有智能座舱交互、售后知识库、车辆健康监测和车辆操作指导等。在金融领域,火山方舟提供智能投研助手、智能风控、网店机器人、智能外呼等。大消费方面则有智能营销、智能客服、舆情分析和广告文案生成。在泛互联网方面有游戏人物构建和智慧数字人两种服务。教育办公则有智能协同办公和智能教育助理。

值得注意的是,英伟达是此次科技峰会上联合举办方英伟达开发与技术部亚太区总经理李曦鹏表示,英伟达与火山引擎过往合作成果丰硕。此前双方还联合开源了高性能图像处理加速库CV-CUDA,并在大规模稳定训练、多模型混合部署等方面的技术合作上取得成效。

未来英伟达和火山引擎团队将继续深化合作,包含在NVIDIA Hopper架构进行适配与优化、机密计算、重点模型合作优化、共同为重点客户提供支持,以及NeMo Framework适配等,携手助力大模型产业繁荣。

吴迪表示,火山方舟还在探索基于NVIDIA新一代硬件支持的可信计算环境、基于联邦学习的数据资产分离等多种方式的安全互信计算方案,更全面地满足大模型在不同业务场景的数据安全要求。

火山方舟

目前,抖音集团内部已有十多个业务团队试用“火山方舟”,在代码纠错等研发提效场景,文本分类、总结摘要等知识管理场景,以及数据标注、归因分析等方面探索,利用大模型能力促进降本增效。

火山引擎方面称,目前,“火山方舟”集成了百川智能、出门问问、复旦大学MOSS、IDEA研究院、澜舟科技、MiniMax、智谱AI等多家AI科技公司及科研院所的大模型,并已启动邀测。首批邀测企业包括了金融、汽车、消费等众多行业的客户。

“每一次技术的大变革,都会带来体验创新的新机会”,谭待表示,“火山方舟还在起步阶段,工具链和下游应用插件需要持续完善。未来,平台还将接入更多大模型,并逐步扩大邀测范围,与企业客户共建开放合作的多模型生态,加速大模型在各行各业的应用落地

免责声明:本文观点来自原作者,不代表Hawk Insight的观点和立场。文章内容仅供参考、交流、学习,不构成投资建议。如涉及版权问题,请联系我们删除。