大模型落地元年,讯飞星火如何率先实现商业化落地? 一起来看看!

时间:2024-05-07 16:01:28 编辑:

导读 【大模型落地元年,讯飞星火如何率先实现商业化落地?】具体的是什么情况呢,跟随小编一起来看看! 市场已经达成了充分共识,大模型必须深...

【大模型落地元年,讯飞星火如何率先实现商业化落地?】具体的是什么情况呢,跟随小编一起来看看!

市场已经达成了充分共识,大模型必须深入落地到具体应用之中才能发挥优势。去年至今,各式各样的通用及行业大模型层出不穷——仅在国内备案通过的大模型就达117款之多。

群雄逐鹿之后,大模型开始真正进入商业化落地元年,国内几家头部科技公司纷纷开始加快大模型落地应用布局,在金融、汽车、运营商、政务等多个领域率先开始实践。

“百模大战”之后,谁将在商业化落地过程中脱颖而出?大模型商业化元年,又该如何加速落地?如何才能完成商业化与技术迭代的闭环?

行业场景复杂,大模型需要更灵活的落地方式

过去一年多来,国内科技公司在大模型上的追赶进步飞快。模型能力不断提升,参数规模也越来越大。仅在去年10月,我国10亿参数规模以上的大模型产品就已超200家,今年更是不断有千亿乃至万亿规模的大模型问世。

但在模型能力不断提升的同时,大模型的商业化落地应用却迟迟未能更进一步。比如面向C端市场,大模型产品的普遍商业模式是会员制订阅服务,但仅凭单一的订阅服务很难平衡大模型的运算成本。此前就有外媒报道称微软的 Github Copilot仍处在亏损之中。

一些面向B端的大模型产业则面临着模型能力和算力成本的双重困境。一些大模型产品适用性不强,无法解决特定行业的复杂任务。算力成本也在制约着企业客户转向大模型的决心,部分企业开始尝试使用开源模型,但却带来了隐私和数据安全的风险。

和过去面向C端的通用大模型不同,不同行业、不同场景对大模型的需求不同,很难以一套固定的准则来将大模型简单粗暴地嫁接到不同应用场景之下。大模型必须需要具备高度的可定制化和较强的适应性,才能在各种复杂场景中落地。

但这并不容易。比如大模型能力与成本问题。模型参数越大,精度越高,但与之对应的是算力成本高涨。一些声音认为应该尽可能将模型做小,用更低的成本、更快的运行效率来推动行业落地,但模型的适用性和准确率却会大打折扣。

科大讯飞旗下的讯飞星火大模型试图从技术手段上平衡模型能力与算力成本,在保证模型能力性能不变或者损失很小的情况下,可以将模型尽可能做小。大模型应该像一根如意金箍棒一样,可大可小,这样才能满足不同应用场景下的需要。

以最近大热的长文本能力为例。为了解决大模型的应用效率和准确率问题,科大讯飞对讯飞星火V3.5进行了重要的模型剪枝和蒸馏,从而推出了业界性能最优的130亿参数的大模型,在效果损失仅3%以内的情况下,使得星火在文档上传解析处理、知识问答的首响时间以及文字生成方面都获得了效率提升。

这种灵活性不仅体现在模型大小上。针对不同落地场景的复杂需求,科大讯飞在过去一年的落地实践中形成了一套“云边端”的整体解决方案,以云边端联动的方式加速推动大模型在各行业领域的落地。

简单来说,就是指讯飞星火在云端、边侧以及端侧等三种不同场景均实现落地部署,但在具体应用中,三个环节同时还能互相打通,灵活运用。

云端指的是科大讯飞“1+N”大模型战略,即1个讯飞星火通用大模型底座和多个行业大模型。讯飞星火V3.5的数学、语言理解、语音交互能力已超过GPT-4 Turbo;长文本方面,讯飞星火的通用长文本能力总体已达到GPT-4 Turbo,且在多个垂直领域的知识问答任务上,星火大模型长文本总体水平已超过GPT-4 Turbo。

以上就是关于【大模型落地元年,讯飞星火如何率先实现商业化落地?】相关内容!

标签:

免责声明:本文由用户上传,如有侵权请联系删除!

© 2008-2024 All Rights Reserved .乐拇指 版权所有

网站地图 | 百度地图 | 今日更新