找回密码
 立即注册

扫一扫,登录网站

首页 区块链生态 查看内容
  • 2927
  • 0
  • 分享到

邬贺铨院士:AI时代的数据要素开发与治理

2023-11-10 08:50

来源: 国家数据局

大模型驱动数据范式创新


基础大模型通常从通用语料训练生成,通识能力强,从聊天对话入手容易反馈迭代优化,但聊天难成刚需,落地行业应用将更显大模型的价值,但基础大模型缺乏行业专业知识,需要大模型提供方与垂直行业合作开发行业大模型。一种模式是企业将数据交基础大模型进行再训练,待调优至理想后再进行知识蒸馏、量化及针对特定场景迁移等缩小模型规模的工作,但后续模型微调和云边端部署等仍需算法工程师支撑,企业技术力量不足还得依赖模型提供方,企业数据交到模型提供方有数据泄漏风险,但数据不全面则会导致训练效果差。另一种模式是企业具有算法工程师,按照特定业务场景以专有数据对基础大模型进行微调,形成行业大模型或多个基于实际业务的小模型,最好是在预训练阶段就加入垂直行业企业的数据,预训练和指令微调交错进行,提高模型对行业知识的表达、理解、迁移和泛化能力。

一些强监管、重数据安全的行业核心企业,例如头部金融机构等,通常不会在第三方基础大模型上构建专业大模型,而是采用数据私有化、模型私有化、本地私有云方式构建大模型,即在加密环境中使用私有数据训练专业大模型,但需要面对成本与技术门槛高的挑战。总的来说,无论自建或合作开发行业大模型,数据安全都是前提,既掌握大模型训练技术又熟悉行业专业知识的人才是关键。

中小企业因资金、技术和人才的限制,少有能力与基础大模型提供方合作开发行业大模型,MaaS(模型即服务)应运而生,这是针对中小企业而提出的服务模式,MaaS 部署在中小企业本地设备上或公有云上,以小切口嵌入 PaaS 与 SaaS 间,并提供调用基础大模型的接口,可加入企业自身数据对模型精细化调整,从而将大模型能力嵌入到 SaaS 产品上,解决了传统 SaaS 面临的客户定制化需求和标准化产品规模化盈利之间的难题。基于 MaaS 通过大模型可优选小程序及配套的低代码开发和模型编排等工具,PaaS 可据此搭建低代码平台,丰富工具软件,实现数据和功能的定制化,以 MaaS 方式使中小企业上云的同时使用个性化的小模型,为数字化转型提供智能解决方案。当前大模型不仅是一种技术,它重塑了数据要素生态链,引领产业研究开发应用的范式变革,标志着信息化发展从网络驱动到数据驱动。面对大模型浪潮,需要在国家战略与规划部署下,统筹推进政产学研用,引导“百模并发”形成合力,避免资源分散和低水平重复,实现数据采集汇聚、加工处理、流通交易、开发应用全链条协同。

版权申明:本内容来自于互联网,属第三方汇集推荐平台。本文的版权归原作者所有,文章言论不代表链门户的观点,链门户不承担任何法律责任。如有侵权请联系QQ:3341927519进行反馈。
相关新闻
发表评论

请先 注册/登录 后参与评论

    回顶部