大模型知识密度才是更重要本质
大模型越大越好吗?商业化落地，究竟是做B端容易还是C端?7月5日，清华大学计算机系长聘副教授，面壁智能联合创始人、首席科学家刘知远现身上海，在WAIC2024的一场分论坛作了主题分享。会后，围绕大模型领域的热点话题，南都记者对话了刘知远。
刘知远说，当前大模型技术还在快速迭代中。技术较量的阶段可能持续两到三年甚至更长时间，再往后还会夹杂商业模式、产品运营设计等多方面的比拼，为此也有必要探索属于AGI和大模型的商业模式，才能支撑其向前发展。
模型越大越好吗?
知识密度、制程才是本质
从ChatGPT到Sora，频频打出“王炸”的OpenAI验证了规模法则(Scaling Law，也称尺度定律)，即随着模型规模的增加，其性能也会相应提高。但是，在这一法则驱策下，持续无限制地把模型越训越大，就一定好吗?
7月5日，在2024年世界人工智能大会(WAIC 2024)的一场加速大模型应用落地的分论坛上，刘知远认为相比而言，大模型的知识密度、制程才是更为重要的本质。
何为知识密度?刘知远举例说道，同样测试100道题，有人需要吃十顿饭才有力气做完，有人只需一碗饭即可高效完成，很显然后者的知识密度更高。他还用了一个公式总结，知识密度=模型能力/推理算力消耗。简单来说，一个知识密度越高的模型意味着它的能力越强，每一次计算所需要的参数规模越小。
为找到更高知识密度、更高效的模型，面壁智能选择“卷”端侧大模型。但如何在端侧算力、内存、能耗有限的条件下，把知识浓缩到更小的参数规模里，是刘知远遇到的一个更大挑战。对此，训练大模型前，他选择先在“模型沙盒”中进行成千上百次的演练，然后将寻找到的最优数据和超参配置，外推至大模型。
据刘知远介绍，大模型时代将拥有自己的“摩尔定律”——按照他们的观察，模型知识密度呈现出每8个月提升一倍的规律。要让这一规律持续下去，则需要在数据、模型框架以及算法方面，不断探索科学化的方法，从而提升模型制程。
刘知远表示，大模型数据驱动的技术方向大致已经确定，但是模型的架构、算法、数据相关的技术方案仍然在高速迭代。接下来，更重要的是持续改进模型制程、持续高速迭代相关技术方案。“模型制程的提升，会带来模型知识密度的持续增强，二者交汇将会揭示端侧智能的巨大潜力。”
据面壁智能介绍，相比OpenAI于2020年发布的1750亿参数的GPT-3，2024年初，面壁发布具备GPT-3同等性能但参数仅为24亿的MiniCPM-2.4B，把知识密度提高了大概86倍。今年WAIC大会上，面壁智能还正式官宣，开源业内首个端侧大模型工具集“MobileCPM”，帮助开发者一键集成大模型到APP。
刘知远认为，未来的大模型是端云协同的模式。出于隐私保护、算力等考虑，把模型放在离用户更近的地方，具有重要的价值和意义。据他透露，面壁智能将在半年或一年内把GPT3.5水平的模型能力放到端侧运行，争取未来两年内在端侧实现GPT4.0能力。
市场机遇在B端还是C端?
先要有过硬技术
自2022年底ChatGPT横空出世后，国内外掀起了一波大模型热潮，百模大战一年多后，国产大模型追赶到了什么水平?
刘知远表示，从全球范围看，OpenAI推出的大模型仍处于世界一级水平，但中国大模型展现出了超强的追赶能力。大概在去年下半年，很多国内一线大模型公司完成了GPT3.5的建设，现在则达到了接近GPT4.0的水平。
“单看已发布的模型能力，基本上会认为中美大模型存在一年左右的代差。”但刘知远强调，更应该关注的是国外尚未公布的模型——比如美国一些科技公司完全具有持续不断推出模型的能力，而国内的大模型公司基本上还是带着目标在追赶，整体大的创新性仍不足。
大模型价值在于落地应用，但其市场机遇在B端还是C端，业内有不同的看法。有观点认为B端落地快、商业价值更大，但包括零一万物CEO李开复在内的人则坚持认为，走C端模式更有机会。与此同时，也有越来越多人在讨论:AI是一门烧钱的生意，投入越多但回报存疑，市场耐心开始不足了。
对于这样的讨论，刘知远认为还为时尚早。OpenAI推出的ChatGPT拉开了通用人工智能的序幕，它的意义类似于2000年左右的互联网浪潮。“在这样早期的阶段，就去讨论C端好做还是B端等特别具体的小问题，有点虚无缥缈，或者说似乎不那么重要。”
刘知远告诉南都记者，应该把大模型看得更“大”一点，它是相当于互联网甚至芯片级别的一个大浪潮，将带来深远影响。
他认为，当前大模型还处在一个初级阶段，初步验证了从数据到知识的一个学习和提取的通用方法，能够帮助各个行业更好地管理专业领域的知识，并且进行自动化应用。
而这项技术还远远没有“收敛”，仍在快速迭代之中。一家公司若从未专门做过大模型方向的积累和研究，那在后续的竞争中将难以保持模型制程的领先。
“如果一个花费几千万元训练出来的模型，跟别的公司相比有代差——在模型效果、所需算力和能耗上都没有竞争力，那一定会被市场淘汰。总之，你得先有更强的技术能力，才能赶上这波大模型的发展浪潮。”刘知远说。
在刘知远看来，未来5到10年内，大模型之争更取决于相应技术上的迭代。尽管如此，在技术发展过程中也应去探索属于AGI、属于大模型的商业模式。因为越往后，大模型的较量将夹杂更多商业模式、产品运营设计等综合方面的比拼，而行业也会经历一轮又一轮的洗牌。
大模型未来怎么走?
应深入垂直专业领域
在面壁智能首席科学家之外，刘知远还有一个身份是老师。
他在清华大学开设的课程中，有一门课叫《迈向通用人工智能》。为了回答同学们关于这门课的问题，他开发了一款“AI教师”的工具来辅助回答。在获得几百位学生的积极反馈后，刘知远计划把这一应用推广——为每位2024级入学的新生配备一个成长助手，用AI帮助学生处理可能遇到的各种课业难题。
“现在大模型所体现出来的通用知识管理能力，我认为今年下半年，应该会在很多领域开始看到不同创新应用。光是在清华做的这种AI+教育的创新，我就觉得非常有意思。”刘知远对南都记者表示。
其实不仅在教育领域，大模型在司法领域也有创新应用。今年6月28日，深圳中院上线运行面壁智能参与研发的系统，这一系统覆盖法院立案、阅卷、庭审、文书制作等审判业务的85项流程，还能针对一些典型纠纷，预判调解难点，智能推送法律知识和典型案例。
“为什么法律领域的大模型落地速度快?”刘知远认为，一个原因在于借助AI技术可以帮助法官提质增效，从大量重复性的劳动中解放出来。面对案多人少的突出矛盾，法院拥抱AI的积极性非常高。
另一个重要原因，则是信息化程度高——包括金融、互联网领域也一样，“它们的数据是天然的，所以大模型用起来很顺。”在刘知远看来，“现在限制大模型广泛应用的瓶颈不在于技术，而在于相关的信息化、数据化的准备上。”
谈及大模型发展趋势，刘知远认为大模型将持续深入各个专业垂直领域。此外，数据质量决定了模型的上限——即便手握大量的数据，但无法从中提取出高质量的内容，那么所训练出的模型也将受限。因此刘知远认为，将来还会出现专门的数据治理团队，助力各个领域更好地挖掘数据价值。
采写:南都记者 李玲 见习记者 杨柳 发自上海
我国制造业占全球比重约30%
新京报讯（记者陈琳）7月5日，国新办举行“推动高质量发展”系列新闻发布会。工业和信息化部部长金壮龙介绍，去年我国制造业增加值占GDP比重26.2%，占全球比重约30%。
据介绍，我国工业形成了体系全、品种多、规模大的独特优势。我国拥有41个工业大类、207个中类、666个小类，拥有联合国产业分类中全部工业门类；各种制造业都有，500种主要工业产品中，我国有220多种产品产量位居全球第一。2023年，我国全部工业增加值达到39.9万亿元，占GDP比重31.7%，制造业增加值占GDP比重26.2%，占全球比重约30%。
2023年，高技术制造业占规模以上工业增加值比重达15.7%，装备制造业占比达33.6%。制造业数字化转型持续推进，重点工业企业数字化研发设计工具普及率达80.1%、关键工序数控化率达62.9%。人工智能正深层次赋能新型工业化，培育421家国家智能制造示范工厂。绿色制造加快推进，“十四五”前两年，规模以上工业单位增加值能耗累计下降6.8%。2021-2023年，万元工业增加值用水量下降20.3%。2023年大宗工业固废综合利用量约22亿吨，利用率达到54%。
在产业科技创新方面，布局建设了30个国家级制造业创新中心，覆盖动力电池、人形机器人、高性能医疗器械等领域，建立23个国家自主创新示范区和178个国家高新技术产业开发区。特别是我国部分重点领域取得一批创新成果，如C919大型客机已有6架交付东航，开通了上海飞北京、西安、成都、广州的航线；ARJ21新支线飞机共交付139架，其中交付海外3架；国产第一艘大型邮轮“爱达·魔都”号投入商业运营；“嫦娥六号”实现了月背采样返回；国产最大直径盾构机“京华号”投入使用，智能6行采棉机实现量产。
全国规模以上工业企业数量达50.1万多家，高新技术企业数量达46.3万家。产业链骨干企业加快壮大。专精特新企业不断涌现，累计培育专精特新中小企业超过14万家，其中专精特新“小巨人”企业1.2万家、制造业单项冠军企业1557家。
信息通信业高质量发展成效显著。我国累计建成5G基站383.7万个，占全球比重达60%以上，实现“市市通千兆”“县县通5G”“村村通宽带”。算力总规模位居全球第二。工业互联网初步建成网络、标识、平台、数据、安全五大体系。商用牌照发放5年来，5G应用已经融入千行百业，在工业、电力、矿山、医疗、教育等领域实现规模推广。
编辑 唐峥
校对 赵琳
相关问答
什么是密度?密度的概念是什么?_作业帮[回答]密度,体积密度,表观密度和堆积密度的物体性质如下:密度是物体的常规属性,物体的密度、表观密度、体积密度和堆积密度是物体基本特性之一,之所以需要...
比重 等于浓度吗_作业帮[最佳回答]比重就是密度密度=溶液质量/溶液体积质量分数浓度=溶质质量/溶液质量物质的量浓度=溶质物质的量/溶液体积密度与浓度有关系,但不是一个概念比...
密度和 比重 有什么区别?物体的重量和它的体积的比值叫物体的比重。用γ表示比重,G表示重量,V表示物体的体积,则比重的数学表达式为:γ=G/V常用的单位有克/厘米3、千克/分米3、...
【什么是密度?什么是质量?什么是体积?什么是容积?密度单位以...[回答]密度:在物理学中,把某种物质单位体积的质量叫做这种物质的密度.符号ρ(读作rōu).国际主单位为单位为千克/米^3,常用单位还有克/厘米^3.其数学表...
密度该如何理解、?(通俗易懂的)_作业帮[回答]△密度的定义:单位体积某种物质的质量叫做这种物质的密度(Density).(1)一种物质在相同条件(存在形态、温度、压强等)下,其质量与体积的比值是定值;...
【 比重 计算公式】作业帮[最佳回答]比重就是密度\x0d其定义是单位体积中物体的质量.\x0d公式:比重=物质的质量/物质的体积\x0d国际单位是克/每立方厘米千克/每立方米比重就是密度\...
比重 和比例有何区别?_作业帮[最佳回答]比重是重量之比“:”号前后可以不是1,比例的范围较广,“:”号前后有一个是以1为单位的
密度三个公式什么是密度什么是压力什么是压强压强是表示什么...[回答]压强,是垂直作用在物体单位面积上的作用力的值,一般以英文字母“p”表示压强与力和面积的关系:P=F/Sp代表压强F代表垂直作用力S代表受力面积压强...
浓度的概念?还有和密度的区别?_作业帮[回答](1).溶液一种物质以分子、原子或离子状态分散于另一种物质中所构成的均匀而又稳定的体系叫做溶液.不过通常所说的溶液是指液态溶液.如“盐水”.溶液...
相对密度计算公式[回答]某种物质的密度与水的密度之比叫这种物质的相对密度。相对密度公式:ρ相对=m物质/m水。扩展资料相对密度比重瓶测定法(1)取洁净、干燥并精密称定重...