北京学清路的一个园区，里面有四只消名有姓的小猫，它们被养得乖巧和缓。这些猫的“平常责任”便是负责劝慰彩云科技几十个刻薄的算法工程师。

刻薄的源泉来自国内大模子赛谈的内卷和不易，履历了一轮成本的催熟和热捧之后，大模子“六小虎”如今亦然境况区分，有些在开拓外洋市集，而有些在迟缓毁掉预考验模子，有些在想方设法进行生意化。

可是，这家只消猫、但还莫得成虎的创业公司，却想着在莫得超等算力的情况下，去挑战当下大模子公司用到的最中枢的Transformer架构。这种压力和刻薄，巧合只消他家的猫知谈。

几天前，彩云科技认真发布了首个基于DCFormer架构的通用大模子云锦天章，除了具备其他模子的问答、数学、编程等基础才气，其特色是在捏造天下不雅的基础上，赋予演义东谈主物编程、数学等基础才气，不错高速针对多半笔墨进行扩写、缩写，针对著作格调进行大容量更换。

距离ChatGPT发布快两年后，彩云科技须臾发布通用大模子，让许多东谈主嗅觉崭新又迷糊：当全球齐把眼力放在何如落地和何如作念AI诈欺，致使有不少大模子创业公司毁掉基础模子的研发时，为何还有创业公司从新初始来自研通用大模子？

01

一条区别于Transformer的大模子之路

2024年7月，彩云科技CEO袁行远和合资东谈主肖达被邀请去维也纳参加机器学习顶会ICML会议，台下乌央乌央坐满了AI从业者，他们对模子结构的研讨得到了组委会的招供。

其实，第一次审稿，组委会给他们的论文评分是7.66，莫得进入Top1%，无法上台演讲，自后袁行远和肖达从新作念了一些履行，薪金了许多问题，终末评分改为了7.77，他们收到了参会邮件，而况成为可能的受邀演讲者。之是以说是可能，因为组委会还邀请了其他东谈主，要是别东谈主领受了邀请，就意味着他不会有上台的契机。

但最终他们取得了登台的契机，也成为国内唯二受邀参加维也纳ICML 2024登台演讲的企业，另一家是华为。

为了台上的20分钟，彩云科技如故在Transformer架构上研讨了6年，完成了从最早的NLP表面研讨，到当今的模子扩充。

而他们被邀请去演讲，是因为彩云科技提交的一篇名为《Improving Transformers with Dynamically Composable Multi-Head Attention》的论文，它从底层架构层面革命了谷歌在2017年发布的Transformer架构，并建议了一个新的架构DCFormer。

无人不晓，当下的大模子波澜发源于谷歌2017年发布的《Attention Is All You Need》论文，其中建议的Transformer架组成为自后席卷全球的一系列通用大模子如ChatGPT、Gemini的底层手艺撑执。

当其他厂商齐在基于Transformer架构考验大模子时，袁行远却决定走另外一条路，建议了一个新的模子架构DCFormer。它通过更正Transformer的留神力机制，比较Transformer性能擢升1.7-2倍。彩云科技提到，在交流考验数据和算力下，用DCFormer更正后的69亿参数模子规则卓越120亿参数模子。

云锦天章恰是彩云科技基于DCFormer考验而成的一个7B量级的通用大模子。从表面推导到信得过推出一个可被大众使用的通用模子，袁行远认为，这是逐步去讲明DCFormer是更灵验率模子架构的一种边幅。

现时，大众不错在彩云科技的官网web端免费体验云锦天章的居品。发布会现场，袁行远也演示了云锦天章的几大才气。比如，给它一个开首，在内容续写上，云锦天章大模子能给出一段有承上启下和光显情节的薪金，比较GPT-4o，它的回答更有内容和情节。除了文本创作，这个通用模子还具有编程和数学等通用模子具备的才气。

不外，比较逻辑推理等才气，彩云科技和袁行远本东谈主更好意思瞻念给这款大模子贴上“最懂演义创作”的标签，这与市面上千般大模子居品的主打标的造成区分。

赛谈遴荐背后，袁行远有诸多考量。一方面他认为，从千般爆款作品频出能看到，大众对故事糜掷遥远有是非的需求。他本东谈主亦然《三体》迷，对故事创作能承载宽敞联想空间酷爱酷爱满满，“（创作让）东谈主不错生计在不同的平行天地。咱们不错生计在光速30万米每秒的天地，也不错生计在光速只消十米每秒的天地里，是以创作这件事不错一直作念下去。”

同期，故事创作的才气，也被袁行远认为是当下主流AI诈欺主打的扮装束演和随同类场景里的中枢才气，在这两个场景里撤职着交流的基础逻辑。

另外，这个赛谈上，困扰大模子落地的幻觉问题并不会成为一个负面身分，脑洞翻开致使对创作而言是正向利好。加上彩云小梦此前作为在AI创作领域已有历久的麇集，围绕着创意写稿有多半语料数据上的专有上风。因此云锦天章也成为了当下终点专有的一款大模子居品。

在云锦天章发布后，彩云科技旗下AI RPG平台彩云小梦也升级到了基于DCFormer架构的V3.5版块。据彩云科技清晰，在新模子架构之下，彩云小梦V3.5比上一个版块的举座开通性和连贯性擢升了20%，支执前文长度由2000字擢升至10000字，故事布景设定最长长度高达10000字。

02

从Paper到App

云锦天章大模子的中枢创新在于模子架构层面的优化。

2019岁首始，彩云科技中枢手艺团队，在研讨Transformer这颗东谈主工智能行业里冉冉高潮的新星时，作念了一系列的履行，逐步能澌灭这一架构里自留神力机制（Self-Attention）中枢组件——QKV矩阵的运行链路。

QKV矩阵使模子能够捕捉序列中不同词元间的依赖关系，而况能够动态诊治每个词元对其他词元的热心度，这亦然Transformer架构能够灵验处理序列数据的重要。

而尔后外洋大厂的一系列动作，比如Anthropic公司的博客著作以及谷歌研讨团队公布的《Talking-Heads Attention》论文，考据了他们的一些遐想。“对模子架构的研讨是有意旨的，弄清模子何如运转和责任，擢升了大模子的可解释性，为模子底层架构的优化带来了空间。”袁行远说。

跟着研讨的执续推动，他们发现Transformer架构里的QKV矩阵里还存在一种优化的可能。具体来说，用可动态组合的多头留神力（DCMHA），替换Transformer中枢组件多头留神力模块（MHA）。

比如，北京这个词，跟中国齐门关连联，也跟城市关连联，这便是两组留神力关系。此前生成一个规则时，查找关系和变换是绑定的，存在绸缪上的浪费。替换之后，拔除了MHA留神力头的查找遴荐回路和变换回路的固定绑定，让它们不错把柄输入动态组合，就能擢升模子的抒发才气，擢升模子效率。

这个念念路是DCFormer在Transformer架构层进行创新的中枢。它能重叠其他层面的模子提效责任，为大模子考验效率的擢升提供了更多可能。比如，行业里本年流行MOE搀和架构，就不错与DCFormer在留神力层的责任鸠合，在参数目不变的基础上进一步擢升模子智能进程。

袁行远清晰，DCFormer在架构层的革命，在更大模子上阐发出的提速规则更为光显，现时他们也在考验一个14B的模子，展望能达到同等领域的大模子四倍操纵的效用。将来他们预估基于底层架构优化，重叠上其他层面的效率擢升奋力，有契机以十分之一的参数领域与其他模子PK智能进程。

这种尝试，一方面结巴‘国外作念手艺层，国内作念诈欺层’的刻板印象，另外也给彩云科技这样的创业公司提供了新的可能性——用更小的成本，留在大模子牌桌上。

“当今要是我自称大模子公司，不给全球一个通用的玩意儿，全球遥远会认为咱们是一个套壳公司或者是作念Transformer的。”袁行远很明晰，当今发布通用大模子，他必须先我方跑通整条链路，才有可能开辟Transformer以外的另一条路。“咱们不卷GPU数目，咱们卷模子结构优化。”

这条路注定终点伶仃，好在这家公司的居品有个特质，除了基础功能，其他齐是收费的，这也使得比较于之前的AI“四小龙”和大模子“六小虎”依赖成本的输血，彩云科技自己就有很强的造血才气。当今，彩云科技近亿元的收入里，有1/3来自于用户订阅，1/3来自于告白，现货白银交易1/3来自于API调用。

袁行远心爱这样的创业旅途，他提供一个干事，你好意思瞻念为这个干事付费，然后他通过手艺奋力提高这个干事，然后你就一直为这个干事付费。

这样的创业惯性也在彩云小梦这款居品上得以络续。比较于ChatGPT或者文心一言径直卖token，他更心爱抽成格局。他提供由AI来赞成生成内容的平台，创作者在上头分娩批量的网文，让用户来订阅，而他从中抽成，无谓悲痛用户骂你，因为你并不分娩内容。

在彩云科技自研大模子之前，彩云小梦大约有500万下载，但留存率不高，活跃用户如故下落到几十万的量级。他需要靠近许多免费软件的竞争。他给彩云小梦定的存一火线是100万DAU。他测算过，彩云小梦作为一个社区创业平台，百万DAU足以每年给他带来数亿元的收入，这些收入能让他执续进行大模子的研发。

现时，彩云科技旗下有三款居品：一是作念分钟级天气预告的彩云天气，二是作念中英翻译的彩云小译，终末一款是作念网文生成的彩云小梦。跟着通用大模子的发布，这些App的智能化才气将会得到擢升。

“这个公司名义看起来是App公司，但实质上它是一个追寻智能是什么的公司。是以就尽最大可能的钱参预在追求智能是什么这上头，然后剩下的钱守护公司的运转。”袁行远说，作念App只消能侍奉我方，侍奉团队就够了。

03

头铁的中二后生

在彩云科技决定推出通用大模子时，这仅仅一家不到百东谈主的创业公司。

十来位记者挤在一个不到30平的下千里空间里，听他讲一个新模子架构的发布。现场莫得任何寥落的打发，两三只猫在恣意往来，而且悉数这个词历程还伴跟着各式不测，比如电脑投屏连不上，PPT频频出错。

但主讲东谈主袁行远，一个小时前刚从上海出差回想，穿戴指令鞋和内搭有褶皱的浅绿色衬衫，刘海贴着额头，站在逼仄的边缘里，满怀热忱地诠释着他的星辰大海，诠释着他的手艺旅途会何如改造天下。

莫得手段，全是厚谊。

这一切齐会让你看起来有些不着实，尤其是他要作念的事情，需要崇高的开销，而牌桌上齐是估值数十亿的创业明星或者千亿好意思元的巨头，每一次的模子考验齐要参预数以百万致使千万好意思元的资金。

但这家公司又比绝大多数创业公司愈加走时，创业10年，有贯通的收入来源，每年近亿元的收入，融资到了B轮，投资东谈主的名单里包括了快手独创东谈主宿华，宽带成本的田溯宁和五源成本等。

袁行远一直合计我方终点头铁。他和清华博士肖达用神经收罗来作念天气预告时，两个东谈主就想着作念一些看起来虚无缥缈的东西。在其时还不肥饶的时间，他们就决定拿出终点一部分比例的钱去作念东谈主工智能的研讨，包括自后的模子结构研讨。

其实，这些底层的研讨并不可径直带来生意上的收益。“要是是纯正的生意关系，根蒂就不需要自研大模子，咱们就不要作念NLP的业务，任重道远作念天气，然后进行全球告白投放，这才是正事儿。而当今作念那么多奇奇怪怪的事情。”袁行远说。

事实上，袁行远的作念法并不是悉数投资东谈主齐澌灭，尤其是新股东，“大部分东谈主不投诚作为一个中国初创公司能作念出什么手艺创新，是以你就去抄好意思国就结束。而且好意思国初创公司当今作念得也不咋地，比如CharterAI谷歌也没要，许多团队也结果了。”

巨头们也在说，莫得百亿好意思元，就不要来作念大模子。他并莫得被巨头们建立的门槛所吓退。“你不我方去作念一下，遥远是盲东谈主摸象的嗅觉。”袁行远一直合计我方终点头铁，“要是事情是这样的话，是不是个东谈主创业者或者一个中等水平的创业者也能来玩这个游戏，那这天下会愈加丰富多彩。”

他尝试的规则是，从数据到模子到模子架构到SFT到终末诈欺全链路，1000万好意思元处罚了，不需要100亿。彩云科技从2019岁首始从底层模子架构进行突破，前后参预了数千万好意思元，在Transformer的千军万马以外，探索出另外一条模子架构优化的路。

其实，袁行远和肖达反复商榷过，要不要也学其他家拿Transformer考验一个大模子出来。其时ChatGPT火爆全球，紧接着被称为“大模子六小虎”的企业先后引诱，拿到了大额融资。

这对袁行远产生了不小的刺激，“你在作念这个时间，你发现又一个公司融资那么多。你确实会怀疑我方到底在干什么，为什么就这样头铁，一定要去作念新一代的模子，这个就终点堂吉诃德。”

2019年，彩云科技就在作念Transformer的模子结构研讨。两年后，他推出了能够用AI进行文本创作的彩云小梦，文本创作在其时如故一个终点零丁的赛谈，许多东谈主齐以为他们的内容齐是网上抄的。

直到2022年，彩云科技初始考验第一个模子，只消0.3B的参数目，智能度一般。

他自后也在反念念，一是在2022年时，莫得硬着头皮去考验更大参数目的模子，因为钱不够，只考验了一个1.3B的模子，很出丑到模子的规则。二是模子还需要数据集进行SFT，而这个数据集要请东谈主标注，这是一个门槛，彩云也莫得下定决心作念这个事。

“要是一初始不去追求扮装束演这些酷炫的功能，而是去追求模子的智能度，可能就能赢。”袁行远说，这两个门槛决定了他们没能作念成ChatGPT。

但袁行远认为，云锦天章如故把考验通路买通了，再迭代两三个版块，能够达到GPT4o的水准。DCFormer讲明了模子结构调优有前途，用更少的卡得到了交流的规则。“当今我如故很骄矜的，至少有规则，莫得浪费。至于将来能不可挣钱，先无论，对东谈主类好意思丽确定是有匡助的。”

他曾作念过一个诙谐的比方：“ChatGPT推出后，业界有三条路，咱们称之为普文二门道。等闲后生遴荐堆砌算力和数据，投诚scaling law；文艺后生遴荐搭建Agent，检索增强、辅导词工程等。这两条路齐是把Transformer看成黑盒，无谓了解具体旨趣。还有一条二B后生之路，便是打开黑盒，研讨Transformer这个积木块里面结构。”

但中二后生的路，会让他尴尬得到一些尊重，也会有投资东谈主为他们的精神而感动，为这种可能性买单。他昔日曾拿着PPT进行了100屡次路演，一次齐莫得得手，得手的融资齐是投资东谈主主动找上门来的。

他很庆幸，通过对Transformer进行优化来自研模子这条路如故坚执下来了，天然比ChatGPT晚了两年，也莫得得到太多的鲜花和掌声，但他坚执认为这样作念的意旨，“咱们不是说把原本的东西作念了一个复制，然后去融了一笔钱。咱们是信得过作念了一些对智能科学有观念、有擢升的事情。”

他但愿彩云小梦的演义创作才气，能在DCFormer架构的大模子推动下，作念到一个中等网文作者的水准。而他也但愿演义创作，能成为云锦天章大模子的一个顾虑点，就像东谈主们拿起Kimi就会想起长文本这个标签相通。

“我有一个私心，有一天我用彩云小梦写一篇著作，能够拿到雨果奖。”袁行远说。

• 模子
• 什么
• 挑战
• 学清路
• 堂吉诃德