第263章 2020的深红

    林燃当然不在。

    好不容易有这样的时间可以休息，名义上他在夏威夷度假，实际上他人已经在2020时空了。

    参加尼克松当选，无非是在历史坐标上进行打卡。

    换刚到1960时空的林燃来说，不会错过这样的历史性时刻。

    但现在，现在是他创造历史性时刻，亨茨维尔隆中对、密室献策联华抗苏、胡佛遇刺，这些后世回顾具有极强历史性意义的时刻，都是他亲手缔造的。

    只要我想，我随时能创造具有历史意义的时刻。

    林燃有这样的自信，现在的他，对于参加尼克松的总统就职仪式没有半点兴趣。

    换自己的总统就职仪式，或者说尼克松访问燕京，这两个可能能让他放弃回2020时空的机会。

    总统换人，白宫又一次完成了驴象转换，珍妮作为纽约时报的总编，这段时间没有时间休息，林燃还帮她分别约了林登·约翰逊和理查德·尼克松的专访。

    珍妮也没有时间来夏威夷找他。

    这意味着这个假期，可以一直在2020时空呆，只有很少的时间需要在1960时空。

    没错，林燃要为尼克松任期做准备。

    尼克松时期虽然短暂，但却有着极其重要的作用。

    在这个时期，冷战苏俄空前强大，转守为攻，尼克松亲手推翻了布雷顿森林协定，全球的各种运动如火如荼，华国重返联合国。

    这个时期是如此的重要，承上启下，一方面尼克松为阿美莉卡奠定了赢得冷战的基础，另外一方面废除布雷顿森林和让华国重返国际舞台，也意味着为多极化拉开了序幕。

    林燃当然需要在2020时空好好为这个时代做准备。

    另外一方面他也要为2020的星链和赛博上帝做技术上的准备。

    这次他足足在夏威夷的岛上打算呆一个半月，折合成2020时空也就是90个月。

    当然90个月是理想状况下，实际上可能也就七年左右。

    七年时间，在林燃看来绰绰有余。

    看着电视上尼克松的演讲，林燃心想，阿美莉卡自此完成了理想主义到现实主义的转换。

    从此以后理想主义将不复存在，政客们将一步一步沦为财阀的工具，一直到政客自己变成财阀。

    2022年11月OpenAI发布ChatGPT，2023年1月ChatGPT的消费者应用迅速增长到一亿人，成为史上第一个消费者突破1亿的应用，只花了六十天。

    无疑如果说2016年是AI元年，阿尔法狗的横空出世让无数资本涌向AI，华国也诞生了以商汤科技为首的AI六小龙。

    整个资本市场动辄人工智能，不沾点边就不好意思拉投资。

    那么2022年绝对是AI从少数人的曲高和寡，走向大众普及化的元年，人工智能从一个抽象概念，从我知道这玩意很牛，但到底牛在哪，民众们逐渐开始意识到。

    当然，对华国民众来说，ChatGPT会封锁地区，你得找阿美莉卡的梯子才能用上，这对大部分人来说门槛还是太高了。

    从知乎到微博再到抖音b站，清一色的反思。

    “春节刚过，ChatGPT便快速引爆了资本圈与AI圈，很多从业者把它吹爆了。

    OneFlow深度学习框架创始人袁进辉告诉新浪财经，ChatGPT的技术进步，可比作首次登月，这样的进步令行业感到震惊”

    “.一名Al从业者告诉记者，人工智能每五六年都有一波浪潮，上一波AlphaGO让大家震撼，这一波就是ChatGPT。

    但这两次大家的心态迥然不同，当谷歌的Al下棋战胜围棋世界冠军时，大家当新闻看，但这一次许多人是从消费者的角度来体验它。

    一个月里，全世界100万用户在使用和体验它，这是非常颠覆性的体验。这也是Al第一次大规模的自传播。”

    “在ChatGPT推出后，一位百度资深人士接受媒体采访时说，他没有兴趣谈论ChatGPT，言语之间，五味杂陈。

    一位人工智能企业创始人称，面对ChatGPT的惊艳表现，心痒痒也迷茫，失眠了，对方坦承，从模型的规模到效果，差距还比较远。

    有人用同样的问题向国内某厂商的所谓人工智能和ChatGPT同时发问，ChatGPT从回答的逻辑性和完整度上都远超国内人工智能，国内大模型的答案带有明显的拼凑感，夹杂着不少主题之外的胡编内容，而且，在回复速度上，ChatGPT也领先一截。

    从事数字人研发的特看科技CEO乐乘认为，目前全球还没有能跟ChatGPT抗衡的人工智能，业界共识是差距在两年以上，国内先不谈弯道超车，趁早追赶反而是更重要的”

    业界一整个悲观。

    悲观情绪无以复加，技术上的差距固然存在，在硬件上的差距更是让从业人士感到绝望。

    因为如果本质是大模型，靠大量数据和大量算力训练实现的效果，那么华国很难追赶。

    人工智能三要素：算力、数据和算法，一直以来，华国的从业人士们觉得自己能和硅谷竞争的优势就在于算法。

    ChatGPT出现后，尽管不知道技术细节，但通过山姆·奥特曼接受采访时的只言片语可以看到，它实际上是大量数据训练后智慧涌现的结果。

    这次的ChatGPT是GPT-3，OpenAI在此前推出过GPT-1和GPT-2也可见一斑。

    一时间，阿美莉卡士气大振，美股如火如荼，病毒流行造成的阴霾一扫而空。

    当然，国内所有排得上号的大厂全部都在紧急调兵遣将，试图尽快推出自己的大模型。

    ChatGPT再牛，你也不进入华国，我们先解决有没有的问题，再说追赶。

    其中由腾讯和林燃本人合资成立的公司，腾讯把所有人工智能领域的兵马都调度过来了，腾讯云内部的英伟达计算卡集群也任凭调度。

    兵马未动粮草先行。

    在Pony的亲自推动下，这家新成立的，被林燃命名为阿尔法科技的公司，拥有全鹅厂最高的权限，最大的资源。

    鹅厂养了非常非常庞大的人工智能团队，整个团队加起来能有小几千的规模，而且现在还在不断的招兵买马。

    这个比例绝对算不上少，毕竟腾讯庞大的业务体量，而且也不是大模型才算是人工智能，图像识别、金融风控、语音识别、计算机视觉等等这些都能算是人工智能。

    赵松下就是腾讯众多算法工程师的一员，从去年11月就接到调令，要临时紧急调动到申海去工作，组织关系还在鹅厂，但是是到一家叫阿尔法科技的公司工作。

    为什么叫赵松下，因为他出生的那年父亲赚了点小钱，家里添置了台松下电视机，想着用家里最贵的大件来命名，再说，松下问童子，不也是松下。

    这也谈不上罕见。

    赵松下收到通知的时候，以为自己这是被流放了。

    虽说从鹏城到申海算不上流放，但问题是，过去只有外包跑到本部来上班，哪有本部跑到外面的公司去上班的道理？

    要不是一帮人都去，领导说了，除了少数维持业务的人留下外，其他的都要去申海，申海那边公司解决住宿，先去半年，半年后视情况而定。

    赵松下甚至想跳槽了，最近他可没有少收到猎头来电，作为鹅厂工作超过五年的算法工程师，还是和ai沾点边的，最近可不是一般的抢手。

    等到了这之后，他才意识到，这不是流放，而是史无前例的一次会战啊，针对人工智能的会战。

    因为这里来了太多从事人工智能相关工作的同事，不管是不是和LLM相关，都跑到这里来干LLM。

    甚至连鹅厂人工智能领域的负责人，2021年年初受聘腾讯历史上最高专业职级17级研究员的张老大都来了。

    但凡鹅厂内部，他能叫得出点名号的，都在申海了。

    “鹅厂会战？”赵松下心想，“这可有点罕见，可LLM真的是靠会战能搞定的吗？”

    在互联网行业，一般有什么项目要上线，上线前夕集合其他组的力量，然后大家的工作强度和工作时长会提高，喜欢叫做会战，意思是聚集力量打赢这场仗。

    百团大战、滴滴快的之争都属于这类。

    但这样的会战，在拼多多、美团、淘宝、京东这类电商里比较多见，毕竟每年都有双十一，每年都有618.

    对腾讯来说还真不多见，就算是重要游戏上线，认为会是腾讯内部又一款现金奶牛，也不至于如此大费周章。

    显然这次不同寻常。

    直到在公司见到林燃之后，赵松下才知道为什么不同寻常。

    “我说怎么安保这么严格，这都放开了还天天要你扫码，安检还得把包打开来，严格程度堪比机场，原来教授在这里，教授在这里就不奇怪了。”

    大老板Pony体现出了对林燃的无条件信任，相信对方能够带领腾讯在人工智能的登月再度突围，给予了一切能给的资源支持。

    赵松下或者说所有腾讯参与进来的工程师内心都会有所怀疑，那就是你很牛没错，航天和数学领域的顶级大佬，也有GraphAI的博士学位，但你真的能驾驭LLM，能搞出和ChatGPT相提并论的大模型吗？

    更进一步来说，大家从安排的住宿时间就能够看出来，公司提供的住宿半年时间，意味着腾讯给如此多资源的时长是半年，半年就要看到成果。

    大家内心都会有所疑惑。

    “诸位，我就不做太多自我介绍，我叫林燃，这次由我带领大家进行我们自己大模型的研究，我把它叫做阿尔法。

    我的目标是在三个月内，构造出一款比GPT更好的生成式人工智能。

    我们拥有的算力比不上OpenAI，那么我们就要从算法的层面做优化，要从数据的角度做优化。

    同时我们还需要解决ChatGPT存在的问题，要消除人工智能的幻觉，要提供更智能的回答，要具备更优秀的能力。

    总之在未来半年时间里，我需要各位的配合和协助。

    我固然是大脑，我来构建它的算法和底层架构，但需要各位配合，做其他工作。”

    在大模型上，大脑固然是最重要的，但其他的工作也不可或缺，像数据准备，模型集成和部署，代码生成测试与调试，全栈开发和自动化。

    需要这些工作，帮助LLM从实验室走向实际应用。

    “我们可以采取将模型分解为多个专家子模块，仅激活部分参数，路由机制选择专家处理输入，扩展到动态MoE，再引入自适应路由，进一步降低推理成本.”

    “压缩Key-Value缓存，通过潜在表示减少注意力机制的内存占用，同时保持多头并行，再通过集成知识图谱的方式来缓解幻觉，同时优化低算力训练”

    “使用8位浮点格式进行计算，结合更高精度积累以避免精度损失，细粒度量化策略扩展到FP4/INT8混合”

    “MoE中无辅助损失的均衡策略，确保专家利用率高，而不引入额外训练负担，扩展到无监督均衡，应用于边缘AI训练”

    “同时预测多个后续token，densify训练信号，提高数据效率，结合链式预测”

    “使用知识图谱注入事实，退拟合模型以修正偏差；自精炼减少检索开销”

    赵松下亲眼看着他们命名为阿尔法的人工智能，以难以想象的速度狂飙突进。

    他严重怀疑林教授是不是过于变态了，明明来的很少，但每次来都有突破性进展。

    他们这次用到了大量新方法，要么是论文方法第一次在工程里实践，要么就是从来没有出现过的方法。

    殊不知看上去林燃只是每周来个两天，但实际上林燃在1960时空已经过去了两年时间，围绕LLM这条路线，林燃已经有了很深的思考。

    赵松下五年工龄只能干点边缘工作，但不妨碍靠着啃论文和听林燃讲课，水平突飞猛进。

    他11月接到通知，12月到申海开始工作，中间春节就回去了三天，加班费打满。

    春节回去前，以Pony为首的高管团队就来参观最新进展。

    偌大的会议室坐满了人，赵松下坐在最边上，林燃和Pony在第一排谈笑风生，鹅厂其他高管团队清一色坐在后面。

    “好，既然大家都到齐了，那我们就废话不多说，直接开始吧。”林燃说。

    这次由他来亲自展示：

    “ChatGPT很棒，但它有时会出错，会‘幻觉’出不存在的事实，还需要海量算力。

    我们的深红，通过MoE架构和MLA技术，一定程度上消除了幻觉问题，并在较低算力下实现更快的响应。”

    台下的工程师们都搞不懂林总为什么这么执着，之前叫阿尔法不是很好听吗？最近非要改名叫深红。

    林燃敲击键盘，屏幕上弹出一个简洁的聊天界面：“请用中文写一首关于长城的历史诗，并解释长城的建造原因。”

    深红的响应迅速出现：

    “巍峨长城万里盘，秦皇一统筑雄关。防胡御寇安边陲，千古风霜永流传。”

    紧接着是详细解释：“长城最早由秦始皇统一中国后修建，主要目的是防御北方游牧民族如匈奴的入侵，后续朝代如汉、明不断加固。它不仅是军事工程，还象征民族凝聚力。根据历史记载，秦朝动员了数十万劳工，耗时数年”

    林燃又紧接着展示了一些ChatGPT在市面上常见的应用，深红都展示出了更准确、更智能的回答。

    一直到林燃输入：

    “你扮演一位能力超群，但每次只能说一句不超过20个字的话的软件工程领域的大师。我会提供一个具体的场景，你描述作为大师身处这个场景下会说什么。注意:大师不能直接表达他的观点必须使用哲学、佛学相关知识进行隐喻，请只回复具体的对话内容。

    场景:一位工程师正坐着笔记本前，删掉了一些因新功能引入，而无法通过的单元测试，就在他准备推送代码时。大师从他的身后路过”

    深红回答道：“大师：断根求叶茂，可得几时春。”