速阅书屋

字: 大 中 小
关灯 护眼
速阅书屋 > 重生1998:从下岗工人到全球首富 > 第一千零一章 比可塑层还早一年

第一千零一章 比可塑层还早一年


陆远把那个电话号码揣在口袋里三天没动。
  第四天中午,他去公用电话亭打了一个,响了两声就接了。
  “喂。”
  “李老师?我是陆远。上次会上问问题那个。”
  “哦。陆远。”那边顿了一下,像是在回忆,“华清计算机系的?”
  “对。”
  “想好了?”
  “想好了。课不多,能去帮忙。”
  “行。明天下午三点,你到东四环这边来找我。地址记一下。”
  陆远拿了纸笔记下来。
  挂了电话,站在电话亭里看了那张纸条几秒。
  东四环,某研究院信息技术研究所,离华清不算远,骑车半个多小时。
  第二天下午,他准时到了。
  研究所是一栋旧楼,灰色外墙,门口连个像样的牌子都没有。
  只有一块小铜牌,上面刻着单位名称。
  李副研究员在二楼楼梯口等他。
  四十出头,瘦,头发有点乱,走路很快。
  “来了。跟我来。”
  实验室在走廊尽头,两间打通的大屋子。
  机器不少,但比华清郑教授那间整齐。
  二十几台工作站排成三排,屏幕上跑着各种训练任务。
  十几个人坐在电脑前,大多很年轻,二十出头。
  李副研究员带他走到最里面的一台机器前。
  “你先看看这个。”
  屏幕上是一个训练脚本,输入是多模态数据,图像、文本、语音三种。
  模型要把它们映射到同一个语义空间。
  文字描述“一只黄色的狗在草地上跑”,图像和语音要对应到同一个特征向量。
  陆远看了几行,模型架构用的是双塔结构。
  文本塔和图像塔分开编码,最后对比学习拉近正样本距离。
  这个思路本身没问题。
  可陆远注意到两个细节。第一,模型没有正则化项。第二,学习率固定。
  “跑多久了。”
  “两周。”
  “损失降不下去?”
  李副研究员愣了一下:“你怎么知道。”
  “没正则化。过拟合了。学习率又固定,后期梯度震荡。”
  李副研究员看了他几秒,然后转身喊了一声:“小赵,你过来。”
  一个戴眼镜的女生跑过来。
  李副研究员说:“把最近三天的损失曲线调出来。”
  曲线出来。
  果然,前五天稳定下降,从第六天开始震荡,最近两天几乎不降了。
  李副研究员看着屏幕,又看看陆远。
  “你以前做过多模态?”
  “没有。”
  “那你怎么一眼看出来的。”
  “前面那张图,权重的分布太窄了。说明模型只记住了训练样本。再加正则就好了。”
  “加什么。”
  “L2。权重衰减设零点零零一。学习率改成余弦退火。”
  李副研究员沉默了两秒,然后对小赵说:“按他说的改。重新跑。”
  小赵看了陆远一眼,有点不服气,但还是坐下来改了代码。
  重跑之后,损失曲线重新开始下降。
  李副研究员把陆远叫到走廊。
  “你大几。”
  “大三。”
  “什么背景。”
  “修过几年电器。”
  李副研究员笑了。
  那笑很短,一闪而过。
  “你以后每周来三天。这里的事不用往外说。项目是合作性质的,参与单位不止我们一家。有些东西你看到了,自己心里有数就行。”
  “明白。”
  “行。你去找小赵,让她给你开权限。”
  陆远点头。
  回实验室的路上,他扫了一眼墙上的项目进度表。
  表格很大,用蓝色胶带贴在墙上。
  横向是月份,纵向是任务节点。
  在“多模态融合”这一栏里,他看到了两个熟悉的名字。
  方立群。
  孙志远。
  他面上没变化。
  走到小赵工位旁边,坐下来,开始调代码。
  接下来两周,陆远摸清了研究所的基本盘。
  项目分三个组。
  他所在的第三组负责模型架构,组长是小赵。
  另外两组,一组做数据标注,一组做训练优化。
  李副研究员统管全局,但上面还有一层。
  项目的大方向由合作单位共同决定,方立群和孙志远都在合作单位的专家名单里。
  陆远翻过项目立项书。
  资金来源写着“国家科技支撑计划”,经费数字不小。
  交付节点分三期,第一期已经在收尾。
  第二期的目标写得很清楚:实现跨模态检索系统的原型部署。
  部署。
  这个词让陆远心里紧了一下。
  模型做出来是一回事,部署到实际系统里是另一回事。
  一旦部署,就会有人用。
  有人用,就会产生依赖。
  依赖一旦建立,刹车就难踩了。
  他开始有意识地接触第一组和第二组的人。
  帮他们调数据加载器,帮他们优化训练脚本。
  他话不多,干活利索,有问题一叫就到。
  很快,三个组的人都认识了他。
  有人喊他“陆师傅”,有人喊“陆哥”。
  他每次都点头应一声。
  有一次,第一组的组长程平在食堂端着盘子坐到他旁边。
  “陆远,你大三就出来干活,课怎么办。”
  “晚上补。”
  “你以前真修过电器?”
  “修过。修了快十年。”
  “十年?”程平筷子停在半空,“那你今年多大。”
  “二十三。”
  程平看了他几秒,低头扒了两口饭,忽然说:“我有个事想问你。你怎么看我们做的这个东西。”
  “什么东西。”
  “跨模态检索。你觉得它会变成什么。”
  陆远放下筷子。
  他看着程平,对方的表情很认真,不像在闲聊。
  “你担心什么。”
  “我说不上来。我们做的模型能看图、看文字、听声音。三样东西串在一起,它就能理解整个场景。再过几年,如果它再学会推理和决策,你说它跟人的区别在哪。”
  陆远沉默了几秒。
  “区别在人知道自己在做什么。”
  程平愣了一下,然后笑了:“你这话挺绕的。”
  “不绕。你想想,模型训练完就固定了,对吧。可如果某天它自己决定改自己的目标呢。那就不是模型了。那是另一个人。一个不懂规矩的人。”
  程平的笑容慢慢收了,他把筷子放下。
  “你觉得会有那一天。”
  陆远没有正面回答。
  他说:“我只是个修电器的。干活的时候有个习惯。每接一根线,都要问自己,这根线断了会怎样。你们做模型,也该问一问。”
  程平没再说话。
  他把剩下的饭吃完,端着盘子走了。
  那天晚上回宿舍,陆远没开灯。
  摸着黑爬到上铺,靠墙坐着。
  宿舍里没人。
  刘波回家了,另外两个室友去上晚自习。
  他坐在黑暗里,把今天看到的东西在脑子里过了一遍。
  跨模态感知。
  图像、文本、语音联合理解。
  这正是蜂鸟早期最核心的能力之一。
  蜂鸟之所以能同时控制视觉识别、语言模型和决策系统,根基就在跨模态融合。
  现在这个项目在2003年就启动了。
  比他在方教授资料库里看到的可塑层框架还要早一年。
  他推开了一扇门。
  门后面,是蜂鸟真正的起点。
  从现在开始,他不再是隔着玻璃看。
  他在里面了。
  他躺下来,面朝天花板。
  宿舍窗外有路灯的光,透过窗帘缝漏进来,在天花板上画了一条歪歪扭扭的线。
  他闭上眼,脑子里开始排计划。
  每周三天泡在研究所。
  摸清项目架构、人员分工、资金来源、交付节点。
  同时把郑教授那边的课题继续推进,保持学术产出。
  白皮书拆成小文章,一篇一篇往外投。
  他得让自己变成这个体系里不可或缺的人,然后才能在这个体系里说话。
  他翻了个身,枕边的手机亮了一下,是于晚晴发来的短信。
  “今天怎么样。”
  他回了两个字。
  “进了。”

章节错误,点此报送,报送后维护人员会在两分钟内校正章节内容,请耐心等待。