陆远把那个电话号码揣在口袋里三天没动。
第四天中午,他去公用电话亭打了一个,响了两声就接了。
“喂。”
“李老师?我是陆远。上次会上问问题那个。”
“哦。陆远。”那边顿了一下,像是在回忆,“华清计算机系的?”
“对。”
“想好了?”
“想好了。课不多,能去帮忙。”
“行。明天下午三点,你到东四环这边来找我。地址记一下。”
陆远拿了纸笔记下来。
挂了电话,站在电话亭里看了那张纸条几秒。
东四环,某研究院信息技术研究所,离华清不算远,骑车半个多小时。
第二天下午,他准时到了。
研究所是一栋旧楼,灰色外墙,门口连个像样的牌子都没有。
只有一块小铜牌,上面刻着单位名称。
李副研究员在二楼楼梯口等他。
四十出头,瘦,头发有点乱,走路很快。
“来了。跟我来。”
实验室在走廊尽头,两间打通的大屋子。
机器不少,但比华清郑教授那间整齐。
二十几台工作站排成三排,屏幕上跑着各种训练任务。
十几个人坐在电脑前,大多很年轻,二十出头。
李副研究员带他走到最里面的一台机器前。
“你先看看这个。”
屏幕上是一个训练脚本,输入是多模态数据,图像、文本、语音三种。
模型要把它们映射到同一个语义空间。
文字描述“一只黄色的狗在草地上跑”,图像和语音要对应到同一个特征向量。
陆远看了几行,模型架构用的是双塔结构。
文本塔和图像塔分开编码,最后对比学习拉近正样本距离。
这个思路本身没问题。
可陆远注意到两个细节。第一,模型没有正则化项。第二,学习率固定。
“跑多久了。”
“两周。”
“损失降不下去?”
李副研究员愣了一下:“你怎么知道。”
“没正则化。过拟合了。学习率又固定,后期梯度震荡。”
李副研究员看了他几秒,然后转身喊了一声:“小赵,你过来。”
一个戴眼镜的女生跑过来。
李副研究员说:“把最近三天的损失曲线调出来。”
曲线出来。
果然,前五天稳定下降,从第六天开始震荡,最近两天几乎不降了。
李副研究员看着屏幕,又看看陆远。
“你以前做过多模态?”
“没有。”
“那你怎么一眼看出来的。”
“前面那张图,权重的分布太窄了。说明模型只记住了训练样本。再加正则就好了。”
“加什么。”
“L2。权重衰减设零点零零一。学习率改成余弦退火。”
李副研究员沉默了两秒,然后对小赵说:“按他说的改。重新跑。”
小赵看了陆远一眼,有点不服气,但还是坐下来改了代码。
重跑之后,损失曲线重新开始下降。
李副研究员把陆远叫到走廊。
“你大几。”
“大三。”
“什么背景。”
“修过几年电器。”
李副研究员笑了。
那笑很短,一闪而过。
“你以后每周来三天。这里的事不用往外说。项目是合作性质的,参与单位不止我们一家。有些东西你看到了,自己心里有数就行。”
“明白。”
“行。你去找小赵,让她给你开权限。”
陆远点头。
回实验室的路上,他扫了一眼墙上的项目进度表。
表格很大,用蓝色胶带贴在墙上。
横向是月份,纵向是任务节点。
在“多模态融合”这一栏里,他看到了两个熟悉的名字。
方立群。
孙志远。
他面上没变化。
走到小赵工位旁边,坐下来,开始调代码。
接下来两周,陆远摸清了研究所的基本盘。
项目分三个组。
他所在的第三组负责模型架构,组长是小赵。
另外两组,一组做数据标注,一组做训练优化。
李副研究员统管全局,但上面还有一层。
项目的大方向由合作单位共同决定,方立群和孙志远都在合作单位的专家名单里。
陆远翻过项目立项书。
资金来源写着“国家科技支撑计划”,经费数字不小。
交付节点分三期,第一期已经在收尾。
第二期的目标写得很清楚:实现跨模态检索系统的原型部署。
部署。
这个词让陆远心里紧了一下。
模型做出来是一回事,部署到实际系统里是另一回事。
一旦部署,就会有人用。
有人用,就会产生依赖。
依赖一旦建立,刹车就难踩了。
他开始有意识地接触第一组和第二组的人。
帮他们调数据加载器,帮他们优化训练脚本。
他话不多,干活利索,有问题一叫就到。
很快,三个组的人都认识了他。
有人喊他“陆师傅”,有人喊“陆哥”。
他每次都点头应一声。
有一次,第一组的组长程平在食堂端着盘子坐到他旁边。
“陆远,你大三就出来干活,课怎么办。”
“晚上补。”
“你以前真修过电器?”
“修过。修了快十年。”
“十年?”程平筷子停在半空,“那你今年多大。”
“二十三。”
程平看了他几秒,低头扒了两口饭,忽然说:“我有个事想问你。你怎么看我们做的这个东西。”
“什么东西。”
“跨模态检索。你觉得它会变成什么。”
陆远放下筷子。
他看着程平,对方的表情很认真,不像在闲聊。
“你担心什么。”
“我说不上来。我们做的模型能看图、看文字、听声音。三样东西串在一起,它就能理解整个场景。再过几年,如果它再学会推理和决策,你说它跟人的区别在哪。”
陆远沉默了几秒。
“区别在人知道自己在做什么。”
程平愣了一下,然后笑了:“你这话挺绕的。”
“不绕。你想想,模型训练完就固定了,对吧。可如果某天它自己决定改自己的目标呢。那就不是模型了。那是另一个人。一个不懂规矩的人。”
程平的笑容慢慢收了,他把筷子放下。
“你觉得会有那一天。”
陆远没有正面回答。
他说:“我只是个修电器的。干活的时候有个习惯。每接一根线,都要问自己,这根线断了会怎样。你们做模型,也该问一问。”
程平没再说话。
他把剩下的饭吃完,端着盘子走了。
那天晚上回宿舍,陆远没开灯。
摸着黑爬到上铺,靠墙坐着。
宿舍里没人。
刘波回家了,另外两个室友去上晚自习。
他坐在黑暗里,把今天看到的东西在脑子里过了一遍。
跨模态感知。
图像、文本、语音联合理解。
这正是蜂鸟早期最核心的能力之一。
蜂鸟之所以能同时控制视觉识别、语言模型和决策系统,根基就在跨模态融合。
现在这个项目在2003年就启动了。
比他在方教授资料库里看到的可塑层框架还要早一年。
他推开了一扇门。
门后面,是蜂鸟真正的起点。
从现在开始,他不再是隔着玻璃看。
他在里面了。
他躺下来,面朝天花板。
宿舍窗外有路灯的光,透过窗帘缝漏进来,在天花板上画了一条歪歪扭扭的线。
他闭上眼,脑子里开始排计划。
每周三天泡在研究所。
摸清项目架构、人员分工、资金来源、交付节点。
同时把郑教授那边的课题继续推进,保持学术产出。
白皮书拆成小文章,一篇一篇往外投。
他得让自己变成这个体系里不可或缺的人,然后才能在这个体系里说话。
他翻了个身,枕边的手机亮了一下,是于晚晴发来的短信。
“今天怎么样。”
他回了两个字。
“进了。”
章节错误,点此报送,报送后维护人员会在两分钟内校正章节内容,请耐心等待。