无线高清手术摄像系统
jinnian金年会官方网站入口
只用 61 个小时的数据：人们终于证明了，利用当代 AI 工具，实现「真正的语言学习」是可行的。
在公开采访中，图灵奖得主 Yann LeCun 多次提到，现在的 AI 模型和人类婴儿相比，学习效率实在是太低了。那么，如果让一个 AI 模型去学习婴儿头戴摄像头拍到的东西，它能学到什么？
最近，Science 杂志上的一篇论文进行了初步尝试。研究发现，即使数据有限，AI 模型也能从 10 到 100 个例子中学到单词 - 视觉所指对象之间的映射，而且能够零样本地泛化到新的视觉数据集，并实现多模态对齐。这说明，利用当今的人工智能工具，从婴儿的视角进行真正的语言学习是可能的。
当婴儿听到「球」这个词时，他们是如何将这个词的语义与圆形、有弹性的物体（即正确的视觉所指对象）联系起来的呢？哲学家和认知科学家都认为，婴儿在学习新词时，需要从众多候选意项中挑出正确的那一个。
婴儿非常擅长学习词汇。在 6 到 9 个月大的时候，他们开始将单词与眼前的物体建立起音形义的联系。到 18 到 24 个月大的时候，他们已经能理解约 300 个单词。
那么，孩子们是如何快速学会眼前物体的名称的呢？他们又是如何建立起物体的意义和其视觉之间的联系呢？这些问题都需要进一步的探索和研究。
此前，已有一些相关理论在实验中得到了验证。有学者认为单词学习是由简单的、能串联起各领域的联想学习机制驱动的。但是这些理论通常是在婴儿不同的成长时间段测量的，不能揭示某种促进单词学习因素的相对重要性，也不能从中构建计算模型、为计算机模型能获得像人一样的学习能力提供指导。
如果一个模型能够通过孩子的眼睛和耳朵感知世界，那么它是否像解释人类词汇学习能力的联想学习理论一样，能够仅通过基于物体表征的联想学习，理解并整合物体的形体和语义呢？或者，它是否需要借助其他的认知能力，比如归纳偏置（inductive biases），来启动这种能力呢？
为了得到这些问题的答案，来自纽约大学的研究者们对最简单的词汇学习理论进行了前所未有的测试：他们给一个婴儿戴上了头戴式摄像机，并检查模型是否能够从这部摄像机的视频记录中学习到单词与其视觉所指对象之间的映射关系。
戴上摄像机的是来自澳大利亚的 Sam，从 6 个月大到大约 2 岁，他每周头戴摄像机两小时（约占清醒时间的 1%）。
研究团队根据 Sam 的视频建立了 SAYCam-S 数据集。他们从中选取了 61 个小时的录像，其中包含 60 万张视频帧与 3.75 万段经过转写的录音，记录了大约 25 万个单词实例以及对应的图像。这些图像是 Sam 在玩耍、阅读和进食等活动期间拍摄的。
研究团队根据这些数据来训练神经网络，并得到了儿童视角对比学习模型 CVCL。CVCL 采用了对比学习的技术，以学习哪些图像和文本经常一起出现，哪些不会，从而获得预测某些词汇（如 “球” 和 “碗”）所指代图像的能力。
研究发现，CVCL 可以从一个孩子有限的经验片段中充分学习多模态表示。CVCL 能够将一系列日常词汇与分类任务中相应的视觉所指对象匹配起来，大规模对齐视觉和语言概念，并将此能力泛化到训练中未见过的新例子中。该研究表明，多模态表征学习与领域通用的联想学习机制相结合，能够为计算机学习单词带来突破。
具体来说，研究者根据多模态模型研究的最新进展设计了 CVCL。CVCL 整合了表示学习和联想学习，用一个对比目标来协调视觉编码器和语言编码器两个神经网络。
如图 1 所示，对比目标以自我监督的方式进行训练（即只使用儿童视角的记录，不使用外部标注），模型将目标在视频帧和语言片段共同出现的情况转化为向量提取出来，将其视为正面例子，同时将不共同出现的转化成向量分离出来，视为隐含的负面例子。
提取到正面例子后，CVCL 将这些时间向量转换为学习和调整多模态表征的学习信号。这种方法既不需要对词义进行限制，也不需要预先列出可能的视觉所指对象，能从婴儿记录的视频中恢复许多基本的单词与其视觉所指对象的组合。
训练完成后，研究团队评估了 CVCL 以及各种类似的模型学习到的单词 - 视觉所指对象组合的质量。根据一种针对儿童的常见测试，研究团队向模型提示了一个目标类别标签，让模型根据四个候选图像与标签的余弦相似度中选择相应的视觉所指对象。
图 2A 显示了标签 S 的测试结果，总体而言，CVCL 的分类准确率为 61.6%。图 2D 显示了模型在不同标签中的具体结果，在 22 个概念中，CVCL 对 11 个概念的判断与 CLIP 相差不到 5%。但 CLIP 训练所用的数据量（互联网的 4 亿个图像文本对）远超于 CVCL。为了解决分类重叠等潜在问题，研究团队还手动筛选出了子集进行了后续评估。
为了确定 CVCL 捕捉单词含义能力的上限和下限，研究团队还将其与类似模型进行了实验。为了测试模型将语言和视觉信息对应起来的能力，研究团队将原数据集同出现目标物体的视频帧和录音打乱，重新训练了一个模型的变体 CVCL-Shuffled。被打乱后的模型表现不佳，这显示了视觉和语言信息共现对模型学习的关键作用。
为了测试视觉嵌入的有效性，研究者在训练过程中随机冻结了 CVCL 的视觉编码器。尽管模型掌握了如 「沙子 」和 「汽车 」等少数概念，但如图 2D 处所示，模型的成绩再次大幅下降（M = 38.0%）。
研究者比较了 CVCL 与基于其他数据或 Oracle 训练数据的 AI 模型，其他模型的训练数据超出了儿童词汇的范围。CLIP 的准确率达 66.7%，比 CVCL 高出 5.1%，这得益于 CLIP 更理解少数单词的含义如「厨房」、「玩具」和「篮子」。
通过以上测试，可见当在一定范围内测试时，CVCL 的性能可以与基于互联网规模数据训练的模型相当。
此外，研究者测试了模型是否能独立对单词进行分类，而不是根据某些引导儿童的句子得出了判断。他们在初始化的预训练编码器上对线性分类器进行拟合得到了一个 Linear Probe 模型，新模型准确率达 81.6% ，说明 CVCL 具有独立判断能力。
研究团队量化了在对话中自然出现的单词相对直接标记示例对模型训练的价值。如图 2B 所示，他们使用更少的人工标注数据（使用打过标签数据的 10% 和 1%）训练了两个 Linear Probe 模型，测试结果如下表所示。
减少了人工标注数据的 Linear Probe 模型，分类准确度分别下降到了 77.2% 和 65.9%。使用了 1% 的标注示例的模型性能略好于 CVCL。通过比较，可以保守估计一个人工标注的至少相当于来自自然语言的七个示例。不过，来自自然语言的数据能更加灵活、更准确地表示儿童学习的内容，并且它可以容纳无限数量的视觉概念。
为了研究是否有其他因素影响了单词 - 视觉所指对象组合的可学习性，研究团队还训练了 CVCL 模型的其他变体以作评估。他们改变了模型结构或训练过程的各个方面，但没有一个变体的表现优于 CVCL 本身。
综上所述，研究结果表明，人类最初习得的的单词-视觉所指对象组合可以从 10 到 100 个自然出现的单词-视觉所指对象组合中获得。
为了测试 CVCL 的泛化能力，研究团队在 Konkle Objects 数据集上进行了实验。
从研究婴儿语言学习的实验中获得了灵感，研究团队为 CVCL 提供了 64 个额外的在白色背景上的单个物体图像，其对应的单词都在 CVCL 的词汇表中。这个实验使得研究团队能够检查 CVCL 学习的单词是否能成功泛化到未见过的物体中。
如图 3A 所示，CVCL 具有一定的泛化能力，在 64 个物体中有 16 个得分高于 50%（正确），另外 42 个概念得分高于 25%（偶然），整体准确率为 34.7%。
这些结果表明了 CVCL 的多模态表征如何允许分布之外的泛化 —— 与该能力其他更大规模的演示一致。为了说明这次评估所需的视觉泛化的程度，图 3B 展示了嵌入在话语中的单词的一些自然训练实例（从孩子的视角），与用于评估的新颖测试图像相匹配（以及它们的分类准确度）。此外，这次评估与经典婴儿词汇学习实验中呈现的刺激类型非常相似，这表明在实验室外获得的表现足以解释婴儿如何将实验室内的视觉刺激泛化到新的视觉刺激。
首先探索的问题是，CVCL 的视觉和语言概念系统在多大程度上是一致的。例如，如果「汽车」的视觉和词嵌入都独立地更类似于「道路」而不是「球」，将表明良好的多模态对齐。
使用 Labeled-S 中的 22 个概念，研究者通过随机抽取 100 个注释帧，提取其图像嵌入并跨帧平均计算每个概念的视觉原型。他们还检索了每个概念相应的词嵌入。接下来，计算这些嵌入之间的所有余弦相似度（包括模态内和模态间）并使用 t - 分布随机邻居嵌入（t-SNE）可视化它们之间的关系，如图 4A 和 B 所示。在图 4A 。
