开云体育(中国)官方网站咱们来看金鱼赔本具体是如何作念的-开云官网登录入口 开云app官网入口

henry 发自 凹非寺开云体育(中国)官方网站

量子位 | 公众号 QbitAI

检修大模子时，偶然让它“记性差一丝”，反而更贤慧！

大谈话模子淌若不加拘谨，很容易把检修数据带领若定地复刻出来。为处治这个问题，来自马里兰大学、图宾根大学和马普所的揣测团队提议了一个新设施——金鱼赔本（Goldfish Loss）。

顾名念念义，金鱼赔本即是让模子像金鱼一样，不去死记每一个细节，而是在赔本函数算计时赶紧剔除一小部分token。

由此，模子不再逐字记取检修集本体，但仍能学会谈话法律评释。

实验显露，LLaMA-2在使用金鱼赔本后：

回首化本体显赫减少：模子不再复现检修数据下流任务性能简直不受影响：仍然能畅通生成文本

用网友的大概评述空洞即是：dropout，但赔本函数！

在梯度算计中赶紧屏蔽部分token

金鱼赔本的中枢理念卓越粗浅，即是在模子检修历程中赶紧剔除一部分检修文本中的tokens，使其不参与赔本策计。

这么一来，当模子在推理阶段遭受这些位置时，就只可“推断”，而不是一字一句复现检修数据的完整序列。

此外，为了保证被剔除token的一致性，揣测东说念主员设想了一种基于哈希（hashing）的掩码计谋。

那么，这和相似是恶臭模子背会的正则化设施有什么不同呢？

以Dropout这么的正则化设施为例，它通过在检修时“加噪声”来恶臭模子过度依赖某些参数，从而普及模子举一反三的才调。

但这么作念的问题在于：淌若仅仅赶紧丢token，那么，每次看到合并段落时，丢掉的所在不一样，模子累计几次就能勉强出完整段落。

是以，说到底，模子已经靠死记硬背，记取了谜底。

比拟之下，金鱼赔本则用哈希掩码确保每次遭受合并段落，隐敝位置齐一样，这就从根蒂上袭击了模子复现完整检修文本。

接下来，咱们来看金鱼赔本具体是如何作念的。

在传统的next-token prediction中，模子以序列中的下一个确凿token看成方向，输出预计散布，并基于该散布算计交叉熵赔本。

在金鱼赔本下，模子诚然也在前向传播中预计序列里下一个 token。但在算计赔本机，会以一定的概率将某些位置的token从赔本策计里“抹掉”。

也即是说，有些确凿的下一个token不会看成方向来检修。

在这里，揣测东说念主员袭取了粗浅的静态掩码（static mask），剔除每序列中的第4个token。

更进一步，为了确保模子不会从其他所在学到被掩码的数据（举例不同的文档会在不同的网页中反复出现），揣测团队还提议了一种局部化哈希掩码（localized hashed mask），使顺应调换的前h个token出当前，隐敝形式是调换的（可重迭）。

实验测试与截止

为了考据金鱼赔本如实能恶臭回首化，揣测团队设想了两种实验场景：

一种是顶点场景，通过对少许样本进行多个检修周期（即重迭）来热烈促使回首化；

另一种是门径场景，模拟履行模子检修中使用的批次处理神色 。

同期，为了评估模子的回首化进度，揣测袭取了以下筹商：

RougeL得分：该筹辩论度最长众人（非一语气）子序列的长度 。得分为1.0示意圆善回首 。精准匹配率（Exact Match）：该筹辩论度正确预计的序列占确凿序列的百分比.

实验标明，在顶点场景下，门径检修导致模子逐字回首了100篇著述中的84篇，而金鱼赔本莫得回首任何著述。

（注：实验让LLaMA-2-7B在《哈利·波特》第一章或100篇维基百科文档上进一步检修了100个epoch）

此外，在门径检修场景下，金鱼赔本也彰着减少了模子逐字复现检修语料库中方向序列的情况。

但这里可能有个直观式的响应——淌若让模子“赶紧漏学”一些token，它的才调会不会也随之裁汰呢？

对此，揣测东说念主员进行了测试：揣测标明，金鱼赔本模子、门径赔本模子和对照模子之间的总体性能莫得系统性互异。

需要防御的是，金鱼赔本的中枢在于忽略部分token的梯度算计。因此，为了学到敷裕的谈话形式，模子必须通过更大量据来赔偿这些空白，这可能导致算计效果的着落。

参考揣测

[1]https://arxiv.org/pdf/2406.10209

— 完 —

量子位 QbitAI · 头条号签约

眷注咱们开云体育(中国)官方网站，第一技术获知前沿科技动态