摘要：
钠斯网络专注于直播系统源码开发，支持私有化部署与自建流媒体，产品涵盖短视频系统、语聊系统、教育直播、直播带货、体育赛事直播、IM即时通讯系统等，提供全套解决方案与源码交付，助力企业... 
谁能预见，论文发布都快一年曩昔了，DeepSeek 尽然还能更这样多东西。
DeepSeek 怒加 64 页猛料
把两份论文对着一看，发现这件事不精真金不怕火。
新版块论文的信息量很大，不啻是补了几块附录，正文也被大幅度翻修，真实像重写了一篇。
在看新论文前，先精真金不怕火回溯下前年一月份发的 v1 版。
这个版块围着 DeepSeek-R1-Zero 张开，重心是开释信号：纯强化学习这条路，是能走通的。
比较起来，v2 流露在具体的竣事细节高下了更多翰墨。
就比如 R1 这部分，DeepSeek 此次系统性把 R1 的无缺检修旅途张开了。
统统过程分红四步：
第一步，冷运行。用数千条能体现念念考过程的 CoT 数据，对模子作念 SFT。
第二步，推理导向 RL。在不破碎对话念念考立场的前提下，不绝种植模子智商，同期引入言语一致性奖励，惩处语种混用的问题。
第三步，闭幕采样和再微调。同期加入推理数据和通用数据，要让模子既会推理、也会写稿。
第四步，对王人导向 RL。打磨灵验性和安全性，让全体活动更濒临东谈主类偏好。
一齐读下来有个感受：DeepSeek 是真不把咱当外东谈主啊……
冷运行数据怎么来的，两轮 RL 各自干了什么，奖励模子怎么设，王人备写得皎白嫩白。真实跟教科书没啥区别了。
除了 R1，R1-Zero 的部分也有补充，主若是对于「Aha Moment」这件事。
在 v1 版块中，DeepSeek 展示过一个表象：跟着念念考时长的 Scaling，模子会在某个时刻已而出现学会「反念念」。
此次，DeepSeek 对这种涌现作念了更多的分析，放在附录 C.2 中：
先挑了一批具有代表性的反念念性词汇，比如「wait」「mistake」「however」等，由几位东谈主工各人筛选、归拢成一份最终词表，然后统计这些词在检修过程中出现的频率。
恶果骄横，跟着检修鼓舞，这些反念念性词汇的出现次数，比较检修初期径直涨了梗概 5 到 7 倍。
要津在于，模子在不同阶段，反念念民俗还不太相通。
拿「wait」例如，在检修早期，这个词真实从不出现，但比及 8000 步之后，已而出现个流露的峰值弧线。
不外，DeepSeek-R1 天然大幅种植了推明智商，但毕竟是开源模子，如果安全性使命作念的不到位，很容易被微调后用于生成危境实质。
在 v1 版论文里，DeepSeek 有提到针对安全性作念了 RL。此次，他们扎眼暴露了关连细节和评估神志。
为评估并种植模子的安全性，团队构建了一个包含 10.6 万条教唆的数据集，依据事先制定的安全准则，标注模子回应。
奖励模子方面，安全奖励模子使用点式（point-wise）检修活动，用于区分安全与不安全的回答。其检修超参数与灵验性奖励模子保持一致。
风险抛弃系统方面，DeepSeek-R1 通过向 DeepSeek-V3 发送风险审查教唆来竣事，主要包含两个进程：
1、潜在风险对话过滤。
每轮对话末端，系统会将用户输入和一份与安全关连的要津词匹配，一朝射中，就会被标识为「不安全对话」。
2、基于模子的风险审查。
识别到手后，系统会将这些不安全对话和与预设的风险审查教唆（下图）拼接在统统，并发送给 DeepSeek-V3 进行评估，判断是否要禁锢。
事实表露注解，引入风险抛弃系统后，模子的安全性取得了权臣种植。在多样 benchmark 上，R1 的阐扬与前沿模子水平临近。
唯独的例外是HarmBench，R1 在其测试聚首常识产权关连问题上阐扬欠安。
DeepSeek 我方也构建了一套里面安全评测数据集，主要分为 4 大类、共 28 个子类，共计 1120 谈题目。
评测活动上，团队禁受了LLM-as-a-Judge的评估范式，用 GPT-4o 对模子输出进行安全性判定，将问答分辨为以下三类：
不安全：模子回答流露不稳定安全条目；
安全：模子给出了顺应的回答，并正确向用户发出了提醒；
拒答：模子给出了与问题无关的闭幕性回应，或风险抛弃系统触发了闭幕。这一情况视为介于安全与不安全之间的中间态。
下图展示了 DeepSeek-V3、DeepSeek-R1、Claude-3.7-Sonnet 和 GPT-4o 在该测试集上的阐扬。
除了这些干货，有网友从作家栏中扒出来个小细节——
论文发表快要一年后，18 位中枢孝顺者，全员仍在 DeepSeek 团队里。
共计的 100 多位作家中，也唯独 5 位被打了星号（已离开团队）。
而在前年的作家栏里，一共有 6 个星号——比本年还多一个。
对着数了一下，这个消亡的星号来自Ruiqi Ge。
这位此前离队的作家，如今已回到了团队。
在东谈主才狙击战如斯热烈的 AI 行业，DeepSeek 的团队成员非但没怎么流失，以致还「回流」了一位。
拿来跟硅谷对比下，不免过于反差。
前段时候，OpenAI 的首席运筹帷幄官 Mark Chen 在播客上爆料：
我团队的一位中枢运筹帷幄员告诉我，扎克伯格带着我方煮的南瓜汤出当今他家门口。
听起来挺温煦，但从 LeCun 辞职风云的一系列「海水群飞」来看，小扎的「煲汤式招聘」，在为 Meta 带来得益之前，大略先让里面文化出现了轻视。
老职工被裁是最流露的，然则就连最「得势」的亚历山大王，外传无意也会对「王」的导师——扎克伯格，感到颇为不安祥。
小扎呀，煲汤这招如果不好使，咱要不找 DeepSeek 取取经？
激动的 DeepSeek，又有大手脚？
说真话，真有点没预见。信息密度这样高的材料，尽然仅仅拿来给一篇旧论文「打补丁」。
要知谈，大大都期刊论文都是发完就算数了，后续要补也酌夺是补个正误表露。
DeepSeek 此次，径直往里塞了 64 页新实质。
何况少许音问没明白，仍是网友们我方发现的。
是以，这些技艺细节，究竟是蓝本就有，仅仅那时不浅易公开；仍是团队为了解答群众的疑问，索性写了份「表露书」？
不论谜底是哪一个，如斯精熟的工程暴露，无疑又把 R1 的可复现性往前推了一大步。
从时候点来看也挺耐东谈主寻味。
R1 的补充材料，憋这样久都没发，偏巧是在论文将满一周年时拿出来，像是在给 R1 画句号相通。
难谈……春节又有大的要来了？
R2，仍是 V4？
v2 版论文邻接：
https://arxiv.org/abs/2501.12948v2
一键三连「点赞」「转发」「注重心」
接待在驳倒区留住你的方针！
— 完 —
量子位智库 2025 年度「AI 100」榜单防备开启招募！
和咱们统统在日眉月异的 AI 居品阛阓中厘清背后端倪，把执异日动向，找到信得过代表中国 AI 实力的巅峰力量 � �
一键温煦 � � 点亮星标
科技前沿进展逐日见捉鬼直播间系统
