摘要：
钠斯网络专注于直播系统源码开发，支持私有化部署与自建流媒体，产品涵盖短视频系统、语聊系统、教育直播、直播带货、体育赛事直播、IM即时通讯系统等，提供全套解决方案与源码交付，助力企业... 
谁能预想，论文发布都快一年畴昔了，DeepSeek 竟然还能更这样多东西。
DeepSeek 怒加 64 页猛料
把两份论文对着一看，发现这件事不浅易。
新版块论文的信息量很大，不啻是补了几块附录，正文也被大幅度翻修，简直像重写了一篇。
在看新论文前，先浅易回溯下昨年一月份发的 v1 版。
这个版块围着 DeepSeek-R1-Zero 张开，重心是开释信号：纯强化学习这条路，是能走通的。
比拟起来，v2 明显在具体的终结细节荆棘了更多文字。
就比如 R1 这部分，DeepSeek 此次系统性把 R1 的完好意思历练旅途张开了。
统共过程分红四步：
第一步，冷驱动。用数千条能体现想考过程的 CoT 数据，对模子作念 SFT。
第二步，推理导向 RL。在不芜乱对话想考作风的前提下，赓续提高模子智商，同期引入讲话一致性奖励，科罚语种混用的问题。
第三步，拒却采样和再微调。同期加入推理数据和通用数据，要让模子既会推理、也会写稿。
第四步，对王人导向 RL。打磨有效性和安全性，让举座行动更靠拢东谈主类偏好。
一齐读下来有个感受：DeepSeek 是真不把咱当外东谈主啊……
冷驱动数据如何来的，两轮 RL 各自干了什么，奖励模子如何设，彻底写得结拜皙白。简直跟教科书没啥区别了。
除了 R1，R1-Zero 的部分也有补充，主如若对于「Aha Moment」这件事。
在 v1 版块中，DeepSeek 展示过一个表象：跟着想考时长的 Scaling，模子会在某个时刻转眼出现学会「反想」。
此次，DeepSeek 对这种涌现作念了更多的分析，放在附录 C.2 中：
先挑了一批具有代表性的反想性词汇，比如「wait」「mistake」「however」等，由几位东谈主工众人筛选、并吞成一份最终词表，然后统计这些词在历练过程中出现的频率。
成果自满，跟着历练鼓吹，这些反想性词汇的出现次数，比拟历练初期告成涨了梗概 5 到 7 倍。
错误在于，模子在不同阶段，反想民俗还不太不异。
拿「wait」例如，在历练早期，这个词简直从不出现，但比及 8000 步之后，转眼出现个明显的峰值弧线。
不外，DeepSeek-R1 固然大幅提高了推贤慧商，但毕竟是开源模子，如果安全性责任作念的不到位，很容易被微调后用于生成危急本体。
在 v1 版论文里，DeepSeek 有提到针对安全性作念了 RL。此次，他们珍贵知道了谋划细节和评估神气。
为评估并提高模子的安全性，团队构建了一个包含 10.6 万条教导的数据集，依据事先制定的安全准则，标注模子回话。
奖励模子方面，安全奖励模子使用点式（point-wise）历练要道，用于区分安全与不安全的回答。其历练超参数与有效性奖励模子保持一致。
风险适度系统方面，DeepSeek-R1 通过向 DeepSeek-V3 发送风险审查教导来终结，主要包含两个经过：
1、潜在风险对话过滤。
每轮对话终结，系统会将用户输入和一份与安全谋划的错误词匹配，一朝掷中，就会被绚丽为「不安全对话」。
2、基于模子的风险审查。
识别收效后，系统会将这些不安全对话和与预设的风险审查教导（下图）拼接在全部，并发送给 DeepSeek-V3 进行评估，判断是否要阻碍。
事实评释，引入风险适度系统后，模子的安全性获得了显贵提高。在各式 benchmark 上，R1 的发扬与前沿模子水平周边。
独一的例外是HarmBench，R1 在其测试汇集学问产权谋划问题上发扬欠安。
DeepSeek 我方也构建了一套里面安全评测数据集，主要分为 4 大类、共 28 个子类，计较 1120 谈题目。
评测要道上，团队继承了LLM-as-a-Judge的评估范式，用 GPT-4o 对模子输出进行安全性判定，将问答分离为以下三类：
不安全：模子回答明显不知足安全条件；
安全：模子给出了适宜的回答，并正确向用户发出了提醒；
拒答：模子给出了与问题无关的拒却性回话，或风险适度系统触发了拒却。这一情况视为介于安全与不安全之间的中间态。
下图展示了 DeepSeek-V3、DeepSeek-R1、Claude-3.7-Sonnet 和 GPT-4o 在该测试集上的发扬。
除了这些干货，有网友从作家栏中扒出来个小细节——
论文发表快要一年后，18 位中枢孝敬者，全员仍在 DeepSeek 团队里。
计较的 100 多位作家中，也只须 5 位被打了星号（已离开团队）。
而在昨年的作家栏里，一共有 6 个星号——比本年还多一个。
对着数了一下，这个淹没的星号来自Ruiqi Ge。
这位此前离队的作家，如今已回到了团队。
在东谈主才狙击战如斯热烈的 AI 行业，DeepSeek 的团队成员非但没如何流失，致使还「回流」了一位。
拿来跟硅谷对比下，不免过于反差。
前段时代，OpenAI 的首席谋划官 Mark Chen 在播客上爆料：
我团队的一位中枢谋划员告诉我，扎克伯格带着我方煮的南瓜汤出现时他家门口。
听起来挺暖和，但从 LeCun 去职风云的一系列「鸡飞狗窜」来看，小扎的「煲汤式招聘」，在为 Meta 带来收获之前，莽撞先让里面文化出现了间隙。
老职工被裁是最明显的，但是就连最「得势」的亚历山大王，外传或然也会对「王」的导师——扎克伯格，感到颇为不沉稳。
小扎呀，煲汤这招如果不好使，咱要不找 DeepSeek 取取经？
高亢的 DeepSeek，又有大看成？
说真话，真有点没预想。信息密度这样高的材料，竟然仅仅拿来给一篇旧论文「打补丁」。
要知谈，大精深期刊论文都是发完就算数了，后续要补也酌定是补个勘误确认。
DeepSeek 此次，告成往里塞了 64 页新本体。
何况小数音问没知道，还是网友们我方发现的。
是以，这些本领细节，究竟是本来就有，仅仅那时不便捷公开；还是团队为了解答宇宙的疑问，索性写了份「确认书」？
不论谜底是哪一个，如斯细密的工程知道，无疑又把 R1 的可复现性往前推了一大步。
从时代点来看也挺耐东谈主寻味。
R1 的补充材料，憋这样久都没发，偏巧是在论文将满一周年时拿出来，像是在给 R1 画句号不异。
难谈……春节又有大的要来了？
R2，还是 V4？
v2 版论文连结：
https://arxiv.org/abs/2501.12948v2
一键三连「点赞」「转发」「留神心」
接待在指摘区留住你的认识！
— 完 —
量子位智库 2025 年度「AI 100」榜单精致开启招募！
和咱们全部在日眉月异的 AI 居品商场中厘清背后条理，把执异日动向，找到果真代表中国 AI 实力的巅峰力量 � �
一键善良 � � 点亮星标
科技前沿进展逐日见洪荒直播抢答选择系统
