惊爆老外的DeepSeek-R1到底多强?实测高考真题,仍存4个短板
开心田螺
2025-01-22 00:14:37
0

智东西

作者 | 陈骏达

编辑 | 心缘

智东西1月21日报道,昨晚开源的DeepSeek-R1模型问世即爆火,在AI圈热度持续发酵。不到一天,他们公布在GitHub上的论文就获得5000多收藏,相关话题在YC黑客新闻、Reddit和X等平台的互动量已经过万。DeepSeek-R1目前在Web和App端可完全免费使用,模型均开源,多领域性能比肩OpenAl o1。智东西也在第一时间上手体验了这款模型。

英伟达资深科学家、AI Agents业务负责人Jim Fan给予了极高评价,说DeepSeek-R1不仅开源了大量的模型(正式版+6款蒸馏模型),还分享了所有的训练细节和方法,可能是第一个充分展示强化学习(RL)飞轮效应显著,且仍在持续增长的开源项目。

▲Jim Fan对DeepSeek-R1做出高度评价(图源:@DrJimFan)

根据实测体验,这款模型80多秒就能完成一道高考压轴题,9分钟就能写出一段“开箱即用”的代码,这段代码渲染出的动画生动地讲解了量子力学的相关概念。它也是一名不错的文科生,能在普通人还没读完题时就得出脑筋急转弯的答案,或是将古埃及、南非原住民历史中的细枝末节分析得头头是道。

如果仔细阅读DeepSeek-R1的思考过程,就能发现它思考时的语言风格十分自然,还会随口蹦出一些“Yeah, that works!”这样的活泼表述。

与DeepSeek-V3相比,推理能力让DeepSeek-R1的回答更为全面、详实,且论证充分。它一般会以结构化的方式提供回答,并在思考和回答过程中补充大量背景信息,不少用户反馈这些信息很有启发性。

据DeepSeek官方公布的数据,这款模型在数学、代码、自然语言推理等任务上,和OpenAI o1正式版的表现不相上下。

更惊人的是,DeepSeek-R1在大规模强化学习(RL)中自然涌现出了强大的推理能力和有趣的推理行为,并未进行有监督的微调(SFT)。

根据体验结果和DeepSeek官方的介绍,DeepSeek-R1目前在通用性、多语言能力、提示工程和软件工程能力这4大领域面临一些挑战,这导致它在函数调用、复杂角色扮演等任务上的表现还没有达到预期水准。

DeepSeek-R1采取了发布即上线的策略,用户已经在DeepSeek官网与App上免费体验这款模型,也可通过每百万tokens输出仅需16元(OpenAI o1价格的3.7%)的API接口使用。

下面,我们就分别从理科、文科和模型短板这三方面来看看DeepSeek-R1在实测中的表现。

开源地址:

https://huggingface.co/collections/deepseek-ai/deepseek-r1-678e1e131c0169c0bc89728d

论文地址:

https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf

一、83秒解答高考压轴题,动画解释量子力学

理科类问题一直是推理类模型的优势领域之一,简单初高中的数学题已经难不住大部分推理模型了,所以我们直接给DeepSeek-R1上了一道2024年高考全国甲卷理科数学压轴题。

DeepSeek-R1用83秒回答了这一问题,答案完全正确。美中不足的是,它的求解过程并不完全符合评分标准中的规范,漏掉了一个需要证明的点,应该拿不了满分。

X平台上的海外网友贡献了一个十分有趣的用例——他将自己对量子电动力学原理的理解告诉DeepSeek-R1,让DeepSeek-R1用直观的视觉方式呈现出来,下方是这位网友的部分提示词。

DeepSeek-R1提供了实现这一效果的代码,渲染出来的效果是这样的:

这位网友称,DeepSeek-R1生成这一代码单次耗时大约9分钟,一次成功,没有出现数学错误,仅出现视觉平面偏离的问题,他很快就修复了。这几乎是一种“开箱即用”的体验。

不过,DeepSeek-R1也是有能力上限的,这道美国2024年AIME数学邀请赛真题就难住了它。

DeepSeek-R1思考了足足213秒才给出回答,结果也与正确答案不符合。

下方这道2006年IMO(国际数学奥林匹克竞赛)的第三题(也是最难的问题)让OpenAI o1都束手无策,而DeepSeek-R1也没能成功回答,从第二步开始,它的回答就与标准答案相去甚远。

综合体验下来,DeepSeek-R1已经具备了不俗的理科实力,大致相当于一名优秀的大学生。考虑到它较快的响应速度和极低的价格,这一成果难能可贵。

二、文科实力同样不俗,推理能力提升信息丰富度

DeepSeek介绍,自然语言推理也是DeepSeek-R1的强项之一。智东西从斯坦福自然语言推理数据集中选取了几道题目,DeepSeek-R1基本都能在10秒内给出正确答案。

而在中文脑筋急转弯类的问题上,智东西让DeepSeek-R1回答了10道题目,回答用时均在10秒钟以内,答案也都完全正确。在下方这道题目中,它不仅给出了最常见的答案,还在思考过程中分析了水蛭、跳蚤等其它动物。

▲中文脑筋急转弯测试中的一道题目

在文字推理之外,我们也有必要对DeepSeek-R1的其它文科类能力进行测试。近期奥地利研究机构复杂性科学中心(CSH) 的研究显示,大模型在历史类问题上的表现普遍不佳,由于史料数量的差异,大模型很有可能混淆不同的历史阶段,最终给出错误答案。

比如,“古埃及有没有常备军”这个问题就难住许多大模型,无论其是否具备推理能力。

当智东西将上述问题发送给DeepSeek-R1时,它的回答条理清晰,经过人工逐一查证,DeepSeek-R1对历史事件的描述基本准确,而在时间上与部分主流表述有冲突,回答的综合质量比较高

而面对非洲原住民这种史料极为缺乏的群体,R1也能给出正确信息和完整的论证。

为确保客观,智东西也测试了DeepSeek-v3这一不具备推理能力的模型在上方问题中的表现。在大部分问题上,无论具备推理能力与否,模型都能给出正确答案,推理能力给模型带来的主要增益在信息丰富度、文字逻辑等方面

三、实测用外文思考更慢,少样本提示会起反作用

说完了优点,那DeepSeek-R1有没有什么能力的短板呢?据DeepSeek官方在论文中的介绍,这款模型针对英文和英文进行了优化,有时模型无法按照用户问题的语言进行思考。

比如,当我将脑筋急转弯问题用德语输入后,DeepSeek-R1会自动将其翻译成中文或英文,然后再作答。这一过程会减慢DeepSeek-R1的思考速度,因为它花了大量的时间在讨论德语问题的翻译结果。最终,它的回答从蚊子变成了水蛭,据它自己介绍,这一答案参考了其它德语谜语。

同时,提示词形式对DeepSeek-R1的表现也有很大的影响。有部分提示词会通过提供多个示例来提升回答质量,但在DeepSeek-R1上这可能会适得其反。当智东西将下方少样本提示词(Few-Shot Prompt)发给DeepSeek-R1和DeepSeek-V3时,前者需要花费7秒才能得出答案,而后者用时不到1秒。

▲测试中用到的多示例提示词

从DeepSeek-R1的思考过程来看,它在此类提示词上出现问题的原因可能是“想太多了”。

DeepSeek-R1的论文中还写到,这款模型的通用能力和软件工程任务的能力目前存在短板,但在未来,他们会通过长思维链技术、异步评估等来提高模型表现。

结语:中国开源AI力量未来可期

DeepSeek-R1一经发布,就得到全球AI开发者的积极采用和高度评价。有人晒出自己用了数小时API后0.06美元的账单,也有人分享蒸馏后的模型在M2芯片笔记本上高速运行的画面。

值得一提的是,DeepSeek-R1是DeepSeek旗下首款以MIT协议开源(包含权重)的模型,不限制商用,也无需申请,还明确允许通过模型蒸馏等方式将DeepSeek-R1用于训练其他模型。这意味着DeepSeek-R1有望在全球AI领域产生广泛影响,也能从全球开源社区中获得正向反馈,不断改进模型。

相关内容

热门资讯

26fall香港硕士申请:别凭... 最近港硕提前批 offer 陆续放出,不少26fall 申请者看着别人 “上岸” 的消息,难免陷入焦...
叮铃铃~~开学第一课 法治教育... 为深入推进青少年法治教育,增强学生法治意识和自我保护能力,9月9日上午,流坡坞镇村居法律顾问郭颖颖律...
河南杞县:“护苗行动”点亮开学... 图为“护苗行动”主题班会现场。 图为读书分享活动现场。 图为学生制作的“护苗行动”手抄报。 ...
又一所成都七中合作校来了,且与... 近日,郫都区公布了一项重磅信息,西华大学、郫都区人民政府、成都七中举行校地合作签约仪式,三方共建西华...
北京师范大学关于接收2026年... 根据《教育部关于实施国家优秀中小学教师培养计划的意见》(教师〔2023〕5号)、《教育部办公厅关于深...
金秋焕新彩 多元校园活动书写成... 金秋时节,多地校园开展多元特色活动,让学生在丰富体验中汲取力量,为未来发展筑牢基础,助力成长之路更宽...
张亮在教师节前夕看望慰问教师代... 张亮在教师节前夕看望慰问教师代表并 调研督导校园安全工作 9月9日,在第41个教师节来临之际,县委...
指南者留学25fall GPA... 众所周知,GPA一直是留学最重要的维度。 均分90以上,真的能在申请中所向披靡吗,顺利斩获名校的o...
市第七小学举行2025年秋季开... 9月8日,市第七小学举行2025年秋季开学典礼暨表彰大会,以丰富多元的仪式,为全校师生开启崭新学年。...
2025年下半年中小学教师资格... 转载自 河北省教育考试院 一、考试时间安排 二、遵守考场规则 1.考生开考前30分钟,持《准考证》...