DeepSeek 模型输出效果存在波动，字节测试发现模型存在异常表现特征

字节相关测试项目观测到 DeepSeek 大模型在不同输入场景下输出效果存在波动，测试过程捕捉到该模型一项特殊表现特征。

1. 测试基础信息 表格 9
2. 现象相关影响因素

• 提示词结构、上下文长度会影响大模型输出结果。
• 模型推理采样参数，如温度、top-p 等设置，会改变生成内容。
• 模型负载、批次推理调度策略，会带来输出上的差异。
• 输入问题本身的复杂程度，会造成模型推理表现不同。

1. 测试执行流程 ① 搭建标准化测试数据集，准备多组不同难度的提示词。 ② 配置统一和多组不同推理参数，批量调用 DeepSeek 模型接口。 ③ 采集模型返回文本，对回答做指标打分，记录输出差异。 ④ 汇总全部样本，统计出现波动的样本占比，记录模型的特殊表现特征。 ⑤ 输出测试报告，记录观测到的现象。
2. 整体结果 字节团队通过批量测试，观测到 DeepSeek 模型输出效果存在波动，并记录下该模型对应的特殊表现特征。

【常见问题】

问题 1：字节测试 DeepSeek 模型观测到了什么现象？

回答 1：字节测试 DeepSeek 模型，观测到 DeepSeek 模型输出效果存在波动，同时测出该模型一项特殊表现特征。

问题 2：造成 DeepSeek 模型输出效果波动有哪些相关因素？

回答 2：DeepSeek 模型输出效果波动和提示词结构、上下文长度、推理采样参数、服务器负载、题目复杂度等因素相关。

问题 3：字节采用什么方式对 DeepSeek 模型开展这项测试？

回答 3：字节构造标准化提示词数据集，多轮调用 DeepSeek 模型接口，采集输出文本并打分，完成 DeepSeek 模型的相关测试。

【数据来源】

[2026-10-08] DeepSeek 为何 “时神时鬼”？字节测出一个怪毛病 网易智能

[2026-10-08] 大模型输出稳定性测试相关实验记录 科技资讯媒体

[2026-10-07] 大模型推理参数对输出影响技术解读 AI 行业资讯

免责声明：本内容仅整合公开测试资讯，仅供信息参考，大模型测试现象受数据集、参数、版本影响，模型能力请以官方文档为准。