AgentAlpha · 面试间← 返回主站

公司题库 · 科大讯飞

科大讯飞大模型 Agent 面试题

星火大模型与语音主业结合，语音交互 Agent、多模态与行业落地方向题多。

题目口径：来自 讯飞、科大讯飞、星火 等公开渠道的面经与岗位 JD 高频归纳，不是内部真题。 按大家实际被问到的方向整理，每题一页带答案与追问。

Q · Token 是什么？为什么大模型按 Token 计费Token 是模型处理文本的最小单位，由分词器把文字切开得到，一个 token 约半个到一个英文单词或一到两个汉字。按 token 计费是因为计算量和显存占用都由 token 数决定。
Q · MoE（混合专家）是什么？为什么新模型纷纷改用 MoEMoE 是一种稀疏结构：模型总参数量很大，但每个 token 只激活其中一小部分专家。容量大、单步计算少，代价是所有参数都要常驻显存，部署门槛在显存。
Q · Scaling Law 是什么？为什么大家相信堆算力有用Scaling Law 指模型 loss 随参数量、数据量、算力的增长按幂律平滑下降的经验规律。它让加大投入的收益变得可预测，是行业敢持续堆算力的主要依据。
Q · SFT（监督微调）是什么？和预训练有什么区别预训练是让模型在海量无标注文本上学「下一个词怎么接」，SFT 是用人工写好的问答对教它「别人问什么该怎么答」。前者给能力，后者给用法。
Q · LoRA 是什么？为什么微调大家都在用它LoRA 冻结原模型权重，在旁边加一对小矩阵只训练它们，用远小于全量微调的参数量达到接近的效果。省显存、好切换、可插拔，所以成了默认选择。
Q · LoRA 的 rank（秩）怎么选？是不是越大越好不是。rank 是 LoRA 旁路矩阵的宽度，决定能学多少变化：小了容量不够，大了费显存还容易过拟合，常见做法从个位数到几十之间起步按任务调。
Q · DPO 和 PPO 有什么区别？为什么很多团队改用 DPOPPO 是在 RLHF 里用强化学习：奖励模型打分，模型在训练循环里反复采样更新。DPO 把同一目标改写成直接在偏好对上优化，不需要奖励模型，也没有采样循环，工程上省事得多。
Q · GRPO 是什么？它比 PPO 省在哪GRPO 用「组内比较」代替价值网络：同一个问题让模型采出一组回答，按组内相对好坏分配奖励来更新策略。省掉了和策略模型差不多大的价值模型，显存和算力都省下来。
Q · 微调完模型「变笨」了怎么办？灾难性遗忘怎么防灾难性遗忘是模型在新任务数据上训练后，原有的通用能力明显退化的现象。防法核心是别让训练分布太窄：混入通用数据、控制训练强度、用 LoRA 这类只动小部分参数的方法。
Q · MoE 的负载均衡是什么？专家并行怎么切？负载均衡是为了防止路由偏科导致专家塌缩，传统靠辅助损失函数，现在有无损的偏置调整法；专家并行则是把不同专家放到不同GPU上，通过两次all-to-all通信完成分发和合并。
Q · GRPO 训练要盯哪些指标？熵坍塌和组内奖励方差为零分别怎么处理？GRPO 训练需盯紧奖励、策略熵、KL散度和组内奖励方差。应对熵坍塌可采用熵正则、降低KL约束或clip-higher；处理组内方差为零需引入动态采样过滤无效组，并优化奖励判据的难度分层。
Q · SFT 训到什么程度可以切 RL？切换的判断标准是什么？SFT 阶段需确保模型掌握基本任务能力且输出格式稳定，当验证集指标进入平台期、格式合规率达标且正确率非零时即可切 RL，避免探索成本过高。
Q · KV Cache 是什么？没有它为什么就快不起来生成每个新词都要和前面所有词做注意力计算，KV Cache 把前面词算好的键值中间结果存下来复用，每步只算新词自己那份，省掉绝大部分重复计算。
Q · vLLM 为什么快？PagedAttention 解决了什么问题vLLM 快的核心是 PagedAttention：把 KV Cache 像操作系统管内存分页那样按小块管理，显存几乎零浪费，同样显存能装下更多并发请求，吞吐自然上去。
Q · 模型量化是什么？INT4、INT8 压缩会不会伤效果量化把权重从 FP16 这类高精度数映射到 INT8、INT4 的低精度数，显存和搬运量降到二分之一或四分之一；做得细损失很小，做得糙会明显掉点，上线前要用目标任务验证。
Q · Continuous Batching 是什么？它和攒一批再处理差在哪攒批是凑满一批一起算、等最慢的跑完才散场，短任务全程陪跑，GPU 大量空转；连续批处理按每一步生成调度，谁完成谁退出、新请求随时补位，GPU 一直有活干。
Q · 投机解码是什么？小模型凭什么能给大模型加速小模型一口气猜出几个 token，大模型用一次前向并行验证，对的留下、错的从错处重猜。权重每步只读一次却可能产出多个 token，输出分布和大模型自己生成完全一致。
Q · 张量并行、流水线并行、数据并行有什么区别？多卡怎么拆数据并行复制整个模型、分摊请求，解决请求多；张量并行把每层的矩阵切开、多卡合算一层，解决单层算不动；流水线并行把层分段接力，解决模型太深装不下。
Q · Flash Attention 是什么？它到底在优化什么？Flash Attention 是一种精确的注意力算法，通过分块计算和在线 Softmax 技术减少中间矩阵的显存读写，重点优化的是访存通信瓶颈而非计算量。
Q · 实时语音 Agent 的链路是什么？流式 ASR 和 TTS 怎么拼？实时语音链路分级联和端到端两类，流式拼接的核心是服务端 VAD 断句与客户端回声消除配合实现全双工打断，底层首选 WebRTC 避免 TCP 队头阻塞。
Q · self-attention 为什么要把矩阵拆成 Q、K、V？核心是为了让匹配与内容解耦。Q 和 K 负责相似度匹配，决定找什么和去哪找。V 携带实际提取出的内容。拆分能避免单矩阵自乘导致的表达力受限，让同一批词用不同关注模式取不同信息。
Q · 多模态融合有哪几种方式？各是什么思路？多模态融合分为早期、中期和晚期三种。早期在特征层合并，保留信息多但对齐难；中期在中间层注意力交互，是当前主流；晚期在决策级合并，实现简单但易丢失交互信息。
Q · 235B 的 MoE 模型，训练算力怎么估算？估算 MoE 模型训练算力的核心是确认激活参数量。用 token 数乘激活参数量及三倍前向系数得出总 FLOPs，再除以扣除通信与负载不均损耗的集群有效算力。
Q · LayerNorm 和 BatchNorm 的区别？为什么 Transformer 用前者？BatchNorm 沿 batch 维度归一化，依赖批统计量，处理变长序列不稳。LayerNorm 沿特征维度逐样本归一化，与 batch 无关，适合 Transformer 处理变长文本。
Q · 为什么选 GRPO 而不是 PPO 或 DPO？GRPO 省去了 PPO 的价值网络以降低显存和稳定性成本，同时克服了 DPO 依赖离线偏好对且无过程信号的缺点，代价是需权衡采样成本与组大小。
Q · AWQ、GPTQ 和 FP8 量化怎么选？硬件新首选FP8，精度损失小且免校准。追求极限显存压缩选AWQ，INT4下精度更好且量化快。考虑生态兼容性选GPTQ。
Q · GRPO 训练 MoE 模型会遇到什么问题？怎么改进？GRPO 训练 MoE 要处理专家负载不均衡、稀疏奖励下组内方差归零和 KL 方差过大三类问题；可调负载均衡损失权重，联动组大小与采样温度，用 k3 估计 KL 并加入损失。
Q · MoE 和 Dense 模型，训练与推理的差异有哪些？MoE 训练要处理负载均衡和专家通信，推理只激活部分专家但仍需装下全部参数；算力受限选 Dense，要规模上限选 MoE。
Q · 讲讲 RLHF 的具体过程，涉及几个模型？RLHF 具体涉及四个模型：策略模型负责训练，参考模型计算 KL 约束，奖励模型根据人类偏好打分，价值模型计算优势函数以降低方差。
Q · 知道哪些注意力机制？我会按族谱回答：MHA 是基线，MQA、GQA 和 MLA 主要围绕 KV Cache 做压缩，稀疏注意力降低长文本复杂度，Flash Attention 做算子级优化。
Q · 模型的涌现现象是什么？原因是什么？模型规模较小时能力近乎为零，超过某个阈值后表现突然跳变。原因有两种解释：评测指标制造了假象，或组合任务中的多个子能力同时达到要求。
Q · 百川、千问、LLaMA 的位置编码怎么做的？有什么区别？LLaMA 和千问主要采用 RoPE，百川部分版本采用可学习绝对位置编码，核心差别在于相对位置方案更容易配合外推技巧扩展上下文。
Q · 多模态了解吗？说说主流架构。主流多模态架构可从表征、融合、生成三层理解：CLIP做图文对齐，BLIP-2和Flamingo做跨模态融合，LLaVA类路线把视觉信息接入LLM完成生成。
Q · 讲讲 Transformer 的结构。Transformer 按数据流由输入嵌入、位置信息、N 层网络和输出层组成；每层用多头自注意力交换信息，用前馈网络变换特征，并用残差连接与归一化保证训练稳定。
Q · LoRA、QLoRA 与全量微调怎么选？资源有限先选 LoRA；单卡或大基座选 QLoRA；只有基座级任务且有多卡集群时才做全量微调，再看任务与基座差距和 Adapter 热切换需求
Q · 怎么用修改损失函数解决 MoE 负载均衡？在原任务损失上加入辅助均衡损失，度量各专家负载偏离均匀分布的程度，再用系数控制均衡与专家专业化之间的权衡。
Q · 长文本处理有什么策略？长文本处理先按任务选策略：对话历史做摘要，文档用检索，代码按需重取；再用截断滑窗保留近期信息，必要时让长上下文模型处理真正需要全文的任务。
Q · 生产级语音识别要解决哪些真实环境的问题？流式识别的架构是什么样的？真实环境的难点是噪声、远场、方言、口音和专有词；流式架构是音频流分片、增量解码、中间结果修正加端点检测，工程指标是延迟和字错率的平衡。
Q · 语音合成（TTS）的自然度难在哪？声音克隆的伦理和技术边界怎么把握？自然度的关键是韵律（停顿、重音、语调）和情感表达，难点从「读对字」转到「说人话」；声音克隆要用授权同意加水印溯源加场景限定管住伦理风险。
Q · 语音 Agent 的实时对话链路怎么设计？全双工交互（可随时打断）难在哪？链路是识别、理解、生成、合成四段串行，首响应延迟要压进秒级；全双工的难点在回声消除、打断检测和可抢占的生成管线，延迟预算要逐段核算。
Q · AI 学习机这类教育硬件里的大模型应用怎么设计？纯硬件场景和 App 有什么不同的技术约束？硬件场景的约束是端侧算力有限、离线可用是卖点、家长管控是刚需；架构上端云分工、教材知识库锚定生成、护眼和时长管控这类硬件特性反过来塑造 AI 功能设计。
Q · 医疗场景的大模型应用（辅助诊断、病历生成）要设哪些硬约束？幻觉在医疗里怎么防？定位是医生助手不是医生：检索增强锚定循证依据、诊断建议给证据链不给结论、病历生成走结构化模板加医生确认、低置信度必须显式拒绝回答，幻觉防线是分层的多道闸。
Q · 中文方言和口音的语音识别为什么难？多方言支持的技术路线怎么选？方言难在发音体系差异大、标注数据稀缺、代码混杂普遍；路线有三条：按方言独立建模、大一统多方言模型、口音自适应，当前主流是大一统加数据增强，冷门方言靠共享结构迁移。
Q · 车载语音助手（如 NOMI 这类）和手机语音助手的技术差异在哪？车载场景的约束是噪声大、驾驶安全第一、全家人共用一台设备、网络不稳；技术上要远场降噪、免唤醒多音区交互、离线兜底，交互设计上驾驶分心控制是红线。
Q · VLM 里视觉编码器和 LLM 之间怎么连接？线性投影、Q-Former、MLP 各差在哪？视觉与文本分布不同，需连接层做对齐。大上下文时代主流是 MLP，因其保留全部视觉 token 且成本可控，不丢细节。Q-Former 压缩率高但丢细节，线性投影则表达能力有限。
Q · 多模态模型的幻觉主要来自哪里？怎么缓解？幻觉主要来自视觉信息丢失、语言先验压过图像事实，以及图文弱相关训练数据。缓解时需区分感知性与知识性幻觉，前者靠高分辨率输入、强制视觉溯源解决，后者靠RAG补外部知识，并在规则侧用检测器交叉校验。
Q · 多模态数据里图文不一致的样本，训练时和上线后分别怎么处理？训练阶段先用CLIP类模型打分清洗数据，同时保留少量标注为矛盾的样本教模型学会拒答；上线后靠前置相关性检测拦截，并结合提示词约束模型只依据图像作答。
Q · 多模态训练中文本主导、图像被忽略，怎么发现和解决？先通过模态消融评测和训练侧梯度监控确认图像是否被忽略，然后从数据端提升图文强相关样本比例，并在训练侧分阶段解冻或调整视觉分支学习率来解决。
Q · VLM 怎么减少 vision token？视觉 token 太多带来什么问题？视觉 token 太多会挤占上下文预算并推高延迟，减少 token 的方法包括降低分辨率、Patch 合并、池化压缩、学习型压缩和动态分辨率，实际应用中通常根据任务容忍度选择压缩档位。