FINETUNE · ALL

训练与微调 · 全部题目

共 310 篇，本页第 289-310 篇。← 回到学习路径视图

No.978BERT训练时使用的学习率 warm-up 策略是怎样的？为什么要这么做面试官想考察你对深度学习训练中“学习率调度”的底层理解，而非单纯背诵BERT配置。这属于工程取舍+debug类型：你是否…→No.979Transformer训练的时候学习率是如何设定的？Dropout是如何设定的，位置在哪里？Dropout 在测试的需要有什么需要注意的吗这道题是典型的“训练工程细节”考察，面试官想看你是否真正动手训过 Transformer，还是只停留在调包层面。核心考察…→No.980Pre Norm更容易训练好理解，因为它的恒等路径更突出，但为什么它效果反而没那么好呢？[为什么Pre Norm的效果不如Post Norm面试官想看你是否真正理解Transformer中归一化位置对训练动力学和模型容量的深层影响，而非仅背诵“Pre Norm…→No.981**MoE如何解决训练稳定性问题面试官想考察你对MoE（混合专家模型）训练中特有稳定性问题的深度理解，而非简单背诵概念。这是典型的工程实践+系统设计题，…→No.982第二个问题：MoE 如何解决训练稳定性问题面试官想考察你对 MoE（Mixture of Experts）训练中核心问题的系统性理解，而非简单背诵概念。这是典型的…→No.983为什么要考虑在重复的数据集上做多次训练面试官想看你是否理解“重复训练”不是简单的“多跑几轮”，而是数据受限场景下的工程博弈。考察类型是工程取舍 + 系统设计，…→No.984这就很自然的让大家想到，我们**是否可以通过增加训练的epochs来做重复的训练，以提高模型的效果？** 在如Vision Transformers这样的模型中，模型训练的epochs高达300次，而大语言模型的训练epochs通常都是1-2次，多的也都是个位数面试官想看你是否真正理解LLM预训练与CV训练的本质差异，而非机械背诵“LLM只训1-2个epoch”。考察类型是工程取…→No.985影响多次Epochs训练效果下降的原因是什么面试官想考察你对大模型训练中“过拟合”与“泛化”之间博弈的深度理解，而非简单背概念。刁钻点在于：多数人只答“过拟合”，但…→No.986多样的训练目标可以减轻多Epoch下降吗面试官想看你是否真正理解“多Epoch下降”（Multi-Epoch Degradation）的本质——不是简单的过拟合…→No.987进行领域大模型预训练应用哪些数据集比较好面试官想考察你对“领域预训练”数据策略的深度理解，而非简单罗列数据集。核心是看你能否在“领域专业性”与“通用能力保持”之…→No.988能否用4 \* v100 32G训练vicuna 65b面试官真正想考察的是你对大模型训练显存计算的硬核工程能力，而非单纯背公式。这是一道系统设计+工程取舍题，刁钻点在于：候选…→No.989如何查看多机训练时的网速面试官想考察你分布式训练调优的实战能力，而非单纯背概念。刁钻点在于：多数人只关注单机 GPU 利用率，却忽略多机间网络瓶…→No.990如何查看训练时的 flops？（也就是每秒的计算量）面试官想考察你对大模型训练效率的底层理解，而非单纯背公式。核心是区分“理论 FLOPs”与“实际测量 FLOPs”，并引…→No.991训练大语言模型存在问题面试官想考察你对大语言模型训练全流程的系统性认知，而非零散知识点。这是典型的系统设计+工程取舍类问题，刁钻点在于：候选人…→No.992想要训练1个LLM，如果只想用1张显卡，那么对显卡的要求是什么面试官想看你是否真正理解 LLM 训练的显存构成，而非只会背“多卡并行”。这道题是工程取舍 + 量化分析类型，刁钻点在于…→No.993如果有N张显存足够大的显卡，怎么加速训练面试官想考察你对分布式训练策略的工程取舍能力，而非简单背诵概念。刁钻点在于：题面强调“显存足够大”，意味着你不能直接套用…→No.994除了3D并行有没有其他方式大规模训练面试官想考察你对大规模训练技术全景的掌握，而非仅停留在3D并行（DP/TP/PP）的背诵。刁钻点在于：你是否能区分“并行…→No.995常见的分布式训练框架哪一些，都有什么特点面试官想考察你对分布式训练生态的广度认知和工程选型判断力，而非单纯背诵框架名。刁钻点在于：能否说清每个框架的核心设计哲学…→No.996如果想构这样一个大规模并行训练系统，训练框架如何选这道题考察的是系统设计+工程取舍，而非单纯背概念。面试官想看你能否根据模型规模、硬件拓扑、团队能力，在 Megatron…→No.997为什么SFT之后感觉LLM傻了面试官想考察你是否真正理解SFT（监督微调）的“双刃剑”本质，而非只会背诵“过拟合”概念。刁钻点在于：候选人常把“变傻”…→No.998SFT 指令微调数据如何构建面试官想考察的不是你会不会用现成数据集，而是你从零到一构建高质量SFT数据的工程思维。这是P1进阶题，刁钻点在于：多数人…→No.999领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力面试官想考察你对“灾难性遗忘”的深度理解，而不仅仅是背概念。这是一道系统设计 + 工程取舍题，刁钻点在于：候选人常只提“…→