语义摘要（Semantic Summarization）技术有哪些？如何平衡压缩率和信息保留
1️⃣ 考察意图
面试官想考察你对语义摘要技术栈的广度（从传统抽取式到LLM生成式）和工程落地中的权衡能力。刁钻点在于：不只是背技术名词，而是能否说清“压缩率从50%提到90%时，信息保留的边际收益递减曲线”以及“如何用具体指标量化这种平衡”。答好了能展示系统设计思维（多目标优化、用户可调参数）和前沿认知（指令式摘要、分层摘要），这是P1进阶的核心硬实力。
2️⃣ 标准答
语义摘要技术分三大流派，平衡压缩率与信息保留的核心是“用工程指标量化trade-off，再通过多目标优化或用户可调参数动态调节”。
1. 抽取式摘要（Extractive）
- 技术：TextRank（基于PageRank的句子图排序）、BERT-EXT（用BERT+分类头预测句子是否保留）、SummaRuNNer（RNN+注意力）。
- 压缩率控制：直接设置保留句子数（如top-3）或重要性阈值（如score>0.5）。坑：阈值过低导致冗余，过高丢失关键实体。
- 信息保留：用ROUGE-1/2/L评估n-gram重叠，但忽略语义等价。实战中加关键实体召回率（如人名、日期），避免“压缩率80%但实体全丢”。
- trade-off：抽取式天然保真度高（原文片段），但压缩率上限低（通常<70%），因为句子级选择无法细粒度删词。
2. 生成式摘要（Abstractive）
- 技术：BART（去噪自编码器，CNN/DailyMail SOTA）、Pegasus（间隙句子生成，预训练任务匹配摘要）、LongT5（长文档，支持16K tokens）。
- 压缩率控制：通过
max_tokens或length_penalty（如HuggingFace的max_length=150）。坑：固定长度导致短文档被填充、长文档被截断。解法：用压缩比超参（如ratio=0.3）动态计算目标长度。 - 信息保留：ROUGE-L（最长公共子序列）评估流畅性，BERTScore（基于BERT的语义相似度）捕捉改写等价。实战中加人工一致性（如5人评分1-5），避免模型“胡编”。
- trade-off：生成式可压缩到10%以下，但存在幻觉风险（如生成不存在的事实）。平衡策略：用强化学习（RL）优化奖励函数，如
ROUGE-L + 0.5 * 关键实体召回率 - 0.2 * 幻觉惩罚。
3. 混合式（Extractive + Abstractive）
- 技术：先抽取（如BERT-EXT选top-5句子）再生成（如BART重写）。代表：SummaC（一致性评分过滤幻觉）。
- 压缩率控制：抽取阶段设压缩率（如50%），生成阶段再压缩到30%。坑：两阶段误差累积，抽取丢的实体生成无法找回。解法：用重要性评分（如TF-IDF+位置权重）保关键句。
- 信息保留：用ROUGE-1 + 实体F1联合评估。实战中加“信息密度”指标（压缩率/ROUGE-L），密度>0.5视为高效。
4. 前沿方向
- 指令式摘要：用LLM（如GPT-4、Claude）通过prompt控制压缩率，如“压缩到100字，保留所有数字和专有名词”。坑：LLM对指令敏感，需few-shot示例稳定输出。
- 分层摘要：先粗粒度（每段一句）再细粒度（每段三句），用户可调层数。适合长文档（如论文、法律合同）。
- 评估新范式：用LLM-as-Judge（如GPT-4评分）替代人工，但需校准（如对比ROUGE相关性）。
实际落地坑 + 解法：
- 坑：压缩率90%时，ROUGE-L从0.4降到0.15，但用户反馈“摘要丢失关键结论”。解法：引入“关键句强制保留”机制，用TextRank选top-1句子作为锚点，生成时约束模型必须包含其核心实体。
- 坑：生成式摘要对长文档（>4K tokens）性能下降。解法：用LongT5或分块摘要（每块2K tokens，再合并），但需注意块间一致性（如用余弦相似度去重）。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从技术流派、压缩率控制、信息保留评估三个层面回答。技术流派分抽取式（TextRank/BERT-EXT）、生成式（BART/Pegasus）、混合式（先抽后生）。压缩率控制通过长度约束或压缩比超参，但需用关键实体召回率避免信息丢失。信息保留用ROUGE+BERTScore+人工一致性联合评估。总结一句：平衡的核心是多目标优化（如RL奖励函数）加用户可调参数，让系统在压缩率和保真度间动态调节。”
4️⃣ 高频追问 & 应对
追问 1：你说用RL优化奖励函数，具体怎么设计？有没有实际案例？
奖励函数设计为
R = ROUGE-L + α * 实体召回率 - β * 幻觉惩罚，其中α=0.3, β=0.5（经验值）。案例：在CNN/DailyMail上，用BART+RL（REINFORCE算法）比纯BART在压缩率70%时ROUGE-L提升0.02，但实体召回率提升0.08。坑：RL训练不稳定，需用PPO替代REINFORCE，并加KL散度约束防止策略偏移。
追问 2：如何评估摘要是否“语义等价”而非字面匹配？
用BERTScore（基于BERT的余弦相似度）和SummaC（一致性评分）。实战中加“反事实测试”：替换关键实体（如“张三”变“李四”），看摘要是否保留原实体。若BERTScore高但实体错，则需加实体级F1。前沿方法：用LLM-as-Judge（如GPT-4）打分，但需校准（如对比人工评分相关性>0.8）。
追问 3：长文档摘要（如10K tokens）怎么处理？压缩率如何保证？
分块策略：每块2K tokens，用LongT5生成摘要，再用BART合并。压缩率控制：每块压缩到20%，合并后再压缩到10%。坑：块间信息重复（如同一实体出现多次），解法：用TF-IDF去重或聚类。实战中，用分层摘要：先粗粒度（每段一句），再细粒度（用户选关键段展开），压缩率可调至5-30%。
5️⃣ 避坑 · 常见错误答法
- ❌ 只提生成式摘要（如“用BART就行”），忽略抽取式和混合式 → ✅ 必须展示技术广度，说明抽取式适合保真度要求高的场景（如医疗报告），生成式适合压缩率要求高的场景（如新闻摘要）。
- ❌ 说“压缩率越高越好”，不讨论信息丢失 → ✅ 强调边际收益递减：压缩率从50%到70%，ROUGE-L降0.05；从70%到90%，降0.15。需用关键实体召回率量化丢失。
- ❌ 只用ROUGE评估，忽略语义等价 → ✅ 补充BERTScore和人工一致性，并说明ROUGE的局限（如同义词不匹配）。
6️⃣ 简历呼应
- 如果你有RAG项目：从“摘要作为检索结果压缩”角度切入，强调压缩率控制对检索质量的影响（如压缩率70%时实体召回率>0.9），并展示你用BERTScore优化摘要的案例。
- 如果你只做过传统NLP：用“文本分类中的特征选择”类比（如TF-IDF阈值控制信息保留），迁移到摘要的压缩率控制，并提你复现过TextRank。
- 如果你是校招无项目：聚焦前沿论文（如Pegasus、LongT5），展示你复现过CNN/DailyMail上的摘要实验，并对比不同压缩率下的ROUGE和实体召回率。
- 论文：Pegasus: Pre-training with Extracted Gap-sentences for Abstractive Summarization
- 论文：LongT5: Efficient Text-To-Text Transformer for Long Sequences
- 工具：Hugging Face Summarization Pipeline（支持BART/Pegasus/LongT5）
- 博客：OpenAI’s Guide to Summarization with GPT-4（指令式摘要技巧）
- 论文：SummaC: Re-Visiting NLI-based Models for Inconsistency Detection in Summaries