多意图识别为什么要做并行？

先这样答

多意图识别做并行的核心目的是降低系统总延迟。这是字节跳动一面经常考察的工程设计题。在串行处理模式下，系统必须依次识别每一个意图。后一个意图必须等待前一个意图完成网络往返。这种等待会产生时间上的累积效应。整体延迟最终变成所有意图处理时间的直接相加。意图数量越多，用户的等待时间就越长。

并行处理改变了延迟的计算方式。系统同时向底层模型发起多个意图识别请求。各个请求在不同的线程中独立执行网络往返。它们之间不再存在互相等待的依赖关系。整体延迟从所有请求时间相加变成了取耗时最长的那一个。这能缩短用户的整体等待时间。

引入并行机制需要付出并发控制的工程代价。开发者必须在代码中实现严格的失败隔离。系统同时处理一批意图时，部分请求可能会遇到网络波动。单个意图识别失败绝对不能拖垮整批任务。系统遇到局部超时情况，只能针对发生超时的意图单独发起重试。其他成功的意图结果必须被妥善保留。

面试官会怎么追问

• 「并行处理把延迟变成取最大，这在任何情况下都成立吗？」 理论上总延迟等于耗时最长的那个请求。实际工程中发起并发请求本身存在开销。并发数量过多会导致系统资源竞争。实际延迟会略高于纯粹的最大值。

• 「单个意图超时单独重试，这在代码逻辑里怎么实现？」 开发者需要为每个并发请求配置独立的超时时间。主控制流等待所有请求的返回结果。主控制流捕获到某个请求抛出超时异常。系统仅针对该异常请求重新发起调用。

• 「失败隔离没做好会产生什么后果？」 某个意图的识别失败会触发整批任务的异常退出。其他已经识别成功的意图结果会被系统直接丢弃。系统被迫重新发起所有意图的识别请求。

回答的坑

只讲并行能降低总延迟，忽略并发控制与失败隔离的工程代价。 错误地把所有意图的重试绑定在一起，没有强调单独重试的必要性。