先这样答
LSTM 的结构可以概括为三门一态:遗忘门、输入门、输出门和细胞态。画图时,我会先画出细胞态的通路,再沿着信息流标出三个门,最后标出隐藏态。细胞态负责传递信息,是这张图的主线。三个门分别控制旧信息留下多少、新信息写入多少,以及细胞态向隐藏态输出多少。这样画完,面试官也能顺着图检查我是否讲清了每个门。
遗忘门决定细胞态保留多少旧信息。输入门决定把多少新信息写入细胞态。这两个门一起决定细胞态接下来承载什么信息。讲这部分时,我会把“保留”和“写入”分开说,避免把两个门混成一个作用。细胞态不是又一个门。它承担信息传递;门负责调节信息的去留和写入。
输出门决定细胞态输出多少信息到隐藏态。它控制的是输出,不负责替输入门写入新信息。说完三门,我会回到整体作用:细胞态提供信息通路,门控控制信息流,用来解决普通 RNN 的梯度消失问题。面试时先把结构和职责答完整,再接 GRU 的追问。
面试官会怎么追问
- 「你画图时,细胞态和隐藏态怎么区分?」 我会先指出贯穿结构的细胞态通路,再单独标出隐藏态。细胞态负责传递信息。输出门决定细胞态有多少信息输出到隐藏态。画图时要把细胞态和隐藏态分开标,不能只画三个门。
- 「遗忘门和输入门分别管什么?」 遗忘门管旧信息,决定细胞态保留多少。输入门管新信息,决定写入多少。两者都影响细胞态,但一个回答“留多少”,另一个回答“写多少”。我会按这个顺序指着图回答。
- 「那 GRU 和 LSTM 怎么比?」 GRU 把遗忘门和输入门合并为更新门。它的参数更少,效果相当。面试里我会先把 LSTM 的三门讲清,再用这两点回答 GRU,不把两种结构的门混在一起。
回答的坑
- 只报出三个门的名字,却不说各自控制多少信息,也不交代细胞态和隐藏态的关系。
- 把 GRU 的更新门说成 LSTM 的门,或把“参数少、效果相当”说成 GRU 一定更好。
同系列的题
—— 本题完 ——