3多模态算法工程师
Transformer架构/Self-Attention核心原理/为什么需要缩放因子
为什么是除以根号d_k而不是d_k？
题目摘要
多模态算法工程师面试题：为什么是除以根号d_k而不是d_k？重点考察方差与标准差的区别，对统计量纲的理解。可结合从方差的性质出发，说明点积方差与d_k成正比，因此需要除以根号d_k来归一化标准差。可以用简单的数学例子辅助说明来组织回答。
- 岗位方向：多模态算法工程师
- 所属章节：Transformer架构
- 当前小节：为什么需要缩放因子
- 考察重点：方差与标准差的区别，对统计量纲的理解。
- 作答建议：从方差的性质出发，说明点积方差与d_k成正比，因此需要除以根号d_k来归一化标准差。可以用简单的数学例子辅助说明。
考察要点
方差与标准差的区别，对统计量纲的理解。
答题思路
从方差的性质出发，说明点积方差与d_k成正比，因此需要除以根号d_k来归一化标准差。可以用简单的数学例子辅助说明。
这道题的参考答案包含了详细的分析和要点总结。点击下方按钮查看完整答案。
答案经过精心组织，帮助你建立系统化的知识框架。