[NS : v8] 为什么一个只有“输入 → 输出”的黑盒模型,可以被蒸馏出能力

关键点是:神经网络的“心算”不是以人类思维链(CoT)的形式存在,而是隐藏在参数和中间激活里面。1.大模型并不是只有输入和输出从外面看:输入:“解释一下量子力学”↓模型↓输出:“一段解释”像一个黑盒。但是内部其实是:Token输入↓Embedding↓几十/几百层Transformer↓Attention+MLP↓
 
 
Back to Top