理论与实践的思考

2026-08-08 23:57:20 创建

2026-08-09 00:37:46 修改

今天看了线性注意力的理论，还是很好理解的，好像这种核方法之前也在某些课上见过。然后就突然觉得理论是一个很好的东西。

预测

理论是一个很有力量的工具，理论的最大作用或许在于预测了。或者狭隘一点，数学理论，你可以不参与实践，仅通过数学手段，论证某个方法一定带来某种结果。这样，理论便可以指导实践。如果理论足够强力，你可以在没有多么丰富的资源的情况下，做出重要的成果，而要做的事情仅仅是将其付诸实践。

人工智能

我并不算多么了解AI，特别是实践中的AI。但我感觉，现在的AI界并没有成体系的解释性理论，而所用到的数学又相对简单，导致很多时候依赖的都是工程上的经验，大家都在探索，因此更看重的是实践能力。想法是抽卡，能更快落地想法则更加重要，而能否驾驭如此大型的一个工程，则要求你有这方面的经验。而我认为，是否有经验，这仅仅是0和1的区别。只要做过，便是好了。因此现在在AI行业，参与一手的实践是主要的——没有说洞见不重要，因此理论也是必要的。

现在的我

然而现在的我，还没有进入真正的实践阶段。多读点书，看点理论，我想没什么不好的。有了AI，理论可以更方便地落地。

理论与实践

实践中摸爬滚打，解决报错，处理工程问题，这是实践，即与理论对立的吗？不，我认为这是因为理论尚未覆盖这方面，或者说尚未考虑到这方面。当理论将这方面纳入考虑时，依照理论，便可以写出完整的成品。——即是说，你可以在脑海中构想出一个完整的物件，具体到每个细节，只要照这个模型打印出来就好了。

AI依赖

一些细节是次要的，譬如写代码时需要注意不能犯“低错”、API的设计规范需要遵守。然而这些是需要人每个都手工实现的吗？并无必要。如果AI能干得更快、错误率更低，为何不接受？正如没有人会不使用计算器而手算复杂的计算。这部分理论，可以放心地交由AI实现。但是，你需要有检验的能力，正如机械生产出的产品仍需过质量关，如果人不能对AI的产出把关，即无把关的能力，最后可能仍会产出一些AI Slop。

好与坏

仅从使用效果层面来说，检验冰箱的好坏不需要你会修冰箱，也不需要你知道冰箱是怎么做出来的、内含多少零件；但你需要会用，你需要知道冰箱是干什么的，它应该有怎样的效果。如果冰箱出了问题，而你想排查问题所在，那就需要你有更多关于冰箱或者电气的知识。如果你觉得冰箱太消耗能源了，那么你需要更深入地理解。你拥有的理论愈深，则看得愈深。

什么是理论

从经验中总结出来的应当是理论，这是经验公式；经过逻辑验证的公式当然更是理论。后者能够在脑海中构想，而前者如果屡试不爽，也应使用拿来主义。从现实的角度来说，大概前者用得更广泛一些，而后者则很大程度上推动了人类的进步。