第163章 全國高考滿分狀元(7)
关于未来的规划。
林灰其实已经做了相当明确的规划。
而且不至于是纸上谈兵,林灰已经是付诸于实践了。
至少林灰自认为他其实已经在稳扎稳打地向前推进了。
尽管现在来看林灰的步子还不是很大。
但从宏观的角度来看或者说从其他人的角度来看,林灰的进度其实并不慢。
概括来说的话,学术方面林灰现在已经小有所成。
更具体地来说,林灰现在搞得那个生成式摘要算法已经有所成就。
至于为什么要在生成式摘要算法这里做文章。
是因为生成式摘要算法这方面的东西被林灰当作是入局的敲门砖。
(之所以以此入局,自然是因为生成式摘要算法所属的自然语言处理领域门槛相对较低。
可以这样类比,自然语言处理这东西之于神经网络学习很像是数论之于数学。
数学里的数论你不能说它不重要。
但是门槛是真的低。
当然数论门槛虽低,但上限却很高。
而自然语言处理这门学问同样类似。
自然语言处理的门槛同样也很低。
涉及到语言这东西,谁都会语言,谁都有一定的概括语言、精炼语言的能力。
毕竟那么多年的语文不是白学的。
可以说相比于一些连入门的东西都让人一头雾水的东西,自然语言处理这门学科的门槛也很低。
门槛低,代表着准入规则不高,而准入规则没有那么多麻烦事的话,即便林灰入局也不会被太在意。
而自然语言处理虽然门槛低。
但和数论一样,上限很高。
上限很高意味着什么呢?
上限很高意味着可以够到一些很高的境界。
而能达到很高的境界则意味着将来可以轻松破局!)
而林灰打算怎样破局呢?
生成式摘要算法本质上是深度学习发展的产物。
而现在这个时间节点。
却只有神经网路识别。
没有真正意义上的深度学习。
林灰很清楚打开真正的深度学习的钥匙是什么?
——残差神经网路。
(残差神经网络这个概念是前世在2015年由microsoft某研发团队提出的。
残差神经网络是一种依托于残差学习框架来减轻网络训练的神经网络。
和以往的神经网络架构不同。
残差神经网路的架构将层变为学习关于层输入的残差函数,而不是学习未参考的函数。
经验证据证明这些残差网络很容易优化,并可以显著增加深度来提高准确性。
林灰记得,前世的研究小组在imagenet数据集上评估了深度高达152层的残差网络。
这个152层的深度什么概念呢?
在前世疯狂卷的时候来说,用服务器跑神经网络学习模型是常有的事情。
不过那些疯狂卷的时代都已经成为历史了。
就现下这个时空来说,152层的深度可以说是吊打现在的各种神经网络学习模型所能实现的深度。
量化分析来进行阐述的话,152层的深度意味着要比现在这个时空主流的神经网络学习所实现的深度要深8倍。
深度更深往往意味着更高的准确度。
现在这个时空也清楚深度更深要更有利于工程面的效果。
但盲目增加传统神经网络的复杂度却导致了模型复杂度急剧攀升等缺点。
而这就更能突出残差神经网络的价值了。
本章未完,点击下一页继续阅读。