3、传统思路的局限性。
由于在传统的自然语言处理的思路中,处理理论和处理规则是有人对自然语言的认识得出的。因此不免带有一些人或一批人认识上的局限性。也就是说,当人们的认识走偏了,自然语言处理的程序就会编写不好。这便体现了传统思路的局限性。
例如,自然语言传达信息的基本单元是“意思”,而人们错以为,自然语言传达信息的基本单元是词汇。于是对于没有分词书写的中文,人们便认为,解决“分词问题”理所当然。在这种认识的带领下,人们花了很大精力,采用了很多方法解决分词问题。但是分词以后,自然语言理解并没有像人们想象的那样唾手可得。
而人们万万没有想到,如果不从分词开始处理中文,自然语言理解反而更容易解决。这里充分显示出,过分依赖人的认识解决自然语言处理问题,会被人在认识上的局限性带入其中。
再例如,为了解决自然语言处理中的海量检索问题,人们注意到人脑检索知识很快捷的特点,便设想人脑有一个合理的“知识表示”模型。于是又有一批人,又投入巨大的精力,进行知识表示的研究。而人脑的知识表示方式,并没有自然而然的显示在研究者面前,于是人们开始用设想、想象构建知识表示模型。至今,没有得到令人满意的知识表示模型。
而人们万万没有想到,人脑中确实有一个知识表示模型,但那个知识表示模型不是固定的,而是在大脑不断整理知识中自然形成的,而且是随着人脑知识的增加而不断发展变化的。
如果我们采用一种方式,模拟人脑不断学习语言,不断整理知识的活动方式(而不是死板的数据模型),然计算机智能系统自己解决问题(例如“意思”的识别问题。例如知识的表示问题,)就不会为智能系统造成局限性,也就是说,人的认识上的局限不会影响自然语言处理了。