加入收藏 | 设为首页 |

明星大侦探-自然语言(NLP)发展史及相关系统

海外新闻 时间: 浏览:278 次

天然言语处理是计算机科学范畴与人工智能范畴中的一个重要方向。它研讨能完结人与计算机之间用天然言语进行有用通讯的各种理论和办法。天然言语处理是一门融言语学、计算机科学、数学于一体的科学。

天然言语发展史(NLP)

(1) 草创期(1947 ~ 1970):计算机面世(1946)的第二年,英国工程师布斯(A.D.Booth)和美国工程师威弗(W.Weaver)最早提出了运用计算机进行主动翻译。第一代机器翻译体系规划上的粗糙所带明星大侦探-自然语言(NLP)发展史及相关系统来的翻译质量的低质,终究导致了一些人对机器翻译的研讨失掉决心。有明星大侦探-自然语言(NLP)发展史及相关系统些人乃至过错地以为机器翻译寻求全主动质量方针是不或许完结的。标志着机器翻译的研讨就此堕入低谷。

(2) 复苏期(1970 ~ 1976):虽然机器翻译的研讨困难重重,可是法国、日本、加拿大等国依然坚持机器翻译的研讨。在20 世纪70 时代初期,机器翻译又呈现了复苏的局势。机器翻译的研讨者逐步认识到机器翻译进程自身有必要坚持原语和译语在语义上的共同,一个好的机器翻译体系应该把原语的语义准确无误地在译语中表现出来。所以,语义剖析在机器翻译中越来越受到重视。

(3) 昌盛期(1976 ~至今):昌盛期最杰出的特点是机器翻译研讨走上了实用化的路途,呈现了一大批实用化的机器翻译体系,机器翻译产品开端进入市场,逐步由实用化步入商业化。第二代机器翻译体系以依据转化的办法为代表,遍及选用以句法剖析为主、语义剖析为辅的依据规矩的办法,选用由笼统的转化表明的分层次完结战略。

相关体系

1、句法语义剖析:针对方针句子,进行各种句法剖析,如分词、词性符号、命名实体辨认及链接、句法剖析、语义人物辨认和多义词消歧等。

要害字提取:抽取方针文本中的首要信息,比方从一条新闻中抽取要害信息。首要是了解是谁、何时、何地、对谁、做了何事、产生了什么成果。触及实体辨认、时刻抽取、因果联系抽取等技能。

2、文本发掘:首要包含了对文本的聚类、分类、信息抽取、摘要、情感剖析以及对发掘的信息和常识的可视化、交互式的呈现界面。

3、机器翻译:将输入的源言语文本舟山天气预报通过主动翻译转化为另一种言语的文本。机器翻译从最早的依据规矩到二十年前的依据计算的办法,再到今日的依据深度学习(编解码)的办法,逐步构成了一套比较谨慎的办法体系。

4、信息检索:对大规模文档进行索引。可简略对文档中的词汇,赋予不同的权重来树立索引,也能够运用算法来树立更深层的索引。查询时,首要对输入进行剖析,然后在索引里边查找匹配的候选文档,再依据一个排序机制把候选文档排序,最终输出排序得分最高的文档。

5、问答体系:针对某个天然言语表达的问题,由问答体系给出一个精准的答案。需求对天然言语查询句子进行语义剖析,包含实体链接、联系辨认,构成逻辑表达式,然后到常识库中查找或许的候选答案并通过排序机制输出最佳答案。

6、对话体系:体系通过多回合对话,跟用户进行谈天、答复、完结某项使命,首要触及用户目的辨认、通用谈天引擎、问答引擎、对话办理体系等技能。此外,为了提现上下文相关,要具有多轮对明星大侦探-自然语言(NLP)发展史及相关系统话才干。一起,为了提现个性化,对话体系还需求依据用户画像做个性化回复。

7、语料库:语料库中寄存的是在言语的实际运用中实在呈现过的言语资料;语料库是以电子计算机为载体承载言语常识的根底资源;实在语料需求通过加工(剖析和处理),才干成为有用的资源。