BERT的功能只是让计算机更好地理解语言,更像人类。人类探索自然语言处理已有多年,而BERT可以说是近年来最强的自然语言处理模型。
甚至在 bert 应用于搜索算法之前,谷歌就已经在11项机器阅读理解测试中超越了人类,包括情感分析、实体识别、词汇预测、词汇分类等等。
2019年谷歌搜索伯特算法更新
2019年10月21日,伯特开始在谷歌的搜索系统中推出英语搜索,包括精选片段。
该算法将扩展到谷歌提供搜索的所有语言,但目前还没有确定的时间表,谷歌的丹尼沙利文说。伯特模型也被用于改善24个国家的特色片段。
伯特是什么?
BERT是来自transformer的双向编码器表示,是一种基于神经网络的自然语言处理预训练技术。简单地说,它可以用来帮助谷歌在搜索查询中更好地辨别单词的上下文。
例如,在短语“朝九晚五”和“四十五分晚五”中,“to”这个词有两种不同的含义,这对人类来说可能很明显,但对搜索引擎来说就不那么明显了。BERT被设计用来区分这些细微差别,以促进更相关的结果。
2018年11月谷歌开源BERT。这意味着任何人都可以使用BERT来训练他们自己的语言处理系统来进行问题回答或其他任务。
伯特算法什么是神经网络?
设计了神经网络的算法进行模式识别,简单来说。对图像内容进行分类、识别笔迹、甚至预测金融市场的趋势,都是神经网络在现实世界中常见的应用——更不用说用于点击模型等搜索的应用了。
他们训练数据集来识别模式。BERT使用维基百科的纯文本语料库进行了预先训练,谷歌在开源时解释了这一点。
什么是谷歌自然语言处理?
自然语言处理(NLP)是人工智能的一个分支,它处理语言学,目的是让计算机理解人类自然交流的方式。
NLP使进步成为可能的例子包括社交倾听工具、聊天机器人和智能手机上的文字建议。
就其本身而言,NLP并不是搜索引擎的新特性。然而,BERT代表了通过双向培训在NLP中的一种进步(下文将详细介绍)。
伯特是怎么工作的?
BERT的突破在于它能够基于句子中的整个单词集合或查询(双向训练)来训练语言模型,而不是传统的按单词顺序进行训练(从左到右或结合从左到右和从右到左)。BERT允许语言模型根据周围的单词来学习单词上下文,而不仅仅是紧跟在它前面或后面的单词。
谷歌称BERT为“深度双向”,因为单词的上下文表示“从深层神经网络的最底层开始”。
“例如,‘bank’这个词在‘bank account’和‘bank of the river’中具有相同的上下文无关的表示形式。而语境模型则是根据句子中的其他单词为每个单词生成一种表达。例如,在句子‘I access the bank account’中,单向上下文模型将基于‘I access the’but not’account来表示‘bank’。但是,BERT同时使用了前面和后面两个上下文来表示‘bank’,即‘I access the…account’。”
谷歌展示了几个例子,说明BERT在搜索中的应用如何影响结果。在一个例子中,查询“成人数学练习书”之前在有机结果的顶部出现了一本6 – 8年级的书的列表。应用了BERT之后,谷歌在结果的顶部列出了一本名为“成人数学”的书的清单。
![weinxin](http://liqing-seo.com/wp-content/uploads/2022/04/微信图片_202204152225281.jpg)
评论