BERT的功能只是让计算机更好地理解语言，更像人类。人类探索自然语言处理已有多年，而BERT可以说是近年来最强的自然语言处理模型。
甚至在 bert 应用于搜索算法之前，谷歌就已经在11项机器阅读理解测试中超越了人类，包括情感分析、实体识别、词汇预测、词汇分类等等。
2019年谷歌搜索伯特算法更新
2019年10月21日，伯特开始在谷歌的搜索系统中推出英语搜索，包括精选片段。
该算法将扩展到谷歌提供搜索的所有语言，但目前还没有确定的时间表，谷歌的丹尼沙利文说。伯特模型也被用于改善24个国家的特色片段。
伯特是什么?
BERT是来自transformer的双向编码器表示，是一种基于神经网络的自然语言处理预训练技术。简单地说，它可以用来帮助谷歌在搜索查询中更好地辨别单词的上下文。
例如，在短语“朝九晚五”和“四十五分晚五”中，“to”这个词有两种不同的含义，这对人类来说可能很明显，但对搜索引擎来说就不那么明显了。BERT被设计用来区分这些细微差别，以促进更相关的结果。
2018年11月谷歌开源BERT。这意味着任何人都可以使用BERT来训练他们自己的语言处理系统来进行问题回答或其他任务。
伯特算法什么是神经网络?
设计了神经网络的算法进行模式识别，简单来说。对图像内容进行分类、识别笔迹、甚至预测金融市场的趋势，都是神经网络在现实世界中常见的应用——更不用说用于点击模型等搜索的应用了。
他们训练数据集来识别模式。BERT使用维基百科的纯文本语料库进行了预先训练，谷歌在开源时解释了这一点。
什么是谷歌自然语言处理?
自然语言处理(NLP)是人工智能的一个分支，它处理语言学，目的是让计算机理解人类自然交流的方式。
NLP使进步成为可能的例子包括社交倾听工具、聊天机器人和智能手机上的文字建议。
就其本身而言，NLP并不是搜索引擎的新特性。然而，BERT代表了通过双向培训在NLP中的一种进步(下文将详细介绍)。
伯特是怎么工作的?
BERT的突破在于它能够基于句子中的整个单词集合或查询(双向训练)来训练语言模型，而不是传统的按单词顺序进行训练(从左到右或结合从左到右和从右到左)。BERT允许语言模型根据周围的单词来学习单词上下文，而不仅仅是紧跟在它前面或后面的单词。
谷歌称BERT为“深度双向”，因为单词的上下文表示“从深层神经网络的最底层开始”。
“例如，‘bank’这个词在‘bank account’和‘bank of the river’中具有相同的上下文无关的表示形式。而语境模型则是根据句子中的其他单词为每个单词生成一种表达。例如，在句子‘I access the bank account’中，单向上下文模型将基于‘I access the’but not’account来表示‘bank’。但是，BERT同时使用了前面和后面两个上下文来表示‘bank’，即‘I access the…account’。”
谷歌展示了几个例子，说明BERT在搜索中的应用如何影响结果。在一个例子中，查询“成人数学练习书”之前在有机结果的顶部出现了一本6 – 8年级的书的列表。应用了BERT之后，谷歌在结果的顶部列出了一本名为“成人数学”的书的清单。
评论