Google представила крупнейшее обновление алгоритмов поисковой системы за последние 5 лет

Команда Google сообщила о существенных улучшениях поискового сервиса и включении в его состав своих последних разработок в сфере обработки естественного языка (Natural Language Processing, NLP). Утверждается, что теперь Google умеет лучше понимать контекст запросов и точнее находить для них ответ.

Речь идёт об анонсированной в 2018 году NLP-системе BERT (Bidirectional Encoder Representations from Transformers). Благодаря использованию технологий машинного обучения и систем искусственного интеллекта на базе нейронных сетей она позволяет анализировать не отдельные ключевые слова, а фразы целиком и общий контекст запросов.

В основу алгоритмов BERT положены трансформеры — модели, которые обрабатывают слова не как последовательность разрозненных языковых единиц, а учитывают в предложении их взаимодействие друг с другом. Такой подход позволяет анализировать контекст, в котором они употребляются, и понимать истинный смысл поисковых запросов, для обработки которых используются высокопроизводительные ИИ-ускорители Google TPU (Tensor Processor Unit).

Внедрение BERT в поиск на английском языке началось в октябре 2019 года. С этого месяца технология начала работать для поисковых запросов на русском языке.

«В последнее время благодаря технологиям машинного обучения наши исследователи достигли больших успехов в области понимания языка, и мы стали намного лучше обрабатывать запросы. Это крупнейший прорыв за последние пять лет и один из самых грандиозных успехов за всю историю поиска Google», — говорится в заявлении поискового гиганта.

Подробнее о технологиях обработки естественного языка можно узнать в блоге разработчиков Google.