Ведущий российский оператор сетевых поисковых систем и интернет-порталов компания «Яндекс» приступила к эксплуатации поискового алгоритма «Палех» на основе алгоритмов нейронных сетей. Целью разработки является улучшение качества и скорости поиска на редко встречающиеся или уникальные поисковые запросы. Необходимость создания алгоритма обусловлена тем, что, несмотря на сравнительно небольшую интенсивность поисковых запросов такой разновидности, из общее количество превышает сто миллионов в сутки, то есть оказывает на поисковую машину существенную нагрузку при обработке обычными методами.
Традиционно обработка любого поискового запроса осуществляется по ключевым словам. Наличие этого слова на сайте означает потенциальный интерес для автора запроса. Однако, работа исключительно с ключевыми словами мало эффективна из-за возможностей различной подачи информации. Для устранения этого недостатка привлекают дополнительную информацию типа обезличенной статистики перехода пользователей с аналогичным запросом. Этот прием не работает в случае уникальных запросов из-за отсутствия самой статистки.
Сильной стороной «Палеха» стала возможность формирования смысловых связей между запросом и текстовым содержанием сайта. Фактически алгоритм устанавливает соответствие между запросом и информацией на веб-странице даже при отсутствии общих ключевых слов. Например, «выращивание картошки на другой планете» система трактует как запрос о фильме «Марсианин» даже в случае отсутствия слов «картошка» и «планета».
Название «Палех» появилось из-за того, что на профессиональном арго разработчиков поискового программного обеспечения уникальные запросы называются «длинным хвостом». Этим узнаваемым элементом может похвастаться сказочная жар-птица, которая очень популярна в палехской миниатюре.
Обращение к схеме нейронных сетей производится в тех ситуациях, когда требуется достигнуть высокой скорости машинного обучения. Метод очень эффективен при анализе естественной информации различной природы: звука, текстов, изображений. Нейронные сети часто применяются при поиске по изображениям, например, в процессе фильтрации контента для взрослых, а также в системах распознавания речи. В «Яндексе» подчеркивают большую перспективу созданного алгоритма и надеются достигнуть уровня распознавания, сопоставимого с уровнем человека.
