Скотт Хуффман (Scott Huffman) руководит командой оценки поиска Google, которая исследует влияние каждого небольшого изменения на выдачу поисковой системы. В интервью Хуффман объяснил, как Google проводит поисковые эксперименты, как работают ассесоры и чем занимается весь отдел оценки качества поиска.

Чем занимается команда оценки качества поиска?

Мы стараемся измерить, насколько хорошо работает поиск Google по всем параметрам, которые мы только можем представить. И мы делаем это, оценивая разные типы запросов: около ста видов локальных запросов с уточнением страны и языка, запросы разной длины и различной частотности, транзакционные и информационные запросы. Мы также оцениваем, насколько качественен поиск по этим запросам вне Америки, в Швейцарии и Франции, например.

И мы оцениваем качество двумя способами. Один процесс идет постоянно – мы хотим знать, как меняется качество поиска со временем, и мы отслеживаем результаты поиска по выбранной группе запросов. Второй процесс включается, когда нашей команде необходимо оценить изменения, которые произошли с поиском после введения конкретных мер по улучшению поиска.

Можете объяснить мне, как вы подходите к оценке качества поиска?

Мы используем два способа для оценки качества поиска. Во-первых, у нас есть асессоры по всему миру, для которых мы разработали систему оценки. Это происходит так: Вот запрос, вы говорите на французском и живете в Швейцарии, вот урл. Оцените по определенной шкале, насколько урл релевантен для этого запроса, или заполните такую-то форму.

Во-вторых, мы экспериментируем с нашими пользователями. Один из типичных примеров такой оценки поиска – это изменение интерфейса поиска. Всегда сложно определить, как пользователи отнесутся к изменениям в интерфейсе.
Подробнее »