e Что такое полнотекстовый поиск Sphinx Search

Использование системы полнотекстового поиска Sphinx

Владельцы многих сайтов устанавливают на свой сайт опцию поиска. Это помогает пользователям найти нужную информацию на сайте в считанные секунды. В этой статье мы расскажем, как работает полнотекстовый поиск в Sphinx Search.

Что такое полнотекстовый поиск

Существует несколько типов поиска:

  • Поиск по метаданным — это поиск по определённым атрибутам документа — название документа, дата создания, размер, автор и так далее. С таким поиском многие встречались в ОС Windows.
  • Поиск по изображениям. Поисковая система распознает содержание фотографии (загружена пользователем или добавлен URL изображения) и в результатах поиска пользователь получает похожие изображения (например, поиск по картинкам в Google).
  • Полнотекстовый поиск — это поиск по всему содержимому документа, а не по определённым атрибутам.

Рассмотрим подробнее последний тип. Первые программы полнотекстового поиска сканировали содержимое каждого документа в базе. Это занимало очень много времени и вычислительной мощности. 

В основе же современных алгоритмов поиска лежит индекс. Все слова и буквосочетания из документов загружаются в индекс (этот процесс называется индексацией). И, когда пользователь вводит свой поисковый запрос, поиск происходит по этому индексу, а не содержимому документов. Поисковик принимает запрос от клиента и ищет совпадения в индексе, опираясь на связь запроса с документом.

Поисковик начинает проверку совпадений с первого символа, чтобы сузить область поиска. Затем он добавляет последующие символы и передаёт результаты, сортируя их по точности.

Такая система значительно повышает скорость поиска нужных документов. В то время, как индекс 10 000 документов может быть опрошен в пределах миллисекунд, последовательный просмотр каждого слова в 10 000 больших документов мог бы занять часы.

Что такое Sphinx

Sphinx (SQL Phrase Index) — это система полнотекстового поиска, которая разработана Андреем Аксёновым и впервые выпущена в 2001 году. Изначально Сфинкс была системой с открытым кодом, но начиная с версии Sphinx 3 стала проприетарной — создатели закрыли исходный код.

Sphinx написана на языке C++ и способна интегрироваться в популярные СУБД (например, PostgreSQL или MySQL). Также в ней есть API для популярных языков веб-программирования.

API или Application Programming Interface — это перечень способов, которыми одна программа может взаимодействовать с другой. Он включает в себя действие, которое можно выполнить, входные и выходные данные. Благодаря API код сайта получает массив идентификаторов тех записей, которые нашлись по поисковому запросу. Затем идентификаторы сопоставляются с теми, которые указаны в базе данных сайта. 

В Сфинкс существуют официальные API. Они созданы для следующих языков:

  • PHP,
  • Perl,
  • Ruby,
  • Python,
  • C++,
  • Java.

Также сообщество разработало API для .NET и Elixir.

Какие преимущества есть у Sphinx

Sphinx как поисковая машина имеет следующие преимущества:

  • Высокая скорость индексации. В Sphinx она достигает 10–15 мегабайт в секунду на каждое ядро процессора.
  • Высокая скорость поиска. Когда вы вводите поисковый запрос, Sphinx ищет совпадения с запросом в индексе со скоростью обработки 150–250 запросов в секунду на каждое ядро процессора с 1 000 000 документов.
  • Высокая масштабируемость. Поисковая машина может обрабатывать 50 000 000 запросов в день на кластер с 3 000 000 000 документов.

Sphinx поддерживает:

  • Распределённый поиск. Sphinx позволяет задействовать несколько машин в сети для обработки запроса.
  • Несколько полей полнотекстового поиска в документе. По умолчанию доступно 32 поля.
  • Несколько дополнительных атрибутов для каждого документа, например, string (строка) или timestamp (дата и время в UNIX-формате).
  • Использование стоп-слов на случай, если нужно убрать некоторые слова из поисковой выдачи.
  • Однобайтовые кодировки и распространённая UTF-8
  • Морфологический поиск. Sphinx имеет встроенные модули для английского, русского и чешского языка. Также можно настроить модули для французского, испанского, португальского, итальянского, румынского, немецкого, голландского, шведского, норвежского, датского, финского и венгерского.
  • ODBC-совместимые базы данных. ODBC (Open Database Connectivity) — это протокол, который разработала компания Microsoft. Он позволяет подключить БД к внешнему источнику данных, например Microsoft Access к SQL Server. Базы данных, которые поддерживают этот функционал, называются ODBC-совместимыми.

Где применяется система полнотекстового поиска Sphinx

Поисковая машина Sphinx используется для создания поиска по сайту или определённой странице. Он встроен в CMS:

  • 1С-Битрикс, 
  • HostCMS,
  • LiveStreet, 
  • Umi.CMS.

Для WordPress и Yii2 можно установить плагин. После этого поиск станет доступным.

На основе кода Sphinx созданы новые ветки ПО, которые называются форками. Так в 2017 году члены первоначальной команды разработки Sphinx разработали форк под названием Manticore.

Manticore — это бесплатная база данных с открытым кодом, которая создана специально для поиска. Это ответвление можно считать полноценным продолжением Sphinx, так как авторы сохранили первоначальные возможности и усовершенствовали их. Вот что добавили в Manticore:

  • пакеты Docker и официальные репозитории YUM и APT,
  • API для Go и JavaScript,
  • интерактивные курсы, в которых описан функционал для пользователей,
  • интеграцию в MySQL/MariaDB FEDERATED engine и ProxySQL,
  • синхронную репликацию. Репликация — это процесс, когда изменения в одной копии объекта синхронизируются с остальными копиями. Когда эта синхронизация происходит за одну транзакцию, репликация называется синхронной.
  • бесплатный анализ кода и прочее.

⌘⌘⌘

Надеемся, что статья оказалась для вас полезной и помогла понять, как работает полнотекстовый поиск в Sphinx.

Похожие публикации

УПД в бухгалтерии: когда один документ может заменить несколько

Многие предприниматели жалуются на сложный и слишком изобильный документооборот: много документов приходится оформлять. Но при…

8 минут назад

Что такое роялти, как их рассчитать и кому они выгодны

Чтобы легально пользоваться результатами чужого труда в своем бизнесе, нужно за это заплатить. И неважно,…

24 часа назад

Франшиза: что это, как работает и стоит ли начинать такой бизнес

Франшизы предоставляют предпринимателям возможность использовать популярные бренды, эффективные бизнес-модели и поддержку со стороны материнской компании.…

3 дня назад

Какие компании называют вендорами и как они работают

Некоторые компании сосредотачивают в своих руках и производственные мощности, и права на то, что на…

6 дней назад

Обособленное подразделение: как открывать и ставить на учет части компании

У любой компании есть адрес, по которому она «прописана», то есть зарегистрирована в ЕГРЮЛ. Но…

7 дней назад

С какого возраста можно открыть ИП и как это правильно сделать

Подросток может заниматься бизнесом, но с учетом важных условий, прописанных в законе. Разбираемся, как несовершеннолетнему…

1 неделя назад