Підхід з напівкерованим навчанням в інвертованому файловому індексі для пошуку наближеного найближчого сусіда
This paper introduces a novel modification to the Inverted File (IVF) index approach for approximate nearest neighbor search, incorporating supervised learning techniques to enhance the efficacy of intermediate clustering and achieve more balanced cluster sizes. The proposed method involves creating...
Збережено в:
| Видавець: | The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" |
|---|---|
| Дата: | 2023 |
| Автор: | |
| Формат: | Стаття |
| Мова: | English |
| Опубліковано: |
The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"
2023
|
| Теми: | |
| Онлайн доступ: | http://journal.iasa.kpi.ua/article/view/297400 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
Організація
System research and information technologies| id |
journaliasakpiua-article-297400 |
|---|---|
| record_format |
ojs |
| spelling |
journaliasakpiua-article-2974002024-02-01T21:03:07Z Semi-supervised inverted file index approach for approximate nearest neighbor search Підхід з напівкерованим навчанням в інвертованому файловому індексі для пошуку наближеного найближчого сусіда Bazdyrev, Anton approximate nearest neighbor search inverted file index high-dimensional data machine learning пошук наближених найближчих сусідів інвертований файловий індекс дані високої розмірності машинне навчання This paper introduces a novel modification to the Inverted File (IVF) index approach for approximate nearest neighbor search, incorporating supervised learning techniques to enhance the efficacy of intermediate clustering and achieve more balanced cluster sizes. The proposed method involves creating clusters using a neural network by solving a task to classify query vectors into the same bucket as their corresponding nearest neighbor vectors in the original dataset. When combined with minimizing the standard deviation of the bucket sizes, the indexing process becomes more efficient and accurate during the approximate nearest neighbor search. Through empirical evaluation on a test dataset, we demonstrate that the proposed semi-supervised IVF index approach outperforms the industry-standard IVF implementation with fixed parameters, including the total number of clusters and the number of clusters allocated to queries. This novel approach has promising implications for enhancing nearest-neighbor search efficiency in high-dimensional datasets across various applications, including information retrieval, natural language search, recommendation systems, etc. Запропоновано удосконалення підходу з використанням інвертованого файлового індексу для пошуку наближених найближчих сусідів з використанням напівкерованого навчання та навчання з учителем з метою підвищення ефективності проміжної кластеризації та досягнення більш збалансованих розмірів кластерів. Запропонований метод полягає у створенні кластерів за допомогою нейронної мережі з розв’язанням завдання класифікації векторів запитів у той самий кластер, що і їхні відповідні найближчі сусідні вектори у вихідному наборі даних. У поєднанні з мінімізацією стандартного відхилення розмірів кластерів процес індексування стає більш ефективним і точним під час наближеного пошуку найближчих сусідів. Через емпіричну оцінку на тестовому наборі даних продемонстровано, що запропонований підхід до індексу виявився більш точним порівняно з індустрійно-стандартною реалізацією із фіксованими параметрами, включаючи загальну кількість кластерів та кількість кластерів, що виділяються для запитів. Метод перспективний для підвищення ефективності пошуку найближчих сусідів у великорозмірних наборах даних у різних застосуваннях, таких як інформаційний пошук, пошук за природною мовою, рекомендаційні системи тощо. The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2023-12-26 Article Article application/pdf http://journal.iasa.kpi.ua/article/view/297400 10.20535/SRIT.2308-8893.2023.4.05 System research and information technologies; No. 4 (2023); 69-75 Системные исследования и информационные технологии; № 4 (2023); 69-75 Системні дослідження та інформаційні технології; № 4 (2023); 69-75 2308-8893 1681-6048 en http://journal.iasa.kpi.ua/article/view/297400/290386 |
| institution |
System research and information technologies |
| collection |
OJS |
| language |
English |
| topic |
approximate nearest neighbor search inverted file index high-dimensional data machine learning пошук наближених найближчих сусідів інвертований файловий індекс дані високої розмірності машинне навчання |
| spellingShingle |
approximate nearest neighbor search inverted file index high-dimensional data machine learning пошук наближених найближчих сусідів інвертований файловий індекс дані високої розмірності машинне навчання Bazdyrev, Anton Підхід з напівкерованим навчанням в інвертованому файловому індексі для пошуку наближеного найближчого сусіда |
| topic_facet |
approximate nearest neighbor search inverted file index high-dimensional data machine learning пошук наближених найближчих сусідів інвертований файловий індекс дані високої розмірності машинне навчання |
| format |
Article |
| author |
Bazdyrev, Anton |
| author_facet |
Bazdyrev, Anton |
| author_sort |
Bazdyrev, Anton |
| title |
Підхід з напівкерованим навчанням в інвертованому файловому індексі для пошуку наближеного найближчого сусіда |
| title_short |
Підхід з напівкерованим навчанням в інвертованому файловому індексі для пошуку наближеного найближчого сусіда |
| title_full |
Підхід з напівкерованим навчанням в інвертованому файловому індексі для пошуку наближеного найближчого сусіда |
| title_fullStr |
Підхід з напівкерованим навчанням в інвертованому файловому індексі для пошуку наближеного найближчого сусіда |
| title_full_unstemmed |
Підхід з напівкерованим навчанням в інвертованому файловому індексі для пошуку наближеного найближчого сусіда |
| title_sort |
підхід з напівкерованим навчанням в інвертованому файловому індексі для пошуку наближеного найближчого сусіда |
| title_alt |
Semi-supervised inverted file index approach for approximate nearest neighbor search |
| description |
This paper introduces a novel modification to the Inverted File (IVF) index approach for approximate nearest neighbor search, incorporating supervised learning techniques to enhance the efficacy of intermediate clustering and achieve more balanced cluster sizes. The proposed method involves creating clusters using a neural network by solving a task to classify query vectors into the same bucket as their corresponding nearest neighbor vectors in the original dataset. When combined with minimizing the standard deviation of the bucket sizes, the indexing process becomes more efficient and accurate during the approximate nearest neighbor search. Through empirical evaluation on a test dataset, we demonstrate that the proposed semi-supervised IVF index approach outperforms the industry-standard IVF implementation with fixed parameters, including the total number of clusters and the number of clusters allocated to queries. This novel approach has promising implications for enhancing nearest-neighbor search efficiency in high-dimensional datasets across various applications, including information retrieval, natural language search, recommendation systems, etc. |
| publisher |
The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" |
| publishDate |
2023 |
| url |
http://journal.iasa.kpi.ua/article/view/297400 |
| work_keys_str_mv |
AT bazdyrevanton semisupervisedinvertedfileindexapproachforapproximatenearestneighborsearch AT bazdyrevanton pídhídznapívkerovanimnavčannâmvínvertovanomufajlovomuíndeksídlâpošukunabliženogonajbližčogosusída |
| first_indexed |
2024-04-08T14:50:35Z |
| last_indexed |
2024-04-08T14:50:35Z |
| _version_ |
1804810501654315008 |