Проблема автоматичної класифікації зображень за використання інтелектуальної системи прийняття рішень на основі графа знань і точного аналізу зображень
In order to prevent the illegal export of paintings abroad, a museum examination using various methods for studying a work of art is carried out. At the same time, an analysis is also made of historical, art history, financial and other information and documents confirming the painting’s authenticit...
Збережено в:
| Видавець: | The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" |
|---|---|
| Дата: | 2022 |
| Автори: | , , , |
| Формат: | Стаття |
| Мова: | English |
| Опубліковано: |
The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"
2022
|
| Теми: | |
| Онлайн доступ: | http://journal.iasa.kpi.ua/article/view/275082 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
Організація
System research and information technologies| id |
journaliasakpiua-article-275082 |
|---|---|
| record_format |
ojs |
| spelling |
journaliasakpiua-article-2750822023-05-21T20:04:38Z The problem of automatic classification of pictures using an intelligent decision-making system based on the knowledge graph and fine-grained image analysis Проблема автоматичної класифікації зображень за використання інтелектуальної системи прийняття рішень на основі графа знань і точного аналізу зображень Martynenko, Andrii Tevyashev, Andriy Kulishova, Nonna Moroz, Boris автоматична багатозадачна класифікація граф знань механізм уваги дрібнодетальний аналіз зображень музейна експертиза твори живопису згорткові нейронні мережі automatic multi-task classification knowledge graph attention mechanism fine-grained image analysis museum expertise paintings convolutional neural networks In order to prevent the illegal export of paintings abroad, a museum examination using various methods for studying a work of art is carried out. At the same time, an analysis is also made of historical, art history, financial and other information and documents confirming the painting’s authenticity — provenance. Automation of such examination is hampered by the need to take into account numerical values of visual features, quality indicators, and verbal descriptions from provenance. In this paper, we consider the problem of automatic multi-task classification of paintings for museum expertise. A system architecture is proposed that checks provenance, implements a fine-grained image analysis (FGIA) of visual image features, and automatically classifies a painting by authorship, genre, and time of creation. Provenance is contained in a knowledge graph; for its vectorization, it is proposed to use a graph2vec type encoder with an attention mechanism. Fine-grained image analysis is proposed to be performed using searching discriminative regions (SDR) and learning discriminative regions (LDR) allocated by convolutional neural networks. To train the classifier, a generalized loss function is proposed. A data set is also proposed, including provenance and images of paintings by European and Ukrainian artists. Для запобігання незаконному вивезенню картин за кордон проводиться музейна експертиза з використанням різних методів дослідження твору мистецтва, зокрема аналіз історичних, мистецтвознавчих, фінансових та інших відомостей і документів, що підтверджують справжність картин – провенансу. Автоматизація такої експертизи ускладнюється необхідністю враховувати числові значення візуальних ознак, показників якості та словесні описи з провенансу. Розглянуто завдання автоматичної багатозадачної класифікації картин під час музейної експертизи. Запропоновано архітектуру системи, яка перевіряє провенанс, реалізує детальний аналіз (FGIA) візуальних ознак зображення та виконує автоматичну класифікацію картини за авторством, жанром та часом створення. Провенанс міститься у графі знань, для векторизації якого запропоновано використовувати енкодер типу graph2vec з механізмом уваги, а детальний аналіз пропонується виконувати за допомогою пошукових відмітних регіонів (SDR) та навчальних відмітних регіонів (LDR), що виділяються згортковими нейронними мережами. Для навчання класифікатора запропоновано узагальнену функцію втрат, а також набір даних, що включає провенанс та зображення картин європейських та українських художників. The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2022-12-27 Article Article application/pdf http://journal.iasa.kpi.ua/article/view/275082 10.20535/SRIT.2308-8893.2022.4.05 System research and information technologies; No. 4 (2022); 58-67 Системные исследования и информационные технологии; № 4 (2022); 58-67 Системні дослідження та інформаційні технології; № 4 (2022); 58-67 2308-8893 1681-6048 en http://journal.iasa.kpi.ua/article/view/275082/270205 |
| institution |
System research and information technologies |
| collection |
OJS |
| language |
English |
| topic |
автоматична багатозадачна класифікація граф знань механізм уваги дрібнодетальний аналіз зображень музейна експертиза твори живопису згорткові нейронні мережі automatic multi-task classification knowledge graph attention mechanism fine-grained image analysis museum expertise paintings convolutional neural networks |
| spellingShingle |
автоматична багатозадачна класифікація граф знань механізм уваги дрібнодетальний аналіз зображень музейна експертиза твори живопису згорткові нейронні мережі automatic multi-task classification knowledge graph attention mechanism fine-grained image analysis museum expertise paintings convolutional neural networks Martynenko, Andrii Tevyashev, Andriy Kulishova, Nonna Moroz, Boris Проблема автоматичної класифікації зображень за використання інтелектуальної системи прийняття рішень на основі графа знань і точного аналізу зображень |
| topic_facet |
автоматична багатозадачна класифікація граф знань механізм уваги дрібнодетальний аналіз зображень музейна експертиза твори живопису згорткові нейронні мережі automatic multi-task classification knowledge graph attention mechanism fine-grained image analysis museum expertise paintings convolutional neural networks |
| format |
Article |
| author |
Martynenko, Andrii Tevyashev, Andriy Kulishova, Nonna Moroz, Boris |
| author_facet |
Martynenko, Andrii Tevyashev, Andriy Kulishova, Nonna Moroz, Boris |
| author_sort |
Martynenko, Andrii |
| title |
Проблема автоматичної класифікації зображень за використання інтелектуальної системи прийняття рішень на основі графа знань і точного аналізу зображень |
| title_short |
Проблема автоматичної класифікації зображень за використання інтелектуальної системи прийняття рішень на основі графа знань і точного аналізу зображень |
| title_full |
Проблема автоматичної класифікації зображень за використання інтелектуальної системи прийняття рішень на основі графа знань і точного аналізу зображень |
| title_fullStr |
Проблема автоматичної класифікації зображень за використання інтелектуальної системи прийняття рішень на основі графа знань і точного аналізу зображень |
| title_full_unstemmed |
Проблема автоматичної класифікації зображень за використання інтелектуальної системи прийняття рішень на основі графа знань і точного аналізу зображень |
| title_sort |
проблема автоматичної класифікації зображень за використання інтелектуальної системи прийняття рішень на основі графа знань і точного аналізу зображень |
| title_alt |
The problem of automatic classification of pictures using an intelligent decision-making system based on the knowledge graph and fine-grained image analysis |
| description |
In order to prevent the illegal export of paintings abroad, a museum examination using various methods for studying a work of art is carried out. At the same time, an analysis is also made of historical, art history, financial and other information and documents confirming the painting’s authenticity — provenance. Automation of such examination is hampered by the need to take into account numerical values of visual features, quality indicators, and verbal descriptions from provenance. In this paper, we consider the problem of automatic multi-task classification of paintings for museum expertise. A system architecture is proposed that checks provenance, implements a fine-grained image analysis (FGIA) of visual image features, and automatically classifies a painting by authorship, genre, and time of creation. Provenance is contained in a knowledge graph; for its vectorization, it is proposed to use a graph2vec type encoder with an attention mechanism. Fine-grained image analysis is proposed to be performed using searching discriminative regions (SDR) and learning discriminative regions (LDR) allocated by convolutional neural networks. To train the classifier, a generalized loss function is proposed. A data set is also proposed, including provenance and images of paintings by European and Ukrainian artists. |
| publisher |
The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" |
| publishDate |
2022 |
| url |
http://journal.iasa.kpi.ua/article/view/275082 |
| work_keys_str_mv |
AT martynenkoandrii theproblemofautomaticclassificationofpicturesusinganintelligentdecisionmakingsystembasedontheknowledgegraphandfinegrainedimageanalysis AT tevyashevandriy theproblemofautomaticclassificationofpicturesusinganintelligentdecisionmakingsystembasedontheknowledgegraphandfinegrainedimageanalysis AT kulishovanonna theproblemofautomaticclassificationofpicturesusinganintelligentdecisionmakingsystembasedontheknowledgegraphandfinegrainedimageanalysis AT morozboris theproblemofautomaticclassificationofpicturesusinganintelligentdecisionmakingsystembasedontheknowledgegraphandfinegrainedimageanalysis AT martynenkoandrii problemaavtomatičnoíklasifíkacíízobraženʹzavikoristannâíntelektualʹnoísistemiprijnâttâríšenʹnaosnovígrafaznanʹítočnogoanalízuzobraženʹ AT tevyashevandriy problemaavtomatičnoíklasifíkacíízobraženʹzavikoristannâíntelektualʹnoísistemiprijnâttâríšenʹnaosnovígrafaznanʹítočnogoanalízuzobraženʹ AT kulishovanonna problemaavtomatičnoíklasifíkacíízobraženʹzavikoristannâíntelektualʹnoísistemiprijnâttâríšenʹnaosnovígrafaznanʹítočnogoanalízuzobraženʹ AT morozboris problemaavtomatičnoíklasifíkacíízobraženʹzavikoristannâíntelektualʹnoísistemiprijnâttâríšenʹnaosnovígrafaznanʹítočnogoanalízuzobraženʹ AT martynenkoandrii problemofautomaticclassificationofpicturesusinganintelligentdecisionmakingsystembasedontheknowledgegraphandfinegrainedimageanalysis AT tevyashevandriy problemofautomaticclassificationofpicturesusinganintelligentdecisionmakingsystembasedontheknowledgegraphandfinegrainedimageanalysis AT kulishovanonna problemofautomaticclassificationofpicturesusinganintelligentdecisionmakingsystembasedontheknowledgegraphandfinegrainedimageanalysis AT morozboris problemofautomaticclassificationofpicturesusinganintelligentdecisionmakingsystembasedontheknowledgegraphandfinegrainedimageanalysis |
| first_indexed |
2024-04-08T14:50:29Z |
| last_indexed |
2024-04-08T14:50:29Z |
| _version_ |
1804810497080426496 |