Дослідження гібридних автокодувальників з використанням трансформерів для біометричної верифікації користувача

Our current study extends previous work on motion-based biometric verification using sensory data by exploring new architectures and more complex input from various sensors. Biometric verification offers advantages like uniqueness and protection against fraud. The state-of-the-art transformer archit...

Повний опис

Збережено в:

Бібліографічні деталі
Видавець:	The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"
Дата:	2023
Автори:	Havrylovych, Mariia, Danylov, Valeriy
Формат:	Стаття
Мова:	English
Опубліковано:	The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2023
Теми:	біометрична верифікація транформери варіаційний автокодувальник автокодувальник на основі трансфомера biometric verification transformers variational autoencoder transformer autoencoder
Онлайн доступ:	http://journal.iasa.kpi.ua/article/view/284317
Теги:	Додати тег Немає тегів, Будьте першим, хто поставить тег для цього запису!

Організація

System research and information technologies

id	journaliasakpiua-article-284317
record_format	ojs
spelling	journaliasakpiua-article-2843172023-11-07T22:19:24Z Research on hybrid transformer-based autoencoders for user biometric verification Дослідження гібридних автокодувальників з використанням трансформерів для біометричної верифікації користувача Havrylovych, Mariia Danylov, Valeriy біометрична верифікація транформери варіаційний автокодувальник автокодувальник на основі трансфомера biometric verification transformers variational autoencoder transformer autoencoder Our current study extends previous work on motion-based biometric verification using sensory data by exploring new architectures and more complex input from various sensors. Biometric verification offers advantages like uniqueness and protection against fraud. The state-of-the-art transformer architecture in AI is known for its attention block and applications in various fields, including NLP and CV. We investigated its potential value for applications involving sensory data. The research proposes a hybrid architecture, integrating transformer attention blocks with different autoencoders, to evaluate its efficacy for biometric verification and user authentication. Various configurations were compared, including LSTM autoencoder, transformer autoencoder, LSTM VAE, and transformer VAE. Results showed that combining transformer blocks with an undercomplete deterministic autoencoder yields the best performance, but model performance is significantly influenced by data preprocessing and configuration parameters. The application of transformers for biometric verification and sensory data appears promising, performing on par with or surpassing LSTM-based models but with lower inference and training time. У дослідженні розширено попередню працю з біометричної верифікакції на основі руху з використанням сенсорних даних шляхом дослідження нових архітектур та більш складних даних від різних датчиків. Біометрична верифікація дає такі переваги, як унікальність для кожного користувача і захист від шахрайства. Архітектура трансформера, одна з найсучасніших у сфері штучного інтелекту, відома своїм юнітом уваги та застосуванням у різних сферах, включаючи NLP та CV. У праці досліджено її потенційну цінність для додатків, які обробляють сенсорні дані. Дослідження пропонує гібридну архітектуру, що об’єднує блоки уваги від трансформера з різними автокодувальниками, щоб оцінити її ефективність для біометричної верифікації та аутентифікації користувача. Порівняно різні конфігурації, включно з автокодувальником LSTM, автокодувальником на базі трансформера, LSTM VAE і VAE на основі трансформера. Результати показали, що поєднання блоків трансформера із неповним детермінованим автокодувальником дає найкращі метрики, але на показники моделі також значно впливають попереднє оброблення даних і параметри конфігурації алгоритму. Застосування трансформерів для біометричної верифікації та сенсорних даних виглядає багатообіцяльним, за метриками нарівні з моделями на основі LSTM або перевершуючи їх, проте з меншими часом обробленням сигналу і навчання моделі. The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2023-09-29 Article Article application/pdf http://journal.iasa.kpi.ua/article/view/284317 10.20535/SRIT.2308-8893.2023.3.03 System research and information technologies; No. 3 (2023); 42-53 Системные исследования и информационные технологии; № 3 (2023); 42-53 Системні дослідження та інформаційні технології; № 3 (2023); 42-53 2308-8893 1681-6048 en http://journal.iasa.kpi.ua/article/view/284317/283954
institution	System research and information technologies
collection	OJS
language	English
topic	біометрична верифікація транформери варіаційний автокодувальник автокодувальник на основі трансфомера biometric verification transformers variational autoencoder transformer autoencoder
spellingShingle	біометрична верифікація транформери варіаційний автокодувальник автокодувальник на основі трансфомера biometric verification transformers variational autoencoder transformer autoencoder Havrylovych, Mariia Danylov, Valeriy Дослідження гібридних автокодувальників з використанням трансформерів для біометричної верифікації користувача
topic_facet	біометрична верифікація транформери варіаційний автокодувальник автокодувальник на основі трансфомера biometric verification transformers variational autoencoder transformer autoencoder
format	Article
author	Havrylovych, Mariia Danylov, Valeriy
author_facet	Havrylovych, Mariia Danylov, Valeriy
author_sort	Havrylovych, Mariia
title	Дослідження гібридних автокодувальників з використанням трансформерів для біометричної верифікації користувача
title_short	Дослідження гібридних автокодувальників з використанням трансформерів для біометричної верифікації користувача
title_full	Дослідження гібридних автокодувальників з використанням трансформерів для біометричної верифікації користувача
title_fullStr	Дослідження гібридних автокодувальників з використанням трансформерів для біометричної верифікації користувача
title_full_unstemmed	Дослідження гібридних автокодувальників з використанням трансформерів для біометричної верифікації користувача
title_sort	дослідження гібридних автокодувальників з використанням трансформерів для біометричної верифікації користувача
title_alt	Research on hybrid transformer-based autoencoders for user biometric verification
description	Our current study extends previous work on motion-based biometric verification using sensory data by exploring new architectures and more complex input from various sensors. Biometric verification offers advantages like uniqueness and protection against fraud. The state-of-the-art transformer architecture in AI is known for its attention block and applications in various fields, including NLP and CV. We investigated its potential value for applications involving sensory data. The research proposes a hybrid architecture, integrating transformer attention blocks with different autoencoders, to evaluate its efficacy for biometric verification and user authentication. Various configurations were compared, including LSTM autoencoder, transformer autoencoder, LSTM VAE, and transformer VAE. Results showed that combining transformer blocks with an undercomplete deterministic autoencoder yields the best performance, but model performance is significantly influenced by data preprocessing and configuration parameters. The application of transformers for biometric verification and sensory data appears promising, performing on par with or surpassing LSTM-based models but with lower inference and training time.
publisher	The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"
publishDate	2023
url	http://journal.iasa.kpi.ua/article/view/284317
work_keys_str_mv	AT havrylovychmariia researchonhybridtransformerbasedautoencodersforuserbiometricverification AT danylovvaleriy researchonhybridtransformerbasedautoencodersforuserbiometricverification AT havrylovychmariia doslídžennâgíbridnihavtokoduvalʹnikívzvikoristannâmtransformerívdlâbíometričnoíverifíkacííkoristuvača AT danylovvaleriy doslídžennâgíbridnihavtokoduvalʹnikívzvikoristannâmtransformerívdlâbíometričnoíverifíkacííkoristuvača
first_indexed	2024-04-08T14:50:31Z
last_indexed	2024-04-08T14:50:31Z
_version_	1804810499225812992

Дослідження гібридних автокодувальників з використанням трансформерів для біометричної верифікації користувача

Організація

Схожі ресурси