Запис Детальніше

Аналіз алгоритму Apriori для структурованих та неструктурованих даних

Електронний науковий архів Науково-технічної бібліотеки Національного університету "Львівська політехніка"

Переглянути архів Інформація
 
 
Поле Співвідношення
 
Title Аналіз алгоритму Apriori для структурованих та неструктурованих даних
The analysis of apriori algorithm for structured and unstructured data
 
Creator Левус, Є. В.
Нечипір, Н. І.
Полиняк, Ю. В.
 
Contributor Національний університет “Львівська політехніка”
 
Subject алгоритм Apriori
структуровані дані
неструктуровані дані
асоціативне правило
обсяг даних
Apriori algorithm
structured data
unstructured data
associative rule
data volume
004.65
004.9
 
Description Проаналізовано алгоритм Apriori як метод пошуку асоціативних правил у
структурованих та неструктурованих даних з погляду кількості знайдених правил,
швидкодії та потреб в обчислювальних ресурсах. Неструктуровані дані тісно пов’язані з
терміном Big Data. Актуальним завданням інженерії даних є виявлення ефективних
засобів опрацювання неструктурованої інформації. Для проведення обчислювальних
експериментів розроблено програмну систему, що опрацьовує дані алгоритмом Apriori,
предметною областю якої вибрано торгівлю. Така система може бути прототипом
реальної рекомендаційної системи. Програмне рішення розроблено на стеку технологій
Hadoop.
Apriori algorithm is analyzed as a search method of associative rules in structured and
unstructured data in terms of the number of discovered rules, performance and requirements
for computing resources. Unstructured data are closely related to the term ’Big Data’. One of
the main tasks of data engineering is the detection of unstructured information processing
means. There has been developed a software system to perform computational experiments
that processes data using Apriori algorithm, which subject area is trade. Such system can be a
prototype for real recommendation system. The software solution is developed on stack of
Hadoop technology.
 
Date 2018-11-13T15:34:49Z
2018-11-13T15:34:49Z
2017-03-28
2017-03-28
 
Type Article
 
Identifier Левус Є. В. Аналіз алгоритму Apriori для структурованих та неструктурованих даних / Є. В. Левус, Н. І. Нечипір, Ю. В. Полиняк // Вісник Національного університету «Львівська політехніка». Серія: Інформаційні системи та мережі. — Львів : Видавництво Львівської політехніки, 2017. — № 872. — С. 62–68.
http://ena.lp.edu.ua:8080/handle/ntb/42969
Levus Ye. V. The analysis of apriori algorithm for structured and unstructured data / Ye. V. Levus, N. I. Nechypir, Yu. V. Polyniak // Visnyk Natsionalnoho universytetu "Lvivska politekhnika". Serie: Informatsiini systemy ta merezhi. — Lviv : Vydavnytstvo Lvivskoi politekhniky, 2017. — No 872. — P. 62–68.
 
Language uk
 
Relation Вісник Національного університету «Львівська політехніка». Серія: Інформаційні системи та мережі, 872, 2017
https://www.oracle.com/engineered-systems/big-data-appliance/index.html
http://www.teradata.com/products/Aster_MapReduce_Appliance
http://www.emc.com/campaign/global/greenplumdca/index.htm
https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html
https://www
1. Montgomery Karen. Big Data Now: 2014 Edition. O’Reilly Media. – Junuary, 2015. – 165 p.
2. Майер-Шенбергер Виктор, Кукьер Кеннет. Большие данные. Революция, которая изменит то, как мы живём, работаем и мыслим = Big Data. A Revolution That Will Transform How We Live, Work, and Think / пер. с англ. И. Гайдюк. – М.: Манн, Иванов, Фербер, 2014. – 240 с.
3. Data Science and Big Data Analytics: Discovering, Analyzing, Visualizing and Presenting Data. John Wiley & Sons. 2014-12-19.300p.
4. Big Data Applience [Електронний ресурс] // Oracle Big Data: сайт. – Режим доступу https://www.oracle.com/engineered-systems/big-data-appliance/index.html.
5. Almasi, G.S. and A. Gottlieb (2009). Highly Parallel Computing. Benjamin // Cummings publishers, Redwood City, CA. – 235 с.
6. Шаховська Н. Б. Організація великих даних у розподіленому середовищі / Н. Б. Шаховська, Ю. Я. Болюбаш, О. М. Верес// Наукові праці ДонНТУ. Серія: обчислювальна техніка та автоматизація. – 2014. – № 2(27). – С. 147–155.
7. Павич Н. Я. Оцінювання ефективності опрацювання даних великих обсягів технологіями Spark та Hive / Н. Я. Павич, О. П. Крохмальна // Вісник Нац. ун-ту “Львів. політехніка” “Комп’ютерні системи та мережі”. – 2015. – № 830. – С. 128–135.
8. Сєдушев О. Ю. Методи видобування даних з баз нечітких знань / О. Ю. Сєдушев, Є. В. Буров // Вісник Нац. ун-ту “Львів. політехніка” “Інформаційні системи та мережі”. – 2014. – № 783. – С. 193–203.
9. Mapreduce Appliance. [Електронний ресурс] // MapReduce: сайт. – Режим доступу http://www.teradata.com/products/Aster_MapReduce_Appliance.
10. GreenPlum. [Електронний ресурс]//: сайт. – Режим доступу http://www.emc.com/campaign/global/greenplumdca/index.htm.
11. Zhu Yixia, Yao Liwen, Huang Shuiyuan, Huang Longjun. A association rules mining algorithm based on matrix and trees[J]. Computer science. 2006, 33(7):196-198.
12. Tong Qiang, Zhou Yuanchun, Wu Kaichao, Yan Baoping. A quantitative association rules mining algorithm[J]. Computer engineering. 2007.
13. Agrawal R., Imielinski T., Swami A. Mining association rules between sets of items in large database, In Proc. of the 1993 ACM-SIGMOD Int’l Conf. on Management of Data, 1993: 207-216.
14. Agrawal R. and Srikant, R. Fast algorithms for mining association rules. In Proc.20th Int. Conf. Very Large Data Bases, Santiago, Chile, 1994. 487–499.
15. Purdom P. W., Guch D. V., Groth D. P. Avarage case performance of the apriori algorithm – SIAM Journal on Computing, 33(5): 1223–1260, 2004.
16. Mohammed J. Zaki. Scalable algorithms for association mining – IEEE Transactions on Knowledge and Data Engineering, 12(3):373–390, 2000.
17. Brin S., Rajeev Motwani, Ullman J., Tsur S. Dynamic itemset couting and implication rules for market basket data// Proc. ACM SIGMOD Intern. Conference on Management of Data, 255–264 p., USA, 1997.
18. Apache Hadoop. [Електронний ресурс]// Big Data:сайт. – Режим доступу https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html
19. Harris, Dereck Intel jettisons its Hadoop distro and puts millions behind Cloudera (27 March 2014).
20. Уайт, Том Hadoop. Подробное руководство= Hadoop: The Definitive Guide. – СПб., 2013. – 672 с.
21. Hadoop File System. [Електронний ресурс]// hadoop-distributed-file-system: сайт. – Режим доступу https://www. safaribooksonline.com/blog/2013/02/13/the-hadoop-distributed-file-system.
22. White T. Hadoop: The Definitive Guide, 4th Edition. O’Reilly Media. – March, 2015 – 756 p.
23. Нечипір Н. І. Опрацювання великих обсягів неструктурованих та структурованих даних алгоритмом Аpriori / Н. І. Нечипір, Є. В. Левус // Математичне та програмне забезпечення інтелектуальних систем: матер. XIIІ Міжнар. наук.-практ. конф. – Дніпропетровськ: Вид-во Дніпропетр. Нац. ун-ту ім. Олеся Гончара, 2015. – С. 34–36.
1. Montgomery Karen. Big Data Now: 2014 Edition. O’Reilly Media, Junuary, 2015, 165 p.
2. Maier-Shenberher Viktor, Kuker Kennet. Bolshie dannye. Revoliutsiia, kotoraia izmenit to, kak my zhivem, rabotaem i myslim = Big Data. A Revolution That Will Transform How We Live, Work, and Think, transl. from English I. Haidiuk, M., Mann, Ivanov, Ferber, 2014, 240 p.
3. Data Science and Big Data Analytics: Discovering, Analyzing, Visualizing and Presenting Data. John Wiley & Sons. 2014-12-19.300p.
4. Big Data Applience [Electronic resource], Oracle Big Data: sait, Rezhim dostupu https://www.oracle.com/engineered-systems/big-data-appliance/index.html.
5. Almasi, G.S. and A. Gottlieb (2009). Highly Parallel Computing. Benjamin, Cummings publishers, Redwood City, CA, 235 p.
6. Shakhovska N. B. Orhanizatsiia velykykh danykh u rozpodilenomu seredovyshchi, N. B. Shakhovska, Yu. Ya. Boliubash, O. M. Veres// Naukovi pratsi DonNTU. Serie: obchysliuvalna tekhnika ta avtomatyzatsiia, 2014, No 2(27), P. 147–155.
7. Pavych N. Ya. Otsiniuvannia efektyvnosti opratsiuvannia danykh velykykh obsiahiv tekhnolohiiamy Spark ta Hive, N. Ya. Pavych, O. P. Krokhmalna, Visnyk Nats. un-tu "Lviv. politekhnika" "Kompiuterni systemy ta merezhi", 2015, No 830, P. 128–135.
8. Siedushev O. Yu. Metody vydobuvannia danykh z baz nechitkykh znan, O. Yu. Siedushev, Ye. V. Burov, Visnyk Nats. un-tu "Lviv. politekhnika" "Informatsiini systemy ta merezhi", 2014, No 783, P. 193–203.
9. Mapreduce Appliance. [Electronic resource], MapReduce: sait, Rezhim dostupu http://www.teradata.com/products/Aster_MapReduce_Appliance.
10. GreenPlum. [Electronic resource]//: sait, Rezhim dostupu http://www.emc.com/campaign/global/greenplumdca/index.htm.
11. Zhu Yixia, Yao Liwen, Huang Shuiyuan, Huang Longjun. A association rules mining algorithm based on matrix and trees[J]. Computer science. 2006, 33(7):196-198.
12. Tong Qiang, Zhou Yuanchun, Wu Kaichao, Yan Baoping. A quantitative association rules mining algorithm[J]. Computer engineering. 2007.
13. Agrawal R., Imielinski T., Swami A. Mining association rules between sets of items in large database, In Proc. of the 1993 ACM-SIGMOD Int’l Conf. on Management of Data, 1993: 207-216.
14. Agrawal R. and Srikant, R. Fast algorithms for mining association rules. In Proc.20th Int. Conf. Very Large Data Bases, Santiago, Chile, 1994. 487–499.
15. Purdom P. W., Guch D. V., Groth D. P. Avarage case performance of the apriori algorithm – SIAM Journal on Computing, 33(5): 1223–1260, 2004.
16. Mohammed J. Zaki. Scalable algorithms for association mining – IEEE Transactions on Knowledge and Data Engineering, 12(3):373–390, 2000.
17. Brin S., Rajeev Motwani, Ullman J., Tsur S. Dynamic itemset couting and implication rules for market basket data// Proc. ACM SIGMOD Intern. Conference on Management of Data, 255–264 p., USA, 1997.
18. Apache Hadoop. [Electronic resource]// Big Data:sait, Rezhim dostupu https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html
19. Harris, Dereck Intel jettisons its Hadoop distro and puts millions behind Cloudera (27 March 2014).
20. Uait, Tom Hadoop. Podrobnoe rukovodstvo= Hadoop: The Definitive Guide, SPb., 2013, 672 p.
21. Hadoop File System. [Electronic resource]// hadoop-distributed-file-system: sait, Rezhim dostupu https://www. safaribooksonline.com/blog/2013/02/13/the-hadoop-distributed-file-system.
22. White T. Hadoop: The Definitive Guide, 4th Edition. O’Reilly Media, March, 2015 – 756 p.
23. Nechypir N. I. Opratsiuvannia velykykh obsiahiv nestrukturovanykh ta strukturovanykh danykh alhorytmom Apriori, N. I. Nechypir, Ye. V. Levus, Matematychne ta prohramne zabezpechennia intelektualnykh system: mater. XIII Mizhnar. nauk.-prakt. konf, Dnipropetrovsk: Vyd-vo Dnipropetr. Nats. un-tu im. Olesia Honchara, 2015, P. 34–36.
 
Rights © Національний університет „Львівська політехніка“, 2017
© Левус Є. В., Нечипір Н. І., ПолинякЮ. В., 2017
 
Format 62-68
7
application/pdf
image/png
 
Coverage Львів
 
Publisher Видавництво Львівської політехніки