Запис Детальніше

Компьютерная сеть Хмельницкого национального университета

Журнал "Теорія та методика електронного навчання"

Переглянути архів Інформація
 
 
Поле Співвідношення
 
Title Компьютерная сеть Хмельницкого национального университета
Комп'ютерна мережа Хмельницького національного університету
Computer network of Khmelnitsky National University
 
Creator Мясищев, Олександр Анатолійович
 
Subject —
—
—
—
 
Description 1. Необходимость компьютерной сети университетаСоздание и развитие системы образования невозможно без организации мощных информационных потоков в учреждениях, занимающихся вопросами образования. Использование в учебных заведениях стандартно действующих библиотек через учебные пособия, периодические издания на сегодняшний день недостаточно, потому что технологии стремительно развиваются, а на переиздание пособий расходуется от 3 до 12 месяцев. Для такой стремительно развивающейся отрасли, как компьютерная индустрия – это очень большой срок. Например, каждые полтора года появляются принципиально новые компьютерные системы увеличенной производительности, а это и новые идеи и технологические решения; стремительно развиваются новые более скоростные способы передачи информации, и т.д. Все это требует создания технологий максимально мощного доступа к новой информации, к организации быстрого выбора необходимых данных из практически безграничного потока информации. Установлено, что единственным на сегодня способом быстрого получения наиболее свежей информации является организация доступа индивидуальных компьютеров учебного заведения к локальной компьютерной сети с установленными там информационными серверами и создание выхода сети в Интернет для получения доступа к практически неограниченному информационному пространству.В связи с вышеизложенным основной задачей информационно-компьютерного центра (ИКЦ) университета является создание, развитие локальной сети, развитие внешних каналов связи сети с Интернет, предоставление всем пользователям университетской сети всех информационных ресурсов, как локальной сети, так и сети Интернет.2. Современное состояние сети университета и внешних каналов ИнтернетВ настоящее время информационно-компьютерный центр университета обеспечивает работу двух каналов связи с двумя провайдерами Интернет. Это Интернет-провайдер URAN, с которым установлен оптоволоконный канал связи с образовательными учреждениями г. Хмельницкого со скоростью 1 Гбит/с и с сетью Интернет со скоростью 190 Мбит/с. Также мы продолжаем работать с нашим провайдером ХмельницкИнфоком, к которому мы подключены со скоростью 1 Гбит/с с помощью оптоволоконного кабеля и который обеспечивает наш выход в Интернет со скоростью 150 Мбит/с. Таким образом, университет имеет общую пропускную способность внешних каналов 340 Мбит/с. Такая скорость позволяет на каждом рабочем месте в учебных корпусах, комнатах студенческих общежитий иметь возможность просматривать не только текстовую и графическую информацию, но и просматривать видео лекции и работать в режиме online с видеоизображениями. До конца 2010 г. университет имел один внешний канал с пропускной способностью лишь 65 Мбит/с. Таким образом, за 1 год наблюдался существенный прогресс университета в развитии внешних каналов и, как следствие, в развитии локальной сети, ведь каналы необходимо распределить по пользователям сети. В настоящее время к сети подключено свыше 2500 компьютеров, включая частные компьютеры студентов в студенческих общежитиях. Всего в университете объединены в сеть около 60 дисплейных классов. В качестве примера на рис. 1 представлена загрузка одного из внешних каналов университета. Видно, что канал работает не только в дневное время, но также и в вечернее и ночное, что говорит о его интенсивном использовании студентами в общежитиях.Рис. 1. Загрузка внешнего канала ИнтернетНа рис. 2 представлена общая схема компьютерной сети университета. Из схемы видно, что все семь корпусов университету связаны в единую сетевую систему.Рис. 2. Общая схема сети университетаКоммуникации между корпусами осуществляются с помощью магистрального оптоволоконного кабеля с пропускной способностью 1 Гбит/с. Между второстепенными корпусами организован 100 Мбитный канал по оптоволокну (удаленные корпуса) и 100 Мбитный канал с помощью медного кабеля (рядом стоящие корпуса). В перспективе планируется расширить магистральный канал до скорости 2 Гбит/с. С помощью кобеля витая пара подключены четыре студенческих общежития со скоростью 100 Мбит/с. Второе общежитие по инициативе студентов подключено с помощью двух кабелей, что обеспечило общую пропускную способность 200 Мбит/с. Третье общежитие частично подключено к сети с помощью Wi-Fi. На два общежития (1-е и 5-е) также дополнительно работают точки доступа (Wi-Fi).Компьютерная сеть внутри корпусов организовано по топологии «звезда», используется кабельная система «витая пара». Скорость передачи данных между отдельными компьютерами и дисплейными классами составляет 100 Мбит/с. Для преобразования электрических сигналов в оптические для передачи данных между корпусами используются медиоконверторы. В центре «звезды» установлены Гигабитные и 100-Мбитные коммутаторы фирмы D-Link. Для большей устойчивости работы сети некоторые магистральные коммутаторы в корпусах и обязательно коммутаторы, соединяющие сеть корпусов со студенческими общежитиями настраиваются как маршрутизаторы. В крупных узловых местах сети устанавливаются только управляемые коммутаторы для оперативного предотвращения нежелательного ошибочного трафика сети. В корпусах адресация компьютеров сети осуществляется с помощью локальных IP – адресов (например 172.20.0.0, 172.50.0.0, 192.168.30.0 и т.д.), а в сегментах сети университета, там где установлены сервера доменных имен, веб-сервера, почтовые сервера, прокси-сервера – адресация узлов выполняется с помощью сетки реальных адресов. Каждый провайдер предоставляет сеть с маской 255.255.255.224, что позволяет использовать университету 60 реальных IP-адресов. Взаимодействие между сеткой с локальными адресами и реальными осуществляется с помощью компьютерных маршрутизаторов на базе FreeBSD. Их отличает высокая степень защиты от проникновения со стороны внешней сети. В качестве примера разводки сети по учебным корпусам на рисунках 3-6 представлены схемы подключения дисплейных классов структурных подразделений и корпусов: рис. 3 – в пределах библиотечного корпуса, рис. 4 – в пределах третьего корпуса, рис. 5 – в пределах четвертого корпуса, рис. 6 – в учебно-производственном корпусе.3. Управление информационными каналамиПри одновременной работе большого количества компьютеров в локальной сети существует вероятность перегрузки внешних каналов. Одним из способов решения задачи, препятствующей перегрузки каналов Интернет, подачи на каждый компьютер заданного потока скорости является организация мониторинга трафика, как внешних каналов, так и трафика между подразделениями, а также такой настройке прокси- и nat-серверов, в которой учитываются скоростные параметры каждого узла и сети.Рис. 3. Схема сети в третьем корпусеРис. 4. Схема сети в четвертом корпусеРис. 5. Схема сети в учебно-производственном корпусеРассмотрим пример организации мониторинга каналов. В большинстве случаев для этих целей применяется пакет программ MRTG. Он создает html-страницу с отображением загрузки канала за сутки, неделю (7 дней), месяц (4 недели) и год (12 месяцев). Скрипт на perl опрашивает маршрутизатор через протокол SNMP, программа на C обрабатывает получившийся результат и создает графики в формате PNG, встроенные в html-страницу. Рассмотрим построение графика, который должен представлять скорость входящего (первая кривая) и исходящего (вторая кривая) трафика через 2-й порт Ethernet интерфейса маршрутизатора 212.111.198.33. Он подключен к провайдеру сети URAN. Третья кривая на графике должна показывать отношение выходной и входной скорости.Вначале создаются рабочие каталоги. Создадим каталог, где будет находиться конфигурационный файл:mkdir /usr/home/alex/public_html/mrtg/cfgТакже создадим каталог, где будут находиться графики:mkdir /usr/home/alex/public_html/mrtg/http_docТеперь создаем конфигурационный файл mrtg.conf, по которому формируется график:# interfaces Ethernet1 and Ethernet2WorkDir:/usr/home/alex/public_html/mrtg/http_docRunAsDaemon:YesLoadMIBs: /usr/home/alex/IF-MIB.txt# Ethernet2Target[Ser]:ifOutOctets.2&ifInOctets.2:public@195.230.134.97:161:Title[Ser]:Ethernet2 In/OutPageTop[Ser]: Ethernet2 (In/Out) Suppress[Ser]: y,mBackGround[Ser]: #E4E7E4Colours[Ser]:Color1#00cc00,Color2#ff00ff,Color3#800080, Color4#808000,Color5#990000LegendI[Ser]: Traffic OutLegendO[Ser]: Traffic InYLegend[Ser]: Bites/secShortLegend[Ser]: Bit/sOptions[Ser]:bits,dorelpercentMaxBytes[Ser]:3000000XSize[Ser]:400YSize[Ser]:200Этот файл записываем в каталог /usr/home/alex/public_html/mrtg/cfg под именем mrtg.cfgЗапускаем программу indexmaker для создания html-странички, где будут находиться графики/usr/local/mrtg-2/bin/indexmakermrtg.cfg >\        /usr/home/alex/public_html/mrtg/http_doc/index. htmlВ случае отсутствия ошибок запускаем mrtg по команде:/usr/local/mrtg-2/bin/mrtg mrtg.cfgРезультатом работы пакета MRTG является график загрузки канала, представленный на рис. 1. Аналогично создаются графики загрузки каналов для локальной сети университета. Здесь параметры снимаются на портах управляемых коммутаторов. На рис. 6 представлен фрагмент графиков загрузки магистрального коммутатора библиотечного корпуса.Рис. 6. Загрузка портов магистрального коммутатораТакже одним из путей борьбы с перегрузкой сети является выборочная фильтрация трафика для отдельных подразделений. С этой целью выполняется соответствующая настройка магистральных коммутаторов. Такб коммутаторы D-Link DES 3810-28 позволяют выполнять фильтрацию не только по IP-адресам, но и по TCP/UDP портам. Например, необходимо отбросить пакеты между корпусами, для организации ftp-соединения, но все остальные пакеты необходимо пропустить. Тогда на магистральном коммутаторе библиотечного и третьего корпусов вводят следующие команды, изолирующие ftp-трафик:create access_profile ip tcp dst_port_mask 0xFFFF deny profile_id 1config access_profile profile_id 1 add access_id 1 ip tcp dst_port 21Несмотря на высокую скорость доступа университета в Интернет, каждый компьютер должен иметь ограниченную скорость работы с каналом. Если не ограничивать скорость доступа, то при одновременном включении всех компьютеров, внешние каналы будут чрезмерно перегружены и это приведет к низкому качеству доступа к Интернет конкретного компьютера. Для решения этой задачи в университете используется два подхода – ограничение доступа через прокси-сервера для компьютеров с локальными адресами и ограничение доступа через firewall – сервера для компьютеров с реальными адресами.В первом случае запускается на компьютере с реальным адресом прокси-сервер squid и формируется конфигурационный файл, в котором имеют место следующие фрагменты:acl host601010 src 172.60.10.10/255.255.255.255acl host601011 src 172.60.10.11/255.255.255.255acl host601019 src 172.60.10.19/255.255.255.255…delay_pools 6…delay_class 5 2…delay_access 5 allow host601010delay_access 5 allow host601011delay_access 5 allow host601019delay_access 5 deny all…delay_parameters 5 -1/-1 300000/300000…http_access allow host601010http_access allow host601011http_access allow host601019Это означает, что каждый компьютер с адресами 172.60.10.10, 172.60.10.11, 172.60.10.19 получает доступ к Интернет со скоростью 300 Кбайт/с.Для того, чтобы ограничить поток для реальных адресов, которые предоставляются серверам дистанционного образования, «модульного середовища», университетской библиотеки, веб-сайтам экономического института, на маршрутизаторах, обеспечивающих выход в Интернет настраивается firewall для операционной системы FreeBSD. Ниже представлен фрагмент такой настройки для серверов экономического института.ipfw pipe 20 config bw 10000Kбит/сipfw pipe 10 config bw 10000Kбит/сipfw queue 1 config pipe 10 weight 40ipfw queue 11 config pipe 10 weight 40ipfw queue 2 config pipe 10 weight 20ipfw queue 22 config pipe 10 weight 20ipfw queue 3 config pipe 10 weight 10ipfw queue 33 config pipe 10 weight 10ipfw queue 4 config pipe 10 weight 40ipfw queue 44 config pipe 10 weight 40ipfw add 2000 queue 1 ip from any to 212.111.198.57 out via re0ipfw add 2010 queue 11 ip from 212.111.198.57 to any in via re0ipfw add 2020 queue 2 ip from any to 212.111.198.55 out via re0ipfw add 2030 queue 22 ip from 212.111.198.55 to any in via re0ipfw add 2040 queue 3 ip from any to 212.111.198.58 out via re0ipfw add 2050 queue 33 ip from 212.111.198.58 to any in via re0ipfw add 2052 pipe 20 ip from any to 212.111.198.59 out via re0ipfw add 2055 pipe 20 ip from 212.111.198.59 to any in via re0ipfw add 2060 pipe 20 ip from any to 212.111.198.50 out via re0ipfw add 2065 pipe 20 ip from 212.111.198.50 to any in via re0Здесь пять серверов имеют общую скорость выхода в Интернет примерно 10 Мбит/с, но с разными приоритетами. Так узел 212.111.198.58 имеет наименьший приоритет при условии, что одновременно будут работать все перечисленные компьютеры.4. Сервера информационно-компьютерного центра университетаВ настоящее время ИКЦ поддерживает сервера общего назначения, обеспечивающие выход университета в Интернет. Это сервера доменных имен, почтовые сервера, прокси-сервера, NAT-сервера, DHCP-сервера, компьютеры, выполняющие функции брандмауэров и маршрутизаторов и также информационные (web) сервера. ИКЦ университета поддерживает две доменные зоны – tup.km.ua, установленная на сети 212.111.198.32/27, и khnu.km.ua – на сети 78.152.183.32/27. В связи с этим работают два информационных сервера: www.tup.km.ua и www.khnu.km.ua. Ниже приведены примеры файлов – зон DNS серверов. Для зоны tup.km.ua:tup.km.ua. IN SOA gamma.tup.km.ua. alex.tup.km.ua. (2008020139 7200 1800 1209600 86400)IN NS gamma.tup.km.ua.IN NS ns.ic.km.ua.IN NS ns2.uran.net.ua.tup.km.ua. IN MX 10 mailhuborion IN MX 10 mailhubbeta IN MX 10 mailhubgamma IN A 212.111.198.33hnu IN A 212.111.198.10IN MX 10 mailhublibrary IN A 212.111.198.46…khnu IN A 78.152.183.36ftp IN CNAME ikc1www IN CNAME ikc1Для зоны khnu.km.ua:khnu.km.ua. IN SOA gamma.tup.km.ua. alex.tup.km.ua. (2011041205 7200 1800 1209600 86400)IN NS gamma.tup.km.ua.IN NS ns.ic.km.ua.rout IN A 78.152.183.33nat IN A 78.152.183.34ed IN A 78.152.183.35…isu1 IN A 212.111.198.58library IN A 212.111.198.46www IN CNAME nuДля организации выхода большинства локальных компьютеров в Интернет используются два прокси-сервера. Эта технология подключения позволяет получать в основном информацию с Web-сайтов, что существенно ограничивает доступ локальных компьютеров в Интернет, а также запрещает доступ к ним со стороны самого Интернет. Поэтому создание Web-серверов на кафедрах невозможно без предоставления им реальных IP адресов. ИКЦ имеет сетку реальных IP-адресов, которая в настоящее время передана для работы факультета дистанционного образования, серверов модульной среды, электронного университета, приемной комиссии. Однако с этими адресами существуют проблемы. Их необходимо защищать от внешних атак и возможности их использования сторонними злоумышленниками для проведения различного типа атак на другие сервера, используя наши IP адреса. В, частности в 2008-2009 г. сервер модульной среды подвергался интенсивным DoS-атакам, в результате которых доступ к нему был практически невозможным, а загрузка внешнего канала университета из-за них опускалась примерно на 3 Мбит/с. Поэтому в настоящее время ИКЦ университета перестал предоставлять кафедрам реальные Интернет адреса, а выход кафедральных информационных серверов производит через центральный Web-сервер университета, используя технологию виртуальных хостов. В этом случае локальный Web-сервер прописывается в конфигурационном файле центрального Web-сервера, а его виртуальное имя прописывается в системе DNS.Для обеспечения бесперебойного выхода в Интернет важных серверов университета, особенно во время работы приемной комиссии, проведения занятий со студентами дистанционного образования, необходимо организовать резервирование внешних каналов. Именно поэтому был поставлен вопрос об организации двух независимых каналов связи через двух провайдеров, которые имеют также независимые выходы в Интернет. В случае неработоспособности одного из каналов, второй должен автоматически переключать на себя информационные запросы и ответы компьютеров университета. Эта технология переключения организована на основе сервера, работающего под управлением FreeBSD 7.3 с установленными nat, ipfw, возможностью использования нескольких таблиц маршрутизации.На рис. 7 представлена схема фрагмента подключения двух локальных сетей университета к router-у NAT через два сетевых адаптера fxp0 (сеть 172.20.0.0/16) и rl0 (172.21.0.0/16). С другой стороны этот router подключен к Интернет через два адаптера – re0 (78.152.183.32/27 – Infocom) и re1 (212.111.198.32/28 – URAN). «Важный» сервер находится в локальной сети 172.20.0.0/16 и имеет адрес 172.20.6.37. Требуется, чтобы по умолчанию он работал в Интернет через сеть 212.111.198.32/28 и был виден с Интернет по адресу 212.111.198.37. В случае обрыва связи работа с сервером переключалась на канал Интернет по сети 78.152.183.32/27, а с Интернет он был бы виден по адресу 78.152.183.35. С сети Internet необходимо разрешить telnet, т.е. по командеtelnet 78.152.183.34 8023подключение к router-у NAT, а по командеtelnet 78.152.183.34 8024подключение к локальному компьютеру 172.21.8.2. Аналогично по командеtelnet 212.111.198.39 8023подключение по telnet к NAT, а по командеtelnet 212.111.198.39 8024подключение к локальному компьютеру 172.20.5.3Необходимо также обеспечить прохождение пакетов для DNS запросов (порт 53) через интерфейс re0, так как router NAT является также DNS-сервером. Сервер (172.20.6.37) должен иметь внешнее имя ed.tup.km.ua и отзываться по нему в случае обрыва канала. Узлы сети 172.20.0.0/16 должны разделять между собой один канал pipe 1 с пропускной способностью 3024 Kбит/с. Также должны выполняться следующие скоростные условия: узел 172.21.8.1 имеет выход в Internet со скоростью pipe 5 – 3024 Kбит/с, узел 172.21.8.2 – pipe 10 – 2024 Kбит/с, узел 172.21.8.3 – pipe 15 – 4096 Kбит/с, узел 172.21.8.4 – pipe 20 – 3024 Kбит/с и узел 172.21.8.200 разделяет с узлом 172.21.8.3 канал pipe 15 со скоростью 4096 Kбит/с.Рис. 7. Схема соединения сервера с локальными сетями и ИнтернетДля решения этой задачи необходимо сгенерировать ядро операционной системы, которое обеспечило бы работу ipfw, nat, forwarding, divert и Dummynet со следующими параметрами:options IPFIREWALL     #собственно файрволoptions IPFIREWALL_VERBOSE #логгинг пакетовoptions IPFIREWALL_VERBOSE_LIMIT=10 #ограничение логов#(повторяющихся) – на случай атак типа флудингаoptions IPFIREWALL_DEFAULT_TO_ACCEPT #дефолтовое#правило (последнее) будет разрешающим, если не установить –#запрещающееoptions IPFIREWALL_NAT #разрешение “ядерного” natoptions IPFIREWALL_FORWARDoptions IPDIVERT #если нужен “обычный” # перенаправление #(форвардинг) пакетовoptions LIBALIAS #библиотека natNAT#(трансляция адресов)options ROUTETABLES=2 #включение 2-х таблиц маршрутизацииoptions DUMMYNET #включение ограничения скоростиoptions HZ="1000"Так как ядро router-а NAT собрано с опцией ROUTETABLES=2, то он поддерживает работу с двумя таблицами маршрутизации. Примем, что трафику, исходящему из сети 172.20.0.0/16 будет назначена таблица маршрутизации 0 (таблица по умолчанию со шлюзом 212.111.198.33), а трафику из сети 172.21.0.0/16 – таблица маршрутизации 1 (для нее шлюз по умолчанию 78.152.183.33).Тогда /etc/rc.conf будет выглядеть следующим образом:gateway_enable="YES"hostname="nat.tup"ifconfig_rl0="inet 172.21.88.1 netmask 255.255.0.0"ifconfig_fxp0="inet 172.20.50.2 netmask 255.255.0.0"ifconfig_re0="inet 78.152.183.34 netmask 255.255.255.224"ifconfig_re0_alias0="inet 78.152.183.35 netmask 255.255.255.224"ifconfig_re1="inet 212.111.198.39 netmask 255.255.255.240"ifconfig_re1_alias0="inet 212.111.198.37 netmask 255.255.255.240"inetd_enable="YES"sshd_enable="YES"firewall_enable="YES"firewall_script="/etc/firewall"Файл /etc/sysctl.conf описывает вариант, когда пакет после захода в nat, pipe возвращается опять в правила ipfw:net.inet.ip.fw.one_pass=0Файл /etc/rc.localsetfib 0 route add default 212.111.198.33setfib 1 route add default 78.152.183.33/usr/sbin/named -c /etc/namedb/named.conf/usr/home/alex/ru.exe &Первая и вторая строки (setlib) назначают для 0-й и 1-й таблиц маршрутизации шлюзы по умолчанию. В четвертой строке запускается скрипт, необходимый для мониторинга основного канала через re1(URAN). В 3-й строке запускается кэширующий DNS сервер.Скрипт /usr/home/alex/ru.exe:sleep 60/usr/home/alex/monit.exe &sleep 10echo Load ROUT/usr/home/alex/rout.exe &Задержка 60 секунд необходима для гарантированного поднятия интерфейсов router-а NAT. Скрипт /usr/home/alex/monit.exe, используя команду ping, проверяет работоспособность канала URAN. Если пакеты теряются на 100% при 5-и пингах, то формируется «непустой» файл /usr/home/alex/los.dat./usr/home/alex/monit.exe:#!/bin/shwhile [ 1 ]do  sleep 5  /sbin/ping -c 5 212.111.195.121 > /usr/home/alex/pin.dat  cat /usr/home/alex/pin.dat | grep "100.0% packet loss" > /usr/home/alex/los.datdoneСкрипт /usr/home/alex/rout.exe проверяет файл /usr/home/alex/los.dat. Если он «непустой», то удаляется 0-я таблица маршрутизации и вместо нее записывается таблица со шлюзом по умолчанию 78.152.183.33. Таким образом, устанавливаются две одинаковых таблицы. Далее идет задержка на 3600 секунд, соответствующая ожиданию восстановления линии через URAN, и таблицы маршрутизации возвращаются к исходному виду. Потом опять проверяется файл /usr/home/alex/los.dat. Если он пустой, тогда линия восстановилась и никаких изменений по переназначению таблиц маршрутизации не происходит. В противном случае снова происходит изменение 0-й таблицы./usr/home/alex/rout.exe:#!/bin/shwhile [ 1 ]do  while [ 1 ]  do    sleep 1    if [ -s /usr/home/alex/los.dat ]      then route delete default 212.111.198.33; route add default 78.152.183.33; break    fi  done  #  sleep 3600  #  route delete default 78.152.183.33  route add default 212.111.198.33done
Комп'ютерна мережа Хмельницького національного університету - це система, яка постійно розвивається. Нові комп'ютери обов'язково підключаються до мережі. Зі збільшенням комп'ютерного парку встановлюються сучасні, більш продуктивні мережеві пристрої на магістралі мережі, збільшується потужність зовнішніх каналів. У мережі встановлюються нові сервера, що виконують функції паралельних обчислювальних систем, сервера, що забезпечують дублювання каналів зв'язку для організації безперебійного зв'язку. На ІКЦ проектуються і встановлюються нові системи інформування та управління роботою серверного і мережевого комунікаційного устаткування.
Computer network Khmelnitsky National University is a system that is constantly evolving. New computers are necessarily connected to the network. Computer park constantly increases. That's why modern more efficient network devices are established on the network backbone, power of external channels increases. New servers that perform parallel computing systems, server, providing redundancy of communication channels for continuous communications organization are installed in network. New systems of information and management of the server and network communications equipment are designing and installing at ICC.
 
Publisher State institution of higher education «Kryvyi Rih National University»
 
Contributor —
—
—
 
Date 2014-02-10
 
Type info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
—
—
—
 
Format application/pdf
 
Identifier http://ccjournals.eu/ojs/index.php/e-learn/article/view/342
 
Source Теория и методика электронного обучения; Vol 3 (2012); 203-230
Теорія та методика електронного навчання; Vol 3 (2012); 203-230
Theory and methods of e-learning; Vol 3 (2012); 203-230
2309-1495
 
Language rus
 
Relation http://ccjournals.eu/ojs/index.php/e-learn/article/view/342/329
 
Rights Copyright (c) 2014 Theory and methods of e-learning