Конспекты лекций и практические задания: ЦОР Суперкомпьютеры и параллельная обработка данных 

Методические пособия

• ОСНОВЫ РАБОТЫ С БИБЛИОТЕКОЙ MPI

• ОСНОВЫ РАБОТЫ С БИБЛИОТЕКОЙ OPENMP

• Введение в высокопроизводительные вычислительные системы.(Лабораторный практикум Linux)

Полезные ссылки

• Карепова, Е. Д. Основы многопоточного и параллельного программирования: Учебное пособие / Карепова Е.Д. - Краснояр.:СФУ, 2016. - 356 с.: ISBN 978-5-7638-3385-0. - Текст : электронный. - URL: https://znanium.com/catalog/product/966962  (дата обращения: 24.07.2020). - Режим доступа: по подписке.

• Борзунов, С. В. Практикум по параллельному программированию: Учебное пособие / Борзунов С.В. - СПб:БХВ-Петербург, 2017. - 236 с. ISBN 978-5-9909805-0-1. - Текст : электронный. - URL: https://znanium.com/catalog/product/978561 (дата обращения: 21.07.2020). - Режим доступа: по подписке.

• Параллельные вычисления общего назначения на графических процессорах: Учебное пособие / Некрасов К.А., Поташников С.И., Боярченков А.С., - 2-е изд., стер. - Москва :Флинта, Изд-во Урал. ун-та, 2017. - 102 с. ISBN 978-5-9765-3182-6. - Текст : электронный. - URL: https://znanium.com/catalog/product/949717 (дата обращения: 21.07.2020). - Режим доступа: по подписке.

• Федотов, И. Е. Модели параллельного программирования: Практическое пособие / Федотов И.Е. - Москва :СОЛОН-Пр., 2017. - 392 с. (Библиотека профессионала)ISBN 978-5-91359-222-4. - Текст : электронный. - URL: https://znanium.com/catalog/product/858609 (дата обращения: 24.07.2020). - Режим доступа: по подписке.

• Как настроить VPN-соединение? Действия по настройке VPN-соединения описаны в Инструкции.

• История параллельных и высокопроизводительных вычислений
• В.П. Гергель, Р.Г. Стронгин Основы параллельных вычислений для многопроцессорных вычислительных систем
• MPI
• OpenMP
• Элементы языка С
• Терминал Linux
• Параллельное программирование с использованием технологии CUDA
• NVIDIA CUDA Compiler Driver NVCC





Лекции

• Лекция 1 Жизненный цикл программно-аппаратных систем
• Лекция 2 Анализ требований
• Лекция 3 Моделирование ИС
• Лекция 4 Варианты испоьзования
• Лекция 5 Функциональная модель ПО
• Лекция 6 ООП
• Лекция 7 диаграммы классов
• Лекция 8 UML зависимости
• Лекция 9 Жизненный цикл и модели ПО
• Лекция 10 Кроссплатформенное программирование (факультативно)
• Лекция 11 Технологии программирования
• Лекция 12 Проектирование безопасного ПО
• Лекция 13 Качество ПО

Команда в тимс 

Полезные ресурсы

• Антамошкин, О. А. Программная инженерия. Теория и практика
• И. Соммервиль: Инженерия программного обеспечения
• Ф.Новиков, Д.Иванов. Моделирование на UML.  
• Анализ требований по Вигерсу 
• Шаблон спецификации требований
• Видеолекции (Основы программной инженерии) 
• UML online (пользуйтесь анонимайзером)
• Уроки Qt
• Джеф Раскин Интерфейс: новые направления в проектировании компьютерных систем 

• WPF http://metanit.com/sharp/wpf/1.php и http://professorweb.ru/my/WPF/base_WPF/level1/info_WPF.php

Практическое задание (семестровый проект) 

Контрольная точка 1 (10 баллов при своевременном представлении)

• Сформировать рабочую группу, распределить роли

  • Определить модель ЖЦ проекта

  • выбрать ГОСТы, которыми нужно руководствоваться при работе над проектом, обосновать выбор

  • Составить график работ до конца курса 

  • Выбрать инструменты управления проектом (Trello, GitLab, Github, Bitbucket, YouGile, Bitrix24, Jira, ClickUp, YouTrack, Скрам, Redmine, WebCollab, ClockingIT, Codendi, Egroupware, Collabtive, Project Open), обосновать выбор, отразить задачи и график работ рабочей группы (скриншоты)

  • Провести сбор и анализ требований к ПО, составить документ спецификации требований, отразить

    • бизнес-требования

    • обзор аналогов и конкурентов

    • требования пользователей

      • функциональные требования

      • нефункциональные требования

    • Сделать промежуточный отчет в виде презентации

Контрольная точка 2 (15 баллов при своевременном представлении)

• Подготовить техническое задание на проект по ГОСТ 19 или ГОСТ 34
  • уточнить задачи проекта и рабочий график
  • Выбрать язык ООП для реализации проекта 

Контрольная точка 3 (25 баллов при своевременном представлении)

Разработать архитектуру ПО

• Построить диаграммы вариантов использования  и описание сценариев вариантов использования (диаграммы деятельности).
• Разработать технический проект ПО, включающий полное описание структуры и функционала ПО. Проект сопроводить UML моделью разрабатываемого ПО (диаграммы вариантов использования, диаграммы классов, диаграммы деятельности, диаграммы  состояний, диаграммы топологии и др.). 
• Написать и оформить пояснительную записку к  проекту по ГОСТ (пояснительная записка должна содержать все  диаграммы UML в приложении или в виде рисунков)
  • ГОСТ 19.404-79
  • ГОСТ Р 59795— 2021 для автоматизированных систем 
• Разработать интерфейс проекта / набор интерфейсов
• магистратура (физика, инноватика):
  • Представить и защитить проект ПО
  • Документацию к проекту (на зачет) - ПЗ и файл UML модели в формате StarUML
  • показать что архитектура ПО соответствует ТЗ 
  • оценить вклад каждого участника рабочей группы

• бакалавриат и специалитет
  • Разработать рабочий макет проекта (интерфейс и частичная функциональность)
  • Представить и защитить рабочий макет ПО (на зачет), документацию к проекту  - ПЗ и файл UML модели в формате StarUML
  • показать что архитектура ПО соответствует ТЗ
  • оценить вклад каждого участника рабочей группы

Индивидуальные задания для рабочих групп:

1. Разработать ПО информационной системы умного перекрестка (управление автомобильными пробками)

2. Разработать ПО информационной системы беспилотного уборщика мусора на водных территориях

3. Разработать ПО робота для мониторинга почвы в агрохозяйстве.

4. Разработать ПО для управления работами городского хозяйства (уборка снега, ремонт дорог, водопровода и т.п.)

5. Разработать ПО системы записи и учета прохождения курсов повышения квалификации работников различных компаний

6. Разработать ПО информационной системы страховой компании.

7. Разработать ПО информационной системы умной теплицы

8. Разработать ПО автомата приготовления быстрого питания (сосисок в тесте и т. п.). Предусмотреть связь с персоналом, сбор статистики и учет расходных материалов.

9. Разработать ПО.для кабинета ветеринара - Составить программу, позволяющую делать различные списки и выборку по диагнозу, виду, возрасту и т. п.

10. Разработать ПО - каталог  растений, содержащий сведения о них для питомника. Составить программу, позволяющую делать различные списки по параметрам (сорт, цвет и др.).

11. Разработать ПО для планирования экспериментальных исследований образцов кристаллов.

12. Разработать ПО для лаборатории изготовления полупроводниковых микросхем.

13. Разработать ПО для  системы подачи заявок на тендер с учетом локального времени, условий региона и т.п.

14. Разработать ПО «Система учета рабочего времени»: Система учета рабочего времени позволяет руководителям выдавать задания и отслеживать ход их выполнения, а исполнителям — вести учет рабочего времени, затраченного на выполнение каждого задания.

15. Разработать ПО для площадки проведения конференций, выставок, семинаров с возможностью записи для заявок, просмотра расписаний и т.п.

16. Разработать ПО «Информационная система технической экспертизы»: информационная система технической экспертизы позволяет  соискателям грантов подавать заявки, независимым экспертам оценивать заявки, а держателям фонда принимать решение о выдаче гратов ПО результатам экспертизы заявок.

17. Разработать ПО. - список спортсменов (ФИО, возраст, вес, медали).  Составить программу, позволяющую делать различные списки и выборку по рейтингу, алфавиту, возрасту и т.п.

18. Разработать ПО для продажи билетов на спортивные мероприятия, система продажи билетов позволяет  покупать и сдавать билеты и абонементы на соревнования, проходящие на разных стадионах.

19. Разработать ПО системы предоставления и запроса вакансий для бюро по трудоустройству.

20. Разработать ПО системы электронной записи клиентов нотариальной конторы.

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

Вопросы к зачету/зкзамену

1. Цели и задачи программной инженерии
2. Понятие жизненного цикла ПО
3. Модели жизненного цикла ПО
4. Методологии проектирования ПО (RUP и XP)
5. Этапы сбора и анализа требований к ИС
6. Модели ПО и диаграммы UML
7. Варианты использования в UML
8. Функциональная модель системы и ее описание средствами UML
9. Объектная модель системы и Структурные диаграммы
10. Отношения между элементами модели в UML
11. Этапы построения объектной модели ИС
12. Спецификации в модели информационной системы
13. Интерфейсы в UML
14. Диаграммы пакетов и подсистемы
15. Диаграммы компонентов
16. Диаграммы развертывания (топологии)
17. Диаграммы взаимодействия
18. Процессы ЖЦ и диаграммы UML
19. Реализация модели ИС на языке C++
20. Учет требований безопасности при разработке программных продуктов
21. Человеческий фактор и обеспечение безопасности
22. Учет требований безопасности во всех фазах ЖЦ программного проекта

Задание № 1

 Изучить принцип работы спутниковых навигационных систем, измеряемые параметры радиосигналов, принимаемые приемником от спутника.

• Хуторова О.Г. Дистанционное зондирование атмосферы радиосигналами спутниковых навигационных систем. Теоретические основы. Учебное пособие Каз.федер.ун-т. – Казань, 2011.- 117 с.Zondirovanie_radiosignalami.pdf

1. Скачать программу ReadRinex_Lab​.py и пример данных в облачном хранилище (GD)
   • Программа написана на python (Документация Python 3). Требуются дополнительно модули  matpotlib, numpy , georinex
2. Изучить алгоритм работы программы, понять процесс выборки измерений, построение графиков спутниковых измерений для примера данных: псевдодальности, фазовых измерений, доплеровских измерений.

               !!!ВАЖНО: правильно задавайте имя файла в программе и диапазон  времени выборки данных

Задание № 2

1. Построить графики спутниковых измерений для  нескольких примеров данных с разных спутников в разное время. дополнить все графики подписями осей с единицами измерений, расширенной легендой - именем представляемого параметра сигнала. Выбрать время и номер спутника, доступные для скачивания (не менее 20 минут, не более часа). Если данные не отображаются или выводятся нулевые значения - измерений с данного спутника нет. Подобрать время и номер спутника так, чтобы отображались графики, отличные от нуля во всем диапазоне времени, не имеющие пропусков и скачков. Для отчета записать дату, время, число минут, номера спутников.
2. Объяснить физический смысл радиоизмерений приемника ГЛОНАСС – GPS: псевдодальностей по кодовому измерению  (С1), фазовых измерений на частотах f1 и f2 (L1, L2) и доплеровских измерений на частоте f1  (D1),  отношение сигнал/шум (S1).
3. Объяснить временные зависимости всех измеряемых величин. 
4. Ответить на вопрос: можно ли измерения параметров радиосигналов считать случайными функциями, почему?

Задание № 3

1. Как изменяются параметры радиосигналов, проходящих через ионосферу и нейтральную атмосферу?
2. Объяснить влияние ионосферы на распространение радиоволн.
3. Практическое задание:
   • На основе предыдущей программы сделать выборки измерений с нескольких спутников, пригодные  для зондирования ионосферы следующим образом.
   • Подобрать время (30-60 минут) и номер спутника так, чтобы отображались графики L1 и  L2, отличные от нуля во всем диапазоне времени, не имеющие пропусков и скачков.

!!!ВАЖНО: Для расчетов ПЭС нужно, чтобы число и время измерений L1 и L2 строго совпадали (Можно отредактироватьпрограмму так, чтобы удалялись строки с пустыми ячейками L2 или L1)

• Рассчитать  полное электронное содержание ПЭС (TEC-total electron content), по сигналам  с нескольких  спутников по  фазе за этот период времени 
• Объяснить временную зависимость ПЭС
• Оценить соотношение сигнал/шум, его среднее значение и дисперсию, временную зависимость. Сравнить с ПЭС. Объяснить результаты.
• Аппроксимировать временные ряды ПЭС линейной или полиномиальной зависимостью. Оценить какая функция аппроксимирует тренд ПЭС и соотношение сигнал/шум лучше. Объяснить результаты.
• Вычесть полученные тренды (аппроксимации) из временных рядов. Оценить среднее значение и дисперсию, временную зависимость полученных выборок. Объяснить результаты.
• Можно ли флуктуации ПЭС полученные в п.III считать случайным процессом?
• Проверить, являются ли флуктуации ПЭС стационарным процессом, функцией сосстационарными приращениями.
• Оценить статистические параметры флуктуаций ПЭС: среднее значение и дисперсию, плотность распределения, автокорреляционную функцию, структурную функцию, спектр. Построить графики. Объяснить результаты.

Задание № 4

Известно, что возмущения в ионосфере зависят от времени суток и  сезона.

1. Провести выборку данных ПЭС со спутника, взятых в дневных и ночных условиях по локальному времени (желательно подобрать выборку одних и тех же спутников). 
2. Сравнить статистические параметры ПЭС и флуктуаций ПЭС (среднее значение и дисперсию, плотность распределения, корреляционную функцию, структурную функцию, спектр), полученные в разное время сутокх. Объяснить результаты.

Задание № 5

Известно, что возмущения в ионосфере зависят от космической погоды (солнечных вспышек. солнечного ветра), геомагнитной активности. Поэтому надо найти данные о магнитных бурях, солнечных вспышках, солнечных протонных событиях для подбора реализаций спутниковых измерений. 

• Сайт данных о космической погоде 
• данные о магнитных бурях - индексы геомагнитной активности
  • Планетарный К-индекс
• ​ Наблюдения Солнца  - спутники GOES 
• данные о солнечных вспышках, протонных событиях

1. Выбрать в папке файлы данных, соответствующие спокойным и возмущенным условиям. Провести выборку данных ПЭС со спутника, взятых в спокойных и возмущенных условиях (подобрать выборку одних и тех же спутников  в одно время суток, но в разные дни). 
2. Сравнить статистические параметры флуктуаций ПЭС (среднее значение и дисперсию, плотность распределения, корреляционную функцию, структурную функцию, спектр), полученные в спокойных и возмущенных условиях. Объяснить результаты.

Написать отчет по заданиям. В отчете ответить на все поставленные вопросы. Оформить отчет по  ГОСТ 7.32-2017.Отправить отчет по заданию преподавателю по почте

Модуль 1

Электронный курс "Физика атмосферы" http://edu.kpfu.ru/course/view.php?id=838

ДЛЯ ЗАПИСИ ИСПОЛЬЗУЙТЕ КОДОВОЕ СЛОВО, ДАННОЕ ПРЕПОДАВАТЕЛЕМ

СРОКИ ИЗУЧЕНИЯ ТЕМ И ВЫПОЛНЕНИЯ ЗАДАНИЙ

 Модуль 2

• ЛАБОРАТОРНЫЕ: ЗОНДИРОВАНИЕ ИОНОСФЕРЫ ГНСС СИГНАЛАМИ

Срок выполнения — с 7 недели до конца семестра.

Распределение оценок за формы текущего контроля и промежуточную аттестацию

Текущий контроль:

1. Опрос по темам

Количество баллов по БРС за эту форму контроля (из 50):  15

2. Лабораторные работы 

Количество баллов по БРС за эту форму контроля (из 50):  35

Итого: 50

Промежуточная аттестация зачет, максимальное количество баллов по БРС 50

Общее количество баллов по дисциплине за текущий контроль и промежуточную аттестацию: 50+50=100 баллов

 Итоговый контроль - зачет (экзамен). Для успешной сдачи экзамена студент должен пройти итоговое тестирование в электронном курсе "Физика атмосферы" http://edu.kpfu.ru/course/view.php?id=838

Сведения о конкретных научных результатах за 2023 г.

За отчетный период достигнуты следующие результаты

• Для оценки конвективных процессов получены длинные ряды физико-статистических параметров неустойчивости, рассчитанные по метеопараметрам, представленным в виде данных реанализа ERA5 за 2009-2021 гг. Для сопоставления им по данным мониторинга сети станций ГНСС в г. Казани и Республике Татарстан рассчитаны зенитная тропосферная задержка, ее градиентные параметры и интегральное влагосодержание тропосферы с временным разрешением 5 минут.
• Рассчитаны и проанализированы спектры когерентности флуктуаций интегрального влагосодержания и конвективных индексов, полученные для событий конвекции. Получены характерные значения уровня корреляции зенитной тропосферной задержки спутниковых радиосигналов, интегрального влагосодержания атмосферы и характеристик конвекции, их временные характеристики, интенсивности вариаций, соответствующие каждому конвективному индексу.
  • Показано, что когерентность вариаций интегрального влагосодержания атмосферы с вариациями всех исследуемых конвективных параметров наиболее часто обнаруживается на временных масштабах от 1 до 4 часов. Уровень вейвлет корреляции превышает 0,8.
  • Обнаружено, что максимум интегрального влагосодержания достигается на 30-60 минут раньше, чем максимум вариации конвективных индексов для характерных временных масштабов вариаций 1-4 часа. Учитывая то, что исходное временное разрешения ERA5 составляет 1 час, полученные распределения показывают, что вариации интегрального влагосодержания либо опережают вариации других конвективных индексов на час, либо происходят одновременно. Аналогичные результаты были получены и для вариаций зенитной тропосферной задержки, которые абсолютно синхронны с вариациями интегрального влагосодержания атмосферы.
• Показано, что статистические характеристики интегрального влагосодержания атмосферы существенно изменяются в зависимости от индексов CAPE (доступная потенциальная энергия неустойчивости), WMAXSHEAR (показатель глубокой конвекции), восходящей вертикальной скорости и параметра генерации вихря. В условиях сильной конвекции более чем на 10 мм осажденной воды увеличивается интегральное влагосодержание.
• Показано значимое различие статистических свойств интегрального влагосодержания атмосферы и градиентных параметров тропосферной задержки в сильной конвекции. Конвективные процессы формируют мезомасштабные неоднородности, что отражается в возрастании величины градиента зенитной тропосферной задержки на 20%, росте его среднеквадратического отклонения на 25 %. Флуктуации направления градиента тропосферной задержки радиосигналов ГНСС также увеличиваются.
• Продолжен ряд ежесекундного мониторинга атмосферы в г. Казани с помощью приемников ГНСС за 2023 г.
• Результаты докладывались на научных конференциях

Наши исследования подтверждают, что использование глобальных навигационных спутниковых систем для дистанционного зондирования тропосферы может применяться для подспутникового мониторинга конвективных процессов. Быстрое развитие атмосферных неоднородностей, которые могут привести к опасным погодным явлениям, таким как сильные осадки, грозы и смерчи, отражается в значениях интегрального влагосодержания атмосферы и градиентных параметрах задержки ГНСС радиосигналов в тропосфере. Это означает, что можно получать актуальные данные о состоянии атмосферы с высоким временным разрешением и реагировать на возможные опасности.

Список основных публикаций по проекту 

• О.Г. Хуторова, М.В. Маслова, В.Е. Хуторов Проявление конвективных процессов в рядах интегрального влагосодержания атмосферы по многолетним данным мониторинга тропосферы сигналами спутниковых навигационных систем в г. Казани // Современные проблемы дистанционного зондирования Земли из космоса. 2023. Т. 20. № 3. С. 271-281 
• Olga G. Khutorova, Maria V. Maslova, and Vladislav E. Khutorov «Evaluation of the atmospheric integral water vapor variability during strong convection«, Proc. SPIE 12780, 29th International Symposium on Atmospheric and Ocean Optics: Atmospheric Physics, 127805H (17 October 2023); https://doi.org/10.1117/12.2690385 
  127805_.pdf
• Khutorova O.G, Maslova M.V, Khutorov V.E., Convective processes manifestation in integral water vapor series of the atmosphere based on long-term data of tropospheric monitoring by satellite navigation systems signals in Kazan«//Sovremennye Problemy Distantsionnogo Zondirovaniya Zemli iz Kosmosa. - 2023. - Vol.20, Is.3. - P.271-281. 
• Хуторова О.Г., Маслова М.В., Хуторов В.Е. ВАРИАЦИИ ИНТЕГРАЛЬНОГО ВЛАГОСОДЕРЖАНИЯ АТМОСФЕРЫ В ПЕРИОДЫ СИЛЬНОЙ КОНВЕКЦИИ// МЕЖДУНАРОДНЫЙ СИМПОЗИУМ «АТМОСФЕРНАЯ РАДИАЦИЯ и ДИНАМИКА» (МСАРД – 2023) Тезисы.- С.Пб.: 2023.-С. 75-78. 
• Хуторова О.Г., Маслова М.В., Хуторов В.Е., Корчагин Г.Е. ИЗМЕНЧИВОСТЬ ПОЛЯ ЗЕНИТНОЙ ТРОПОСФЕРНОЙ ЗАДЕРЖКИ СИГНАЛОВ ГНСС ПРИ УСИЛЕНИИ КОНВЕКЦИИ ПО ДАННЫМ МОНИТОРИНГА АТМОСФЕРЫ В Г. КАЗАНИ // Сборник докладов XXVIII всероссийской конференции «Распространение радиоволн», Изд-во ПГТУ.- Йошкар-Ола: 2023.- С.467-470. 
• Хуторова О.Г., Маслова М.В., Хуторов В.Е. ОЦЕНКА ИЗМЕНЧИВОСТИ ИНТЕГРАЛЬНОГО ВЛАГОСОДЕРЖАНИЯ АТМОСФЕРЫ В ПЕРИОДЫ СИЛЬНОЙ КОНВЕКЦИИ // Оптика атмосферы и океана. Физика атмосферы: Материалы XXIX Международного симпозиума. Томск: Изд-во ИОА СО РАН, 2023. – Конференция D. Физика тропосферы С.D-25-D-30.