Конспекты лекций и практические задания: ЦОР Суперкомпьютеры и параллельная обработка данных 

Методические пособия

• ОСНОВЫ РАБОТЫ С БИБЛИОТЕКОЙ MPI

• ОСНОВЫ РАБОТЫ С БИБЛИОТЕКОЙ OPENMP

• Введение в высокопроизводительные вычислительные системы.(Лабораторный практикум Linux)

Полезные ссылки

• Карепова, Е. Д. Основы многопоточного и параллельного программирования: Учебное пособие / Карепова Е.Д. - Краснояр.:СФУ, 2016. - 356 с.: ISBN 978-5-7638-3385-0. - Текст : электронный. - URL: https://znanium.com/catalog/product/966962  (дата обращения: 24.07.2020). - Режим доступа: по подписке.

• Борзунов, С. В. Практикум по параллельному программированию: Учебное пособие / Борзунов С.В. - СПб:БХВ-Петербург, 2017. - 236 с. ISBN 978-5-9909805-0-1. - Текст : электронный. - URL: https://znanium.com/catalog/product/978561 (дата обращения: 21.07.2020). - Режим доступа: по подписке.

• Параллельные вычисления общего назначения на графических процессорах: Учебное пособие / Некрасов К.А., Поташников С.И., Боярченков А.С., - 2-е изд., стер. - Москва :Флинта, Изд-во Урал. ун-та, 2017. - 102 с. ISBN 978-5-9765-3182-6. - Текст : электронный. - URL: https://znanium.com/catalog/product/949717 (дата обращения: 21.07.2020). - Режим доступа: по подписке.

• Федотов, И. Е. Модели параллельного программирования: Практическое пособие / Федотов И.Е. - Москва :СОЛОН-Пр., 2017. - 392 с. (Библиотека профессионала)ISBN 978-5-91359-222-4. - Текст : электронный. - URL: https://znanium.com/catalog/product/858609 (дата обращения: 24.07.2020). - Режим доступа: по подписке.

• Как настроить VPN-соединение? Действия по настройке VPN-соединения описаны в Инструкции.

• История параллельных и высокопроизводительных вычислений
• В.П. Гергель, Р.Г. Стронгин Основы параллельных вычислений для многопроцессорных вычислительных систем
• MPI
• OpenMP
• Элементы языка С
• Терминал Linux
• Параллельное программирование с использованием технологии CUDA
• NVIDIA CUDA Compiler Driver NVCC





Лекции

• Лекция 1 Жизненный цикл программно-аппаратных систем
• Лекция 2 Анализ требований
• Лекция 3 Моделирование ИС
• Лекция 4 Варианты испоьзования
• Лекция 5 Функциональная модель ПО
• Лекция 6 ООП
• Лекция 7 диаграммы классов
• Лекция 8 UML зависимости
• Лекция 9 Жизненный цикл и модели ПО
• Лекция 10 Кроссплатформенное программирование (факультативно)
• Лекция 11 Технологии программирования
• Лекция 12 Качество ПО
• Лекция 13 Проектирование безопасного ПО

Команда в тимс 

Полезные ресурсы

• Антамошкин, О. А. Программная инженерия. Теория и практика
• И. Соммервиль: Инженерия программного обеспечения
• Ф.Новиков, Д.Иванов. Моделирование на UML.  
• Анализ требований по Вигерсу 
• Шаблон спецификации требований
• Видеолекции (Основы программной инженерии) 
• UML online (пользуйтесь анонимайзером)
• Уроки Qt
• Джеф Раскин Интерфейс: новые направления в проектировании компьютерных систем 

• WPF http://metanit.com/sharp/wpf/1.php и http://professorweb.ru/my/WPF/base_WPF/level1/info_WPF.php

Практическое задание (семестровый проект) 

Контрольная точка 1

• Сформировать рабочую группу, распределить роли

  • Определить модель ЖЦ проекта

  • выбрать ГОСТы, которыми нужно руководствоваться при работе над проектом, обосновать выбор

  • Составить график работ до конца курса 

  • Выбрать инструменты управления проектом (Trello, GitLab, Github, Bitbucket, YouGile, Bitrix24, Jira, ClickUp, YouTrack, Скрам, Redmine, WebCollab, ClockingIT, Codendi, Egroupware, Collabtive, Project Open), обосновать выбор, отразить задачи и график работ рабочей группы (скриншоты)

  • Провести сбор и анализ требований к ПО, составить документ спецификации требований, отразить

    • бизнес-требования

    • обзор аналогов и конкурентов

    • требования пользователей

      • функциональные требования

      • нефункциональные требования

    • Сделать промежуточный отчет в виде презентации

Контрольная точка 2

• Подготовить техническое задание на проект по ГОСТ 19 или ГОСТ 34
  • уточнить задачи проекта и рабочий график
  • Выбрать язык ООП для реализации проекта 

Контрольная точка 3

Разработать архитектуру ПО

• Построить диаграммы вариантов использования  и описание сценариев вариантов использования (диаграммы деятельности).
• Разработать эскизный проект ПО, включающий UML модель разрабатываемого ПО (диаграммы вариантов использования, диаграммы классов, диаграммы деятельности, диаграммы  состояний, диаграммы топологии и др.). 
• Оформить пояснительную записку к эскизному проекту по ГОСТ (пояснительная записка должна содержать все диаграммы UML)
• Разработать интерфейс проекта / набор интерфейсов
• магистратура (физика, геодезия, ииноватика):
  • Представить и защитить проект ПО
  • Документацию к проекту (на зачет)
  • показать что архитектура ПО соответствует ТЗ 
  • оценить вклад каждого участника рабочей группы

• бакалавриат и специалитет
  • Разработать рабочий макет проекта (интерфейс и частичная функциональность)
  • Представить и защитить рабочий макет ПО (только ), документацию к проекту (на зачет)
  • показать что архитектура ПО соответствует ТЗ
  • оценить вклад каждого участника рабочей группы

Индивидуальные задания для рабочих групп:

1. Разработать ПО информационной системы умного перекрестка

2. Разработать ПО системы управлением качеством воздуха в помещении

3. Разработать ПО информационной системы гоночного автомобиля

4. Разработать ПО информационной системы управления освещением для умного дома

5. Разработать ПО автомата приготовления быстрого питания (сосисок в тесте и т. п.). Предусмотреть связь с персоналом, сбор статистики и учет расходных материалов.

6. Разработать ПО.для кабинета врача - список больных (ФИО, возраст, диагноз, назначения, даты обращения). Составить программу, позволяющую делать различные списки и выборку по диагнозу, алфавиту, возрасту и т.п.

7. Разработать ПО. - каталог  компьютерных игр,содержащий сведения об авторах, персонажах  и др. Составить программу, позволяющую делать различные списки игр по параметрам.

8. Разработать ПО. - каталог  коллекции фигурок персонажей фанфикшн, содержащий сведения о них.Составить программу, позволяющую делать различные списки по параметрам.

9. Разработать ПО. - список спортсменов (ФИО, возраст, вес, медали).  Составить программу, позволяющую делать различные списки и выборку по рейтингу, алфавиту, возрасту и т.п.

10. Разработать ПО - каталог  растений, содержащий сведения о них.Составить программу, позволяющую делать различные списки по параметрам (сорт, цвет и др.).

11. Разработать ПО для планирования экспериментальных исследований образцов кристаллов.

12. Разработать ПО для лаборатории изготовления полупроводниковых микросхем.

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

Баллы в семестре:

1) Презентация коллектива и анализ требований - 10

2) ТЗ - 15

3) Эскизный проект и диаграммы - 25

Вопросы к зачету/зкзамену

1. Цели и задачи программной инженерии
2. Понятие жизненного цикла ПО
3. Модели жизненного цикла ПО
4. Методологии проектирования ПО (RUP и XP)
5. Этапы сбора и анализа требований к ИС
6. Модели ПО и диаграммы UML
7. Варианты использования в UML
8. Функциональная модель системы и ее описание средствами UML
9. Объектная модель системы и Структурные диаграммы
10. Отношения между элементами модели в UML
11. Этапы построения объектной модели ИС
12. Спецификации в модели информационной системы
13. Интерфейсы в UML
14. Диаграммы пакетов и подсистемы
15. Диаграммы компонентов
16. Диаграммы развертывания (топологии)
17. Диаграммы взаимодействия
18. Процессы ЖЦ и диаграммы UML
19. Реализация модели ИС на языке C++
20. Учет требований безопасности при разработке программных продуктов
21. Человеческий фактор и обеспечение безопасности
22. Учет требований безопасности во всех фазах ЖЦ программного проекта

Задание № 1

• Понять принцип работы спутниковых навигационных систем. Изучить данные радиосигналов, принимаемые приемником от спутника.
  • Хуторова О.Г. Дистанционное зондирование атмосферы радиосигналами спутниковых навигационных систем. Теоретические основы. Учебное пособие Каз.федер.ун-т. – Казань, 2011.- 117 с.Zondirovanie_radiosignalami.pdf
• Для просмотра и скачивания данных необходимо подключиться к локальной сети КФУ !!! Действия по настройке VPN-соединения описаны в Инструкции.
• Подключиться к хранилищу спутниковых данных
• Изучить интерфейс хранилища, графики спутниковых измерений для  нескольких примеров даных,  построение графиков (псевдодальности, фазовых измерений, доплеровских измерений)
• Изучить процесс скачивания выборки измерений параметров сигнала с отдельного спутника, файл

• Задание № 2

1. Скачать выборки измерений параметров радиосигналов для нескольких спутников  
   •  выбрать время и номер спутника, доступные для скачивания (не менее 20 минут, не более часа). Если данные не отображаются или выводятся нулевые значения - измерений с данного спутника нет.
   • Подобрать время и номер спутника так, чтобы отображались графики, отличные от нуля во всем диапазоне времени, не имеющие пропусков и скачков.
   • Для отчета записать дату, время, число минут, номера спутников.
2. Взять программу Read_GNSS.py в облачном хранилище (GD)
   • Программа написана на python (Документация Python 3). Требуются дополнительно модули  matpotlib, numpy 
3. Построить графики спутниковых измерений для  нескольких примеров даных с разных спутников в разное время. дополнить все графики подписями осей с единицами измерений, расширенной легендой - именем представляемого параметра сигнала.
4. Объяснить физический смысл радиоизмерений приемника ГЛОНАСС – GPS: псевдодальностей по кодовому измерению  (С1), фазовых измерений на частотах f1 и f2 (L1, L2) и доплеровских измерений на частоте f1  (D1),  отношение сигнал/шум (S1).
5. Объяснить временные зависимости всех измеряемых величин. 
6. Ответить на вопрос: можно ли измерения параметров радиосигналов считать случайными функциями, почему?

Задание № 3

1. Как изменяются параметры радиосигналов, проходящих через ионосферу и нейтральную атмосферу?
2. Объяснить влияние ионосферы на распространение радиоволн.
3. Практическое задание:
   • На основе предыдущей программы сделать выборки измерений с нескольких спутников, пригодные  для зондирования ионосферы следующим образом.
   • Подобрать время (30-60 минут) и номер спутника так, чтобы отображались графики L1 и  L2, отличные от нуля во всем диапазоне времени, не имеющие пропусков и скачков.

!!!ВАЖНО: Для расчетов ПЭС нужно, чтобы число и время измерений L1 и L2 строго совпадали (Можно отредактировать файл данных - удалить строки с пустыми ячейками L2 или L1)

• Рассчитать  полное электронное содержание ПЭС (TEC-total electron content), по сигналам  с нескольких  спутников по  фазе за этот период времени 
• Объяснить временную зависимость ПЭС
• Оценить соотношение сигнал/шум, его среднее значение и дисперсию, временную зависимость. Сравнить с ПЭС. Объяснить результаты.
• Аппроксимировать временные ряды ПЭС линейной или полиномиальной зависимостью. Оценить какая функция аппроксимирует тренд ПЭС и соотношение сигнал/шум лучше. Объяснить результаты.
• Вычесть полученные тренды (аппроксимации) из временных рядов. Оценить среднее значение и дисперсию, временную зависимость полученных выборок. Объяснить результаты.

1. Можно ли флуктуации ПЭС полученные в п.III считать случайным процессом?
2. Проверить, являются ли флуктуации ПЭС стационарным процессом, функцией сосстационарными приращениями.
3. Оценить статистические параметры флуктуаций ПЭС: среднее значение и дисперсию, плотность распределения, автокорреляционную функцию, структурную функцию, спектр. Построить графики. Объяснить результаты.

​Задание № 4

Известно, что возмущения в ионосфере зависят от времени суток и  сезона.

1. Провести выборку данных ПЭС со спутника, взятых в дневных и ночных условиях по локальному времени (желательно подобрать выборку одних и тех же спутников ). 

2. Сравнить статистические параметры ПЭС и флуктуаций ПЭС (среднее значение и дисперсию, плотность распределения, корреляционную функцию, структурную функцию, спектр), полученные в разное время сутокх. Объяснить результаты.

Задание № 5

Известно, что возмущения в ионосфере зависят от космической погоды (солнечных вспышек. солнечного ветра), геомагнитной активности. Поэтому надо найти данные о магнитных бурях, солнечных вспышках, солнечных протонных событиях для подбора реализаций спутниковых измерений. 

• Сайт данных о космической погоде 
• данные о магнитных бурях - индексы геомагнитной активности
  • Планетарный К-индекс 
  • World Data Center for Geomagnetism, Kyoto 
• Наблюдения Солнца  - спутники GOES и др
• данные о солнечных вспышках, протонных событиях

1. Провести выборку данных ПЭС со спутника, взятых в спокойных и возмущенных условиях (подобрать выборку одних и тех же спутников  в одно время суток, но в разные дни). 

2. Сравнить статистические параметры флуктуаций ПЭС (среднее значение и дисперсию, плотность распределения, корреляционную функцию, структурную функцию, спектр), полученные в спокойных и возмущенных условиях. Объяснить результаты.

Написать отчет по заданиям. В отчете ответить на все поставленные вопросы. Оформить отчет по  ГОСТ 7.32-2017.Отправить отчет по заданию преподавателю по почте

Модуль 1

Электронный курс "Физика атмосферы" http://edu.kpfu.ru/course/view.php?id=838

ДЛЯ ЗАПИСИ ИСПОЛЬЗУЙТЕ КОДОВОЕ СЛОВО, ДАННОЕ ПРЕПОДАВАТЕЛЕМ

СРОКИ ИЗУЧЕНИЯ ТЕМ И ВЫПОЛНЕНИЯ ЗАДАНИЙ

 Модуль 2

• ЛАБОРАТОРНЫЕ: ЗОНДИРОВАНИЕ ИОНОСФЕРЫ ГНСС СИГНАЛАМИ

Срок выполнения — с 7 недели до 14 недели семестра.

Модуль 3

• Подготовить презентацию доклада по индивидуальной теме, заданной преподавателем (список тем будет у старосты группы). Имя файла = фамилия студента + тема . В презентации обязательно указать источники всех сведений и иллюстраций на каждом слайде.
• В докладе должны быть отражено следующее.

  • Физические принципы работы, технические характеристики аппаратуры, используемой для дистанционного зондирования 

  • Решаемые задачи, области применения (со ссылками на научные публикации)

  • Доступ к данным, пример обработки данных (со ссылками на научные публикации)

  • Назначение, состав группировки, орбиты (для спутникового зондирования)

  • Сеть пунктов (для наземного зондирования)

• Загрузить презентацию в облако. Срок выполнения 16 -18 неделя.
• Все студенты группы изучают все загруженные доклады. Каждый просмотренный доклад следует отрецензировать средствами  Google документов -  добавить комментарии, в которых необходимо оценить качество и содержание доклада, полноту раскрытия темы.  Итоговый опрос будет включать вопросы по темам презентаций.

Темы докладов

1.  Дистанционное зондирование Земли спутниками DMSP
2. Дистанционное зондирование Земли спутниками GCOM W1
3. Зондирование космического пространства спутниками SWARM
4. Зондирование космического пространства спутниками ACE
5. Дистанционное зондирование Земли спутниками Meteosat
6. .Дистанционное зондирование Земли спутниками Sentinel-1 
7. .Дистанционное зондирование Земли спутниками Sentinel-2
8.  Дистанционное зондирование Земли спутниками Sentinel-3
9. .Дистанционное зондирование атмосферы Земли ( COSMIC-1 )
10. Дистанционное зондирование атмосферы Земли (COSMIC-2 )
11. Метеорные радары
12. Дистанционное зондирование ближнего космоса спутниками GOES
13. Дистанционное зондирование ближнего космоса спутниками  MMS (Magnetospheric Multiscale)
14. Дистанционное зондирование Земли спутниками NOAA 18, 19
15. Радиотелескопы
16. Дистанционное зондирование Земли спутниками Hisea-1
17. Дистанционное зондирование Земли спутниками Chaohu-1
18. Лидарное зондирование атмосферы

Распределение оценок за формы текущего контроля и промежуточную аттестацию

Текущий контроль:

1. Опрос по темам

Количество баллов по БРС за эту форму контроля (из 50):10

2. Лабораторные работы 

Количество баллов по БРС за эту форму контроля (из 50):25

3. Научный доклад

Количество баллов по БРС за эту форму контроля (из 50):15

Итого: 50

Промежуточная аттестация зачет, максимальное количество баллов по БРС 50

Общее количество баллов по дисциплине за текущий контроль и промежуточную аттестацию: 50+50=100 баллов

 Итоговый контроль - зачет (экзамен). Для успешной сдачи экзамена студент должен пройти итоговое тестирование в электронном курсе "Физика атмосферы" http://edu.kpfu.ru/course/view.php?id=838

Сведения о конкретных научных результатах за 2023 г.

За отчетный период достигнуты следующие результаты

• Для оценки конвективных процессов получены длинные ряды физико-статистических параметров неустойчивости, рассчитанные по метеопараметрам, представленным в виде данных реанализа ERA5 за 2009-2021 гг. Для сопоставления им по данным мониторинга сети станций ГНСС в г. Казани и Республике Татарстан рассчитаны зенитная тропосферная задержка, ее градиентные параметры и интегральное влагосодержание тропосферы с временным разрешением 5 минут.
• Рассчитаны и проанализированы спектры когерентности флуктуаций интегрального влагосодержания и конвективных индексов, полученные для событий конвекции. Получены характерные значения уровня корреляции зенитной тропосферной задержки спутниковых радиосигналов, интегрального влагосодержания атмосферы и характеристик конвекции, их временные характеристики, интенсивности вариаций, соответствующие каждому конвективному индексу.
  • Показано, что когерентность вариаций интегрального влагосодержания атмосферы с вариациями всех исследуемых конвективных параметров наиболее часто обнаруживается на временных масштабах от 1 до 4 часов. Уровень вейвлет корреляции превышает 0,8.
  • Обнаружено, что максимум интегрального влагосодержания достигается на 30-60 минут раньше, чем максимум вариации конвективных индексов для характерных временных масштабов вариаций 1-4 часа. Учитывая то, что исходное временное разрешения ERA5 составляет 1 час, полученные распределения показывают, что вариации интегрального влагосодержания либо опережают вариации других конвективных индексов на час, либо происходят одновременно. Аналогичные результаты были получены и для вариаций зенитной тропосферной задержки, которые абсолютно синхронны с вариациями интегрального влагосодержания атмосферы.
• Показано, что статистические характеристики интегрального влагосодержания атмосферы существенно изменяются в зависимости от индексов CAPE (доступная потенциальная энергия неустойчивости), WMAXSHEAR (показатель глубокой конвекции), восходящей вертикальной скорости и параметра генерации вихря. В условиях сильной конвекции более чем на 10 мм осажденной воды увеличивается интегральное влагосодержание.
• Показано значимое различие статистических свойств интегрального влагосодержания атмосферы и градиентных параметров тропосферной задержки в сильной конвекции. Конвективные процессы формируют мезомасштабные неоднородности, что отражается в возрастании величины градиента зенитной тропосферной задержки на 20%, росте его среднеквадратического отклонения на 25 %. Флуктуации направления градиента тропосферной задержки радиосигналов ГНСС также увеличиваются.
• Продолжен ряд ежесекундного мониторинга атмосферы в г. Казани с помощью приемников ГНСС за 2023 г.
• Результаты докладывались на научных конференциях

Наши исследования подтверждают, что использование глобальных навигационных спутниковых систем для дистанционного зондирования тропосферы может применяться для подспутникового мониторинга конвективных процессов. Быстрое развитие атмосферных неоднородностей, которые могут привести к опасным погодным явлениям, таким как сильные осадки, грозы и смерчи, отражается в значениях интегрального влагосодержания атмосферы и градиентных параметрах задержки ГНСС радиосигналов в тропосфере. Это означает, что можно получать актуальные данные о состоянии атмосферы с высоким временным разрешением и реагировать на возможные опасности.

Список основных публикаций по проекту 

• О.Г. Хуторова, М.В. Маслова, В.Е. Хуторов Проявление конвективных процессов в рядах интегрального влагосодержания атмосферы по многолетним данным мониторинга тропосферы сигналами спутниковых навигационных систем в г. Казани // Современные проблемы дистанционного зондирования Земли из космоса. 2023. Т. 20. № 3. С. 271-281 
• Olga G. Khutorova, Maria V. Maslova, and Vladislav E. Khutorov «Evaluation of the atmospheric integral water vapor variability during strong convection«, Proc. SPIE 12780, 29th International Symposium on Atmospheric and Ocean Optics: Atmospheric Physics, 127805H (17 October 2023); https://doi.org/10.1117/12.2690385 
  127805_.pdf
• Khutorova O.G, Maslova M.V, Khutorov V.E., Convective processes manifestation in integral water vapor series of the atmosphere based on long-term data of tropospheric monitoring by satellite navigation systems signals in Kazan«//Sovremennye Problemy Distantsionnogo Zondirovaniya Zemli iz Kosmosa. - 2023. - Vol.20, Is.3. - P.271-281. 
• Хуторова О.Г., Маслова М.В., Хуторов В.Е. ВАРИАЦИИ ИНТЕГРАЛЬНОГО ВЛАГОСОДЕРЖАНИЯ АТМОСФЕРЫ В ПЕРИОДЫ СИЛЬНОЙ КОНВЕКЦИИ// МЕЖДУНАРОДНЫЙ СИМПОЗИУМ «АТМОСФЕРНАЯ РАДИАЦИЯ и ДИНАМИКА» (МСАРД – 2023) Тезисы.- С.Пб.: 2023.-С. 75-78. 
• Хуторова О.Г., Маслова М.В., Хуторов В.Е., Корчагин Г.Е. ИЗМЕНЧИВОСТЬ ПОЛЯ ЗЕНИТНОЙ ТРОПОСФЕРНОЙ ЗАДЕРЖКИ СИГНАЛОВ ГНСС ПРИ УСИЛЕНИИ КОНВЕКЦИИ ПО ДАННЫМ МОНИТОРИНГА АТМОСФЕРЫ В Г. КАЗАНИ // Сборник докладов XXVIII всероссийской конференции «Распространение радиоволн», Изд-во ПГТУ.- Йошкар-Ола: 2023.- С.467-470. 
• Хуторова О.Г., Маслова М.В., Хуторов В.Е. ОЦЕНКА ИЗМЕНЧИВОСТИ ИНТЕГРАЛЬНОГО ВЛАГОСОДЕРЖАНИЯ АТМОСФЕРЫ В ПЕРИОДЫ СИЛЬНОЙ КОНВЕКЦИИ // Оптика атмосферы и океана. Физика атмосферы: Материалы XXIX Международного симпозиума. Томск: Изд-во ИОА СО РАН, 2023. – Конференция D. Физика тропосферы С.D-25-D-30.