Сегодня, 28 февраля, в последний день зимы, в Казанском университете прошел семинар «Анализ данных и машинное обучение в MATLAB».  Ведущий разработчик и поставщик программного обеспечения для технических вычислений и модельно-ориентировочного проектирования провел семинар для сотрудников КФУ.

В любом большом бизнесе есть огромная база данных, которые собираются и хранятся на протяжении многих лет. Найти среди сырых данных нетривиальных зависимостей решение конкретной бизнес-задачи – основная цель Data Mining — одного из продуктов MathWorks. Об основном продукте MathWorks — MATLAB (язык технических вычислений)  в КФУ сегодня шла речь.

MathWorks — ведущий разработчик и поставщик программного обеспечения для технических вычислений и модельно-ориентировочного проектирования. Более одного миллиона инженеров и ученых по всему миру используют cреды MATLAB и Simulink для модельно-ориентированного проектирования (имитационного моделирования), разработки систем управления (САУ, АСУ ТП), систем связи (в том числе ВЧ) и цифровой обработки сигналов (ЦОС, DSP), генерации кода для ПЛИС и микроконтроллеров, анализа и сбора данных, а также для иных вычислительных задач, в том числе на суперкомпьютерах с использованием CUDA.

Также продукты MathWorks ускоряют темп обучения, преподавания и исследований в инженерных дисциплинах и науке в более чем 5000 университетов и колледжей. Продукты MathWorks также помогают готовить студентов к успешной карьере в отрасли, т.к. эти инструменты широко используются для научных исследований и разработок.

Перед началом семинара журналист пресс-центра встретился с руководителем продаж, представителем компании MathWorks  в России Денисом Картавцевым и поинтересовался причинами такой популярности MATLAB в России. А разговор мы начали с обсуждения прошедшей Олимпиады.

— Перед началом Олимпиады в Сочи датамайнеры (специалисты по сбору и анализу данных), если их можно так называть, дали прогноз на количество медалей, которые завоюет сборная России. Прогноз не сбылся. С чем это связано?

— На самом деле, вы правы: дать прогноз, учитывая большой банк данных — это задача Data Mining. Но ошибка специалистов была в том, что они использовали неполную базу данных для анализа. А, как вы понимаете, точность прогноза зависит от количества параметров, которыми мы можем описать ту или иную модель. Чем больше данных, тем выше точность прогнозирования.  Если бы в ту модель  включили исторические данные о наших спортсменах, о том, сколько они выигрывали до Олимпийских игр, каковы были их места в региональных соревнованиях, внесли также данные по зарубежным спортсменам , ‑ вот тогда прогноз был бы более точным.

— Через журналиста проходит огромный объем информации. Можно ли ее как-то упорядочить, спрогнозировать?

— Нет, к сожалению. Это будет текстовый объем информации. А прогнозирование касается математических нитей данных, которые можно выразить в цифрах.

— Например?

— Например, курсы валют за каждый день. Можно построить зависимость  или попытаться выделить зависимость одной валюты от другой. Адаптируя эту модель, подставляя текущие данные, компьютер мог бы вам помочь и предсказать, что будет. Только проанализировав все данные, компьютер сможет дать точный прогноз.

— Где еще применяется на сегодняшний день Data Mining?

— То, что сегодня называют модным словосочетанием «Data Mining», часто используется для финансового анализа и принятия решения в таких задачах, как прогнозирование, классификация рисков и оценка вероятности дефолта.

Как вы понимаете, современный мир можно охарактеризовать огромным количеством данных, часть которых требуется анализировать.  Возьмем финансовые рынки – это колоссальный объем данных с различными показателями. На базе этих знаний человек, обладающий математическим мышлением, понимает, как построить математическую модель. Но чтобы эта математическая модель функционировала, требуется  большой объем информации.

Наше программное обеспечение позволяет эффективно работать с данными,  облегчая рутинную составляющую работы математика.

— Название вашего семинара звучит как «Анализ данных и машинное обучение в MATLAB». Но, насколько мне известно, с точки зрения российских образовательных стандартов, дисциплины «Машинное обучение» не существует.

— Это так. Но очень много ученых занимается этой проблематикой, и это не новинка в образовании, потому что уже мы долгое время пытаемся обучить машину реагировать на наши команды тем или иным образом.

— То, что называется «машинное обучение», подразумевает под собой математический или инженерный курс?

— Сегодня наш семинар больше математический. Но, в целом, наше программное обеспечение нацелено на математиков, физиков плюс инжиниринг.

— Какие прикладные задачи решаются?

— Я бы не хотел говорить о нашем ПО, как об узко специальном. Это очень мощная научная платформа. MATLAB – язык программирования верхнего уровня и главный инструмент для решения широкого спектра научных и прикладных задач в таких областях, как: моделирование объектов и разработка систем управления, проектирование коммуникационных систем, обработка сигналов и изображений, измерение сигналов и тестирование, финансовое моделирование, вычислительная биология.

— А чему можно научиться за один сегодняшний семинар?

— На этом семинаре вы познакомитесь с несколькими методами машинного обучения, доступными в MATLAB, и узнаете, как быстро исследовать ваши данные, оценить алгоритмы машинного обучения, сравнить полученные результаты и применить лучший алгоритм для вашей задачи.

— Это будет самостоятельная работа?

— В ходе семинара будут освещены методы обучения с учителем и без учителя. Но, думаю, лучше вам об этом расскажет человек, который будет вести сегодняшний семинар.

И в разговор включился инженер MathWorks Артем Багров.

Багров Артем Анатольевич, инженер MathWorks, кандидат технических наук. В 2004 году окончил МГУ им. Ломоносова, в 2008-м защитил кандидатскую диссертацию. Работает в компании «MathWorks» с 2010 года. Специализируется на технических вычислениях и математическом моделировании.

— На семинаре сегодня будут продемонстрированы основные техники работы с программным обеспечением MathWorks. Мы начнем с обзора инструментов, рассмотрим доступную функциональность ядра расширения, пройдемся по основным особенностям интерфейса программы. На семинаре мы продемонстрируем те особенности MATLAB, которые делают его столь популярной средой для технических и научных вычислений.  А это быстрое прототипирование алгоритмов, мощные средства визуализации, широкие возможности для автоматизации своей работы и, как следствие, быстрое решение поставленных задач.

— А какие задачи вы ставите перед слушателями?

—Импорт данных из баз данных, а также автоматизация этого импорта, процесс визуализации импортируемых данных и методы пользовательской настройки графиков. В процесс работы с графиками мы посмотрим, как работать с групповыми данными, построим распределения с этими данными, построим групповые графики. Следующим шагом мы познакомимся с новым типом данных table и рассмотрим, в чем преимущество этого типа данных перед структурой или матрицей. Получим статистическую информацию и визуализацию. Проведем дисперсионный анализ (ANOVA) и построим статистические графики.

— Слушаю вас и понимаю, что без опыта работы в MATLAB вряд ли что-то будет понятно…

— А тут вы не правы! Семинар построен таким образом, что понятен и полезен как начинающим, так и опытным пользователям MATLAB.