Просмотр кода страницы НИС Основы анализа данных в Python

Дорогие студенты!

Это страница курса '''НИС «Основы анализа данных в Python»''', читаемого в 3 модуле 2024-2025 учебного года на '''ОП «Политология»'''. <br>Этот курс является продолжением обязательного курса [http://math-info.hse.ru/2024-25/%D0%9E%D1%81%D0%BD%D0%BE%D0%B2%D1%8B_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%D0%B2_Python «Основы анализа данных в Python»].

Преподаватель: Тамбовцева Алла Андреевна.

== Правила игры ==

* [https://www.hse.ru/edu/courses/927218296 Программа] курса, организационная [https://disk.yandex.ru/d/zquJJdEvkif8DA презентация].
* Формула оценки: '''0.15 * Тесты + 0.2 * Практикум + 0.2 * ДЗ + 0.45 * Экзамен'''.
* Цель курса – подготовка к независимому экзамену по анализу данных. Демоверсию экзамена и тренировочные варианты <br> можно найти [https://www.hse.ru/studyspravka/examsdataculture#internal здесь] в разделе ''Материалы для подготовки'' – ''Анализ данных. Базовый уровень'' (запись на курс в SmartLMS).

== Программное обеспечение ==

В рамках этого курса мы будем использовать язык '''Python''' и среду разработки '''Jupyter Notebook'''. <br>Также есть возможность работать в аналоге Jupyter Notebook онлайн, используя ресурс [https://colab.research.google.com/ Google Colab] <br>(для создания и редактирования файлов нужен аккаунт Gmail). 

'''NB.''' На независимом экзамене не разрешается использовать облачные ресурсы, включая Google Colab.

Если у вас ничего не установлено или вы успели «удалить весь Python», перед занятиями необходимо <br>установить дистрибутив '''Anaconda''' (скачать можно [https://www.anaconda.com/download здесь], регистрацию можно пропустить), который <br>включает в себя интерпретатор языка Python, библиотеки для обработки, анализа и визуализации <br>данных, а также среду для работы Jupyter Notebook. Материалы по работе в Jupyter Notebook и Colab:

* Запуск Jupyter без Anaconda Navigator ([https://disk.yandex.ru/i/w6yPaRbPcm8yyg инструкция]). 
* Работа в Jupyter Notebook ([https://disk.yandex.ru/i/2NYAqowJjmS2SA видео]), отличия Google Colab от Jupyter ([https://disk.yandex.ru/i/cGbacX28YtR08g видео]).

== Материалы курса ==

=== Неделя 1. Группировка с pandas. Критерий согласия хи-квадрат ===

* Практикум 1. Группировка с pandas ([https://disk.yandex.ru/d/Wl_E9Ty-22wPiw ipynb]), данные для работы ([https://disk.yandex.ru/d/e8d-0Kn6loPqTA happiness_b.csv]).
* Тренировочный вариант НЭ ([https://disk.yandex.ru/d/d68hgQqd2WDG6A ссылка], доступен по паролю).
* Меры связи в качественной шкале: критерий хи-квадрат ([https://disk.yandex.ru/d/Minm4WBgnDAhqw слайды]).

=== Неделя 2. Качественные данные и критерий согласия хи-квадрат ===

* Практикум 2. Критерий согласия хи-квадрат, обработка текстовых данных и дат ([https://disk.yandex.ru/d/OUu0-aoJQSo8-g ipynb]), решения ([https://disk.yandex.ru/d/gtGz_zqSFB-fTA ipynb]).
* Данные для практикума 2 ([https://disk.yandex.ru/d/HEe4DAAfkjWdiQ CSV-файлы]).

Дополнительно:

* [https://skillbox.ru/media/code/regulyarnye-vyrazheniya-v-python-sintaksis-poleznye-funktsii-i-zadachi/ Статья] про регулярные выражения в Python и модуль re.
* Краткий обзор регулярных выражений и примеры использования их в pandas (ipynb).
* Форматирование дат – [https://docs.python.org/3/library/datetime.html#strftime-and-strptime-format-codes раздел] общей документации по модулю datetime (в pandas свой похожий модуль).

=== Неделя 3. Диаграммы рассеивания и коэффициент корреляции Пирсона ===

* Напоминание про диаграммы рассеивания и коэффициент Пирсона ([https://disk.yandex.ru/d/qapq2me8bg3eNg слайды]).
* Практикум 3. Коэффициент корреляции Пирсона ([https://disk.yandex.ru/d/RDZE2Gpl_SI9HQ ipynb]), данные ([https://disk.yandex.ru/d/e8d-0Kn6loPqTA happiness_b.csv]), решения ([https://disk.yandex.ru/d/t2c8lqVzyGUXHQ ipynb]).

Дополнительно:

* Палитры в matplotlib: [https://matplotlib.org/stable/users/explain/colors/colormaps.html документация].

=== Неделя 4. Линейная регрессия и метрики качества ===

* Краткая теория по линейной регрессии и метрикам качества ([https://disk.yandex.ru/i/anV_nx8Zd4OMHQ слайды])
* Практикум 4. Линейная регрессия и метрики качества для линейных моделей ([https://disk.yandex.ru/d/uND0e5lqbxVRMw ipynb]), данные ([https://disk.yandex.ru/d/ET54ztilnmbpBA 50_Startups.csv]).

Дополнительно:

* Официальная [https://scikit-learn.org/stable/index.html документация] sklearn.
* Еще про seaborn: [https://datastart.ru/blog/read/seaborn-heatmaps-13-sposobov-nastroit-vizualizaciyu-matricy-korrelyacii статья] про тепловые карты, [https://seaborn.pydata.org/generated/seaborn.regplot.html документация] regplot() для регрессий разных видов.

=== Неделя 5. Задачи машинного обучения ===

* Задачи машинного обучения ([https://disk.yandex.ru/i/Gp5r9Do9kQncEg слайды]).
* Метод k-ближайших соседей как пример классификации ([https://disk.yandex.ru/i/3abaXNvibET0cw слайды]).

=== Неделя 6. Логистическая регрессия ===

* Логистическая регрессия ([https://disk.yandex.ru/d/ICtRHV8iJWY2fg слайды]).
* Практикум 6. Логистическая регрессия: вычисление предсказанных вероятностей ([https://disk.yandex.ru/d/RnOulxBA-vTLag ipynb]).
* Практикум 6*. Логистическая регрессия: реальные данные (для желающих).

== Домашнее задание ==

'''Формат выполнения'''

1. Скачать pdf-файл с частью A. Скачать ipynb-файл с частями BC.

2. Перенести все ответы в гугл-форму до дедлайна – 19 марта 23:59.

3. Загрузить ipynb-файл с решениями части B и C на Dropbox – '''ссылка в конце гугл-формы'''.

'''Файлы:'''

* Часть А: [https://disk.yandex.ru/d/MPbfmrR_0zKbpA варианты]
* Части BC: [https://disk.yandex.ru/d/atpmv73GthV8nA ipynb]
* [https://forms.gle/YEa1czgYMhL9i1aR6 Гугл-форма] для ответов (одна для всех вариантов)

== К независимому экзамену ==

''Задания взяты из SmartLMS, материалы по ссылкам ниже доступны по паролю из рассылки (одинаковый у всех файлов).''

Разбор демоверсии и тренировочных вариантов из SmartLMS (часть А):

* [https://disk.yandex.ru/i/Z3HZXnkIv25pQg Демоверсия] НЭ (ML – темы, относящиеся к машинному обучению, ML* – темы, которые не были затронуты в обязательных курсах)
* [https://disk.yandex.ru/d/lxpvkBusbNEOAg Тренировочные варианты] НЭ
* Разбор заданий по визуализации (№1-2 и №8-9): [https://disk.yandex.ru/d/TPkEOj6VA1Dh3w ссылка]
* Разбор заданий по нормальному распределению и свойствам выборок (№4-5): [https://disk.yandex.ru/d/DXq4TAN7LFJzbA ссылка]
* Разбор заданий по проверке гипотез (№10-11): [https://disk.yandex.ru/d/5X5S0XlLYM8M1A ссылка]
* Разбор заданий по корреляции (№6): [https://disk.yandex.ru/i/c2mq0gOEAEfNrg ссылка]
* Разбор заданий по линейной регрессии (№13-14): [https://disk.yandex.ru/d/fScNWGg1qjSP9g ссылка]
* Про интерпретацию коэффициентов в моделях с логарифмом: [https://library.virginia.edu/data/articles/interpreting-log-transformations-in-a-linear-model статья]
* Разбор заданий по задачам машинного обучения и knn (№7 и №12): [https://disk.yandex.ru/i/Db2rsLvC8s0mOw ссылка]
* Разбор заданий по классификации и логистической регрессии (№3 и №15): №3 ([https://disk.yandex.ru/i/TmSGMRgRHSZRMQ ссылка]), №15 ([https://disk.yandex.ru/i/Ddb22EhoXnONMQ ссылка])

Решения тренировочных заданий из SmartLMS (части BC): 

* часть B ([https://disk.yandex.ru/d/ek-fBXTAFxHuDg ссылка])
* часть C ([https://disk.yandex.ru/d/iSnsLe7DK_wnxg ссылка])

== Экзамен ==

* Практическая часть: [https://disk.yandex.ru/d/vMcYoY3hY0xpXw ссылка] на папку с вариантами.