Основы работы с количественными данными
Дорогие студенты!
Это страница обязательного курса «Основы работы с количественными данными», читаемого на программе
«Коммуникации в государственных структурах и НКО» 1 курса магистратуры в 1 модуле 2023-2024 учебного года.
Занятия ведёт: Тамбовцева Алла Андреевна.
Содержание
- 1 Правила игры
- 2 Программное обеспечение
- 3 Материалы
- 3.1 Занятие 1. Введение в работу с данными. Описание данных.
- 3.2 Занятие 2. Описание данных. Визуализация данных.
- 3.3 Занятие 3. Визуализация данных. Введение в выборочное оценивание.
- 3.4 Занятие 4. Доверительные интервалы.
- 3.5 Занятие 5. Проверка статистических гипотез. Гипотезы о доле и среднем.
- 3.6 Занятие 6. Меры связей. Критерий хи-квадрат и коэффициенты корреляции.
- 3.7 Занятие 7. Иерархический кластерный анализ.
- 4 Домашние задания
- 5 Практическая часть экзамена
Правила игры
- Формула оценки: Итог = 0.5 * Домашние задания + 0.2 * Самостоятельная работа + 0.3 * Экзамен.
- Программа курса, организационная презентация.
- Домашние задания, сданные позже дедлайна, оцениваются со штрафом:
в пределах часа – 10% от оценки, суток – 30%, недели – 60%.
Программное обеспечение
На этом курсе для практической работы с данными мы используем язык Python и среду Jupyter Notebook (ее облачную версию Google Colab). Для создания и редактирования файлов в Google Colab ничего устанавливать не нужно, но нужно иметь аккаунт Google (Gmail).
Если вы хотите работать в Jupyter Notebook локально, на своем компьютере, а не в облачной среде, удобнее всего установить дистрибутив Anaconda (скачать можно здесь), который включает в себя интерпретатор языка Python, библиотеки для обработки, анализа и визуализации данных, а также саму среду Jupyter Notebook.
Работа в Google Colab:
- Создание файлов и запуск кода в Google Colab: видео.
- Загрузка и выгрузка файлов в Google Colab: видео.
Установка Anaconda и запуск Jupyter Notebook:
- Для установки Anaconda нужно скачать установочный файл для своей системы отсюда, запустить его и следовать инструкциям.
- Среду Jupyter Notebook можно запускать через приложение Anaconda Navigator (находим Anaconda Navigator в списке программ, запускаем, кликаем на кнопку Launch под Jupyter Notebook) и отдельно от него (см. инструкцию).
Подробнее про работу в Jupyter Notebook и Google Colab:
- Работа в Jupyter Notebook (видео), работа в Google Colab (видео).
- Набор текста в Jupyter (видео, ipynb).
Для тех, кто не работал в Python и Jupyter: можно записаться на вышкинский онлайн-курс «Python как иностранный» (открыт для записи в SmartLMS). Для подготовки рабочего места рекомендуется ознакомиться со следующими материалами в теме 1: Видео. Подготовка рабочего места, инструкция по открытию файлов в Jupyter Notebook, Видео. Первая программа, Задачи для тренировки.
Материалы
Занятие 1. Введение в работу с данными. Описание данных.
- Введение в выборочные обследования (слайды). Шкалы данных (слайды).
- Описание данных: часть 1 (слайды).
- Практикум 1. Введение в работу с данными (читать, ipynb).
Занятие 2. Описание данных. Визуализация данных.
- Описание данных: часть 2 (слайды). Визуализация количественных данных (слайды).
- Практикум 2. Описание и визуализация данных (читать, ipynb, файл flats.csv).
Дополнительно:
Занятие 3. Визуализация данных. Введение в выборочное оценивание.
- Практикум 3. Группировка, агрегирование и визуализация с pandas (читать, ipynb, файл CPI_FH.xlsx).
- Введение в выборочное оценивание (слайды).
Занятие 4. Доверительные интервалы.
- Доверительные интервалы для доли и среднего (слайды, визуализация).
- Практикум 4. Доверительные интервалы на примере массивов, описание и визуализация опросных данных (читать, ipynb, файл NPK.xlsx).
Занятие 5. Проверка статистических гипотез. Гипотезы о доле и среднем.
- Проверка статистических гипотез (слайды).
- Практикум 5. Проверка гипотез о долях и средних (читать, ipynb).
Занятие 6. Меры связей. Критерий хи-квадрат и коэффициенты корреляции.
- Меры связи: критерий хи-квадрат (слайды).
- Меры связи: коэффициенты корреляции (слайды).
- Игра Guess The Correlation.
- Практикум 6. Выявление связей в качественных и количественных данных (читать, ipynb, NPK_final 2.xlsx, flats.csv).
Занятие 7. Иерархический кластерный анализ.
- Практикум 7. Иерархический кластерный анализ (ipynb, BaltimoreCrimesAgg.csv)
Домашние задания
Домашнее задание | Файлы | Дедлайн | Куда сдавать |
---|---|---|---|
Домашнее задание 1 | ipynb | 24.09 23:59 | ссылка |
Домашнее задание 2 | ipynb wgidataset.xlsx | 05.10 23:59 | ссылка |
Домашнее задание 3 | ipynb Tabellini.xlsx | 15.10 23:59 | ссылка |
Домашнее задание 4 | ipynb coffee_and_code.csv | 24.10 23:59 | ссылка |