Основы работы с количественными данными: различия между версиями
Перейти к навигации
Перейти к поиску
| Строка 80: | Строка 80: | ||
=== Работа с данными в Python === | === Работа с данными в Python === | ||
| − | Ниже приведены примеры работы с данными в облачной версии Jupyter Notebook – среде [https://colab.research.google.com/ Google Colab]. При желании можно установить дистрибутив [https://www.anaconda.com/products/individual Anaconda] и использовать Jupyter Notebook локально ([https://allatambov.github.io/icef/seminars/instruction-JN.pdf инструкция] по работе). | + | Ниже приведены примеры работы с данными в облачной версии Jupyter Notebook – среде [https://colab.research.google.com/ Google Colab]. При желании можно установить дистрибутив [https://www.anaconda.com/products/individual Anaconda] и использовать Jupyter Notebook локально ([https://allatambov.github.io/icef/seminars/instruction-JN.pdf инструкция] по работе). Кроме вводных видео, здесь собраны материалы разных курсов по Python: [http://math-info.hse.ru/s22/c 1], [http://math-info.hse.ru/s21/n 2]. |
| − | Блок 1 | + | Блок 1: введение в работу с данными |
| − | + | * Введение в Google Colab, загрузка файла с данными, базовое описание данных ([https://www.dropbox.com/s/83ixm87dpfdm6r3/01-intro-data-load.mp4?dl=0 видео]). | |
| − | + | * Группировка и агрегирование данных, применение собственных функций ([https://www.dropbox.com/s/9bjhjnexxgh45h2/02-data-group-agg.mov?dl=0 видео]). | |
| − | + | * Выбор столбцов и фильтрация строк в таблице ([https://www.dropbox.com/s/qi0vwpz7y2ar69t/03-filtering.mov?dl=0 видео]). | |
| + | * Больше про работу с датафреймами pandas: [https://nbviewer.jupyter.org/github/allatambov/allatambov.github.io/blob/master/icef/seminars/pandas-01.ipynb часть 1 ], [https://nbviewer.jupyter.org/github/allatambov/allatambov.github.io/blob/master/icef/seminars/pandas-02.ipynb часть 2], [https://nbviewer.jupyter.org/github/allatambov/allatambov.github.io/blob/master/icef/seminars/pandas-03.ipynb часть 3], файл с данными [https://allatambov.github.io/pydj/seminars/firtree.csv firtree.csv]. | ||
| − | Блок 2 | + | Блок 2: обработка, визуализация и анализ данных |
| − | + | * Файл [https://www.dropbox.com/s/9imk6146ye0mxio/wiki.csv?dl=0 wiki.csv], [https://github.com/allatambov/PyDataAnalysis/blob/main/wiki_codebook.pdf файл] с описанием данных. | |
| − | + | * Доверительные интервалы, проверка гипотез, коэффициенты корреляции ([https://nbviewer.org/github/allatambov/PyDataAnalysis/blob/main/seminar02-recap.ipynb читать], [https://www.dropbox.com/s/fvqey4qvaj500qq/seminar02-recap.ipynb?dl=0 скачать]). | |
| + | * Визуализация данных с matplotlib ([https://nbviewer.org/github/allatambov/PyDataAnalysis/blob/main/seminar03-visualisation.ipynb читать], [https://www.dropbox.com/s/bd3i9g6q2uxetnn/seminar03-visualisation.ipynb?dl=0 скачать]). | ||
| + | |||
| + | === Работа с данными в R === | ||
| + | |||
| + | Кроме вводных видео, здесь собраны материалы курсов с использованием R: [http://math-info.hse.ru/s20/e 1], [http://math-info.hse.ru/s21/g 2], [http://math-info.hse.ru/s22/4 3]. | ||
| + | |||
| + | Блок 1: введение в работу с данными | ||
| + | |||
| + | * Введение в RStudio Cloud, загрузка файла с данными, базовое описание данных (видео). | ||
| + | * Файлы [https://allatambov.github.io/rprog/data/firtree.csv firtree.csv], [https://github.com/allatambov/PyDat-0919/blob/master/lectures-seminars/7-pandas/test1.xlsx test1.xls], [https://github.com/allatambov/PyDat-0919/blob/master/lectures-seminars/7-pandas/test2.csv test2.csv]. | ||
| + | * Загрузка данных и их описание ([https://allatambov.github.io/rprog21/r-data-desc.pdf конспект], [https://raw.githubusercontent.com/allatambov/allatambov.github.io/master/rprog21/r-data-desc.Rmd код]), | ||
| + | * Основы работы с датафреймами ([https://allatambov.github.io/rprog/pdf/rdata-handle.pdf конспект],[https://raw.githubusercontent.com/allatambov/allatambov.github.io/master/rprog21/rdata-handle.R код]). | ||
| + | |||
| + | Блок 2: визуализация и анализ данных | ||
| + | |||
| + | * Визуализация данных и доверительные интервалы в R ([https://raw.githubusercontent.com/allatambov/allatambov.github.io/master/twimc22/05-04.R код], [https://allatambov.github.io/twimc22/conf-int-r.pdf конспект]). | ||
| + | * Проверка статистических гипотез в R ([https://raw.githubusercontent.com/allatambov/allatambov.github.io/master/twimc22/hypo-test.R код], [https://allatambov.github.io/twimc22/hypo-r-tests.pdf конспект]). | ||
| + | * Меры связи: коэффициенты корреляции Пирсона и Спирмена ([https://raw.githubusercontent.com/allatambov/allatambov.github.io/master/twimc22/assoc.R код], [https://allatambov.github.io/twimc22/assoc-r.pdf конспект]). | ||
| + | * Коэффициент корреляции Пирсона и парная линейная регрессия ([https://www.dropbox.com/s/ngwwhm0w54hpzau/regression-practice01.R?dl=0 код], [https://github.com/allatambov/IntroToReg22/blob/main/practice-01.pdf конспект], [https://raw.githubusercontent.com/allatambov/IntroToReg22/main/canada.csv canada.csv]). | ||
Версия 04:38, 1 октября 2022
Дорогие студенты!
Это страница обязательного курса «Основы работы с количественными данными», читаемого на программе «Коммуникации в государственных структурах и НКО» 1 курса магистратуры в 1 модуле 2022-2023 учебного года.
Семинары ведёт: Тамбовцева Алла Андреевна.
Содержание
- 1 Правила игры
- 2 Программное обеспечение
- 3 Материалы занятий
- 3.1 Неделя 1. Введение в анализ данных. Описание данных.
- 3.2 Неделя 2. Описание данных. Визуализация данных.
- 3.3 Неделя 3. Визуализация данных. Основные понятия теории вероятностей и статистики.
- 3.4 Неделя 4. Введение в статистическое оценивание. Доверительные интервалы.
- 3.5 Неделя 5. Проверка статистических гипотез. Меры связи.
- 4 Домашние задания
- 5 Дополнительные материалы
Правила игры
- Формула оценки: Итог = 0.5 * Домашние задания + 0.2 * Самостоятельная работа + 0.3 * Экзамен.
- Программа курса, пояснения по формам контроля.
Программное обеспечение
В рамках практической части курса используются Google Sheets, для работы достаточно иметь аккаунт Gmail.
Материалы занятий
Неделя 1. Введение в анализ данных. Описание данных.
- Введение в анализ данных: шкалы данных, интегральные индексы (слайды).
- Описание данных: введение в выборочные обследования, описательные статистики (слайды).
- Практикум 1: задания, решения.
Что почитать по теме: Ч.Уилан «Голая статистика» (главы 1-3), А.Макаров и др. «Задачник по математической статистике для студентов социально-гуманитарных и управленческих специальностей» (главы 2.1-2.2), M.Sternstein "AP Statistics" (topic 2).
Неделя 2. Описание данных. Визуализация данных.
- Описание данных: меры изменчивости, данные в неколичественных шкалах (слайды).
- Визуализация данных: принципы визуализации, графики распределения количественных данных (слайды).
- Практикум 2: таблица, задание, решение.
Что почитать по теме: А.Макаров и др. «Задачник по математической статистике для студентов социально-гуманитарных и управленческих специальностей» (глава 2.3), M.Sternstein "AP Statistics" (topic 3), Шипунов и др. Наглядная статистика. Используем R! (главы 1-3).
Неделя 3. Визуализация данных. Основные понятия теории вероятностей и статистики.
- Визуализация данных: графики распределения качественных данных.
- Практикум 3: таблица, задание, решение.
- Введение в теорию вероятностей: события и вероятности, случайные величины (конспект).
Что почитать по теме: А.Макаров. А.Пашкевич. «Задачник по теории вероятностей для студентов социально-гуманитарных и управленческих специальностей» (разделы 2-3, 6), Шипунов и др. Наглядная статистика. Используем R! (главы 1-3).
Неделя 4. Введение в статистическое оценивание. Доверительные интервалы.
- Видеозапись занятия.
- Ещё немного о случайных величинах: описание непрерывных случайных величин (конспект).
- Введение в статистическое оценивание. Статистические законы. Доверительные интервалы (слайды), симуляции в R.
- Онлайн-калькулятор для доверительных интервалов, визуализация доверительных интервалов.
Что почитать по теме: А.Макаров и др. «Задачник по математической статистике для студентов социально-гуманитарных и управленческих специальностей» (главы 3.3-3.4), Ч.Уилан «Голая статистика» (главы 8, 10), M.Sternstein "AP Statistics" (topics 12-13).
Неделя 5. Проверка статистических гипотез. Меры связи.
- [Видеозапись] занятия.
- Проверка статистических гипотез, концепция p-value ([слайды]).
- Меры связи для данных в разных шкалах ([слайды]).
- Практикум 5: задание, ROSSTAT, WIKI.
- Онлайн-калькулятор для статистических критериев.
Домашние задания
| Домашнее задание | Дедлайн |
|---|---|
| Домашнее задание 1 | 11.09 23:59 |
| Домашнее задание 2 | 22.09 23:59 |
| Домашнее задание 3 | 02.10.23:59 |
| Домашнее задание 4 | |
| Домашнее задание 5 | |
| Домашнее задание 6 |
Дополнительные материалы
Работа с данными в Python
Ниже приведены примеры работы с данными в облачной версии Jupyter Notebook – среде Google Colab. При желании можно установить дистрибутив Anaconda и использовать Jupyter Notebook локально (инструкция по работе). Кроме вводных видео, здесь собраны материалы разных курсов по Python: 1, 2.
Блок 1: введение в работу с данными
- Введение в Google Colab, загрузка файла с данными, базовое описание данных (видео).
- Группировка и агрегирование данных, применение собственных функций (видео).
- Выбор столбцов и фильтрация строк в таблице (видео).
- Больше про работу с датафреймами pandas: часть 1 , часть 2, часть 3, файл с данными firtree.csv.
Блок 2: обработка, визуализация и анализ данных
- Файл wiki.csv, файл с описанием данных.
- Доверительные интервалы, проверка гипотез, коэффициенты корреляции (читать, скачать).
- Визуализация данных с matplotlib (читать, скачать).
Работа с данными в R
Кроме вводных видео, здесь собраны материалы курсов с использованием R: 1, 2, 3.
Блок 1: введение в работу с данными
- Введение в RStudio Cloud, загрузка файла с данными, базовое описание данных (видео).
- Файлы firtree.csv, test1.xls, test2.csv.
- Загрузка данных и их описание (конспект, код),
- Основы работы с датафреймами (конспект,код).
Блок 2: визуализация и анализ данных
