Python для сбора и анализа данных: различия между версиями

Материал из MathINFO
Перейти к навигации Перейти к поиску
Строка 80: Строка 80:
 
* Семинар 5: группировка и агрегирование ([https://nbviewer.jupyter.org/github/allatambov/allatambov.github.io/blob/master/icef/seminars/icef-seminar05.ipynb задания], [http://allatambov.github.io/icef/seminars/icef-seminar05.ipynb icef-seminar05.ipynb], [https://raw.githubusercontent.com/allatambov/allatambov.github.io/master/icef/data-27257-2020-02-03.json json]).
 
* Семинар 5: группировка и агрегирование ([https://nbviewer.jupyter.org/github/allatambov/allatambov.github.io/blob/master/icef/seminars/icef-seminar05.ipynb задания], [http://allatambov.github.io/icef/seminars/icef-seminar05.ipynb icef-seminar05.ipynb], [https://raw.githubusercontent.com/allatambov/allatambov.github.io/master/icef/data-27257-2020-02-03.json json]).
 
* Дополнительно: более сложный пример с группировкой и агрегированием ([https://nbviewer.jupyter.org/github/PyBasics-19/py-basics-19/blob/master/lectures/pandas-part2.ipynb конспект], файл [https://raw.githubusercontent.com/allatambov/PyDat-0919/master/lectures-seminars/7-pandas/elect.csv elect.csv]).
 
* Дополнительно: более сложный пример с группировкой и агрегированием ([https://nbviewer.jupyter.org/github/PyBasics-19/py-basics-19/blob/master/lectures/pandas-part2.ipynb конспект], файл [https://raw.githubusercontent.com/allatambov/PyDat-0919/master/lectures-seminars/7-pandas/elect.csv elect.csv]).
 +
 +
=== 24 марта [Видеозапись] ===
  
 
'''Тема 8. Визуализация и разведывательный анализ данных.'''
 
'''Тема 8. Визуализация и разведывательный анализ данных.'''
  
 
* [https://allatambov.github.io/pydj/seminars/Chile.csv Chile.csv]
 
* [https://allatambov.github.io/pydj/seminars/Chile.csv Chile.csv]
 +
* Семинар 6: графики и виджеты ([https://nbviewer.jupyter.org/github/allatambov/allatambov.github.io/blob/master/icef/seminars/icef-seminar06.ipynb задания], [http://allatambov.github.io/icef/seminars/icef-seminar06.ipynb icef-seminar06.ipynb])
  
 
==Дополнительные материалы==
 
==Дополнительные материалы==

Версия 19:50, 24 марта 2021

Это страница факультатива «Python для сбора и анализа данных», читаемого в МИЭФ в 2020/2021 учебном году.

Авторы курса: Щуров Илья Валерьевич, Тамбовцева Алла Андреевна

Лекции и семинары ведет: Тамбовцева Алла Андреевна

Правила игры

  • Формула оценки: 0.4 * ДЗ + 0.2 * Онлайн + 0.4 * Проект.
  • Сдача домашних заданий с опозданием допускается, но со штрафом: за задержку в пределах часа – 15% от полученной оценки, в пределах суток – 30%, в пределах двух дней – 50%.
  • Курс читается с использованием онлайн-курсов на платформе DataCamp. Бесплатный доступ к платформе студентам предоставляется.

Программное обеспечение

Перед занятиями необходимо установить дистрибутив Anaconda (скачать можно здесь), который включает в себя интерпретатор языка Python, библиотеки для обработки, анализа и визуализации данных, а также среду для работы Jupyter Notebook. Также есть возможность работать в Jupyter Notebook онлайн, используя ресурс Google Colab (для создания и редактирования файлов нужен аккаунт Gmail). Но в долгосрочной перспективе предпочтительнее установить Anaconda.

Материалы занятий

10 февраля Видеозапись

Тема 1. Введение в Python и Jupyter Notebook

Тема 2. Типы данных в Python. Ввод и вывод.

17 февраля Видеозапись

Тема 3. Списки и цикл for. Методы на строках.

24 февраля Видеозапись

Тема 4. Проверка условий и условные конструкции. Цикл while.

Тема 5*. Структуры данных в Python: кортежи, множества, словари.

3 марта Видеозапись

Тема 6. Функции в Python.

10 марта Видеозапись

Тема 7. Работа с файлами. Массивы NumPy и датафреймы pandas.

17 марта [Видеозапись]

Тема 7. Работа с файлами. Массивы NumPy и датафреймы pandas.

  • Работа с датафреймами pandas: часть 3 (конспект, файл).
  • Семинар 5: группировка и агрегирование (задания, icef-seminar05.ipynb, json).
  • Дополнительно: более сложный пример с группировкой и агрегированием (конспект, файл elect.csv).

24 марта [Видеозапись]

Тема 8. Визуализация и разведывательный анализ данных.

Дополнительные материалы

Библиотека SymPy для символьных вычислений

Введение в SymPy: часть 1 (sympy-1.ipynb). Введение в SymPy: часть 2 (sympy-2.ipynb). Задачи по SymPy (sympy-problems.ipynb). Официальная документация SymPy.

Работа с текстом в Python

Библиотека pymorphy2 (морфологический анализатор). Библиотека pymystem3 (предобработка текста). Тьюториал для построения облака слов (word cloud).

Объекты и классы в Python

Конспект по классам, материалы по классам от W3schools.

Статистика и анализ данных в Python

Материалы по статистическим тестам и линейным регрессиям в Python.

Домашние задания и online

Домашнее задание Ссылка Дедлайн
Online 1 DataCamp: глава Python Lists 17 февраля 18:10
Online 2 DataCamp: глава Fundamental data types 24 февраля 18:10
Домашнее задание 1 задание, hw01.ipynb, сдавать на Dropbox 28 февраля 23:59
Online 3 DataCamp: глава Dictionaries - the root of Python 5 марта 23:59
Online 4 DataCamp: глава Default arguments, variable-length arguments and scope 10 марта 18:10
Домашнее задание 2 задание, hw02.ipynb, сдавать на Dropbox 15 марта 23:59
Online 5 DataCamp: глава NumPy 18 марта 18:10