Python для сбора и анализа данных: различия между версиями

Материал из MathINFO
Перейти к навигации Перейти к поиску
Строка 66: Строка 66:
 
=== Кортежи и словари. Работа с файлами. Формат JSON. (1 и 4 марта) ===  
 
=== Кортежи и словари. Работа с файлами. Формат JSON. (1 и 4 марта) ===  
  
* Видеозапись: [https://www.dropbox.com/sh/mgg5rfzkios210p/AABJO2oAEcNpgb_N8gpNnVwOa?dl=0 вторник], пятница.
+
* Видеозапись: [https://www.dropbox.com/sh/pz7f0srpd8656vc/AABP5jfaL8r1Ufyn25g2wRsKa?dl=0 вторник], [https://www.dropbox.com/sh/ljyseo4m27eeshs/AAC1JZc0JVQVEqr4kDW4las9a?dl=0 пятница]. Сырые ipynb-файлы с занятия: [вторник], [пятница].
* Кортежи и словари (смотреть, скачать).  
+
* Кортежи ([https://github.com/allatambov/allatambov.github.io/blob/master/icef/seminars/tuples.ipynb смотреть], [https://allatambov.github.io/icef/seminars/tuples.ipynb скачать]). Словари ([https://github.com/allatambov/allatambov.github.io/blob/master/icef/seminars/dicts.ipynb смотреть], [https://allatambov.github.io/icef/seminars/dicts.ipynb скачать]). Множества ([https://nbviewer.jupyter.org/github/PyBasics-19/py-basics-19/blob/master/lectures/sets.ipynb смотреть]).
* Работа файлами (смотреть, скачать). JSON-файлы (смотреть, скачать). Файл [https://www.dropbox.com/s/f6qqy2popixxj2g/data.json?dl=0 data.json].
+
* Работа с файлами и JSON-файлы ([https://nbviewer.org/github/allatambov/PyDat-0919/blob/master/lectures-seminars/5-files/os-json.ipynb смотреть]). Файл [https://www.dropbox.com/s/f6qqy2popixxj2g/data.json?dl=0 data.json].
* Практикум 4: словари ([https://nbviewer.org/github/allatambov/allatambov.github.io/blob/master/icef/icef-seminar04.ipynb смотреть], [https://allatambov.github.io/icef/icef-seminar04.ipynb скачать]), решения задач (смотреть, скачать).
+
* Практикум 4: словари ([https://nbviewer.org/github/allatambov/allatambov.github.io/blob/master/icef/icef-seminar04.ipynb смотреть], [https://allatambov.github.io/icef/icef-seminar04.ipynb скачать]), решения задач ([смотреть], [скачать]).
  
 
== Дополнительные материалы ==
 
== Дополнительные материалы ==

Версия 22:55, 7 марта 2022

Это страница факультатива «Python для сбора и анализа данных», читаемого в МИЭФ в 2021/2022 учебном году.

Авторы курса: Щуров Илья Валерьевич, Тамбовцева Алла Андреевна.

Лекции и семинары ведет: Тамбовцева Алла Андреевна.

Правила игры

  • Формула оценки: 0.4 * ДЗ + 0.2 * Онлайн + 0.4 * Проект.
  • Сдача домашних заданий с опозданием допускается, но со штрафом: за задержку в пределах часа – 15% от полученной оценки, в пределах суток – 30%, в пределах двух дней – 50%.
  • Курс читается с использованием онлайн-курсов на платформе DataCamp. Бесплатный доступ к платформе студентам предоставляется.

Программное обеспечение

Перед занятиями необходимо установить дистрибутив Anaconda (скачать можно здесь), который включает в себя интерпретатор языка Python, библиотеки для обработки, анализа и визуализации данных, а также среду для работы Jupyter Notebook. Также есть возможность работать в Jupyter Notebook онлайн, используя ресурс Google Colab (для создания и редактирования файлов нужен аккаунт Gmail). Но в долгосрочной перспективе предпочтительнее установить Anaconda.

Материалы занятий

Презентация факультатива и знакомство с Jupyter Notebook (1 февраля)

Дополнительно:

Переменные и типы данных в Python. Ввод и вывод (8 или 11 февраля)

Дополнительно:

Списки и цикл for. Методы на строках. (15 или 18 февраля)

Дополнительно:

Генераторы списков. Условные конструкции и цикл while. (22 или 25 февраля)

Дополнительно:

Кортежи и словари. Работа с файлами. Формат JSON. (1 и 4 марта)

Дополнительные материалы

Библиотека SymPy для символьных вычислений

Введение в SymPy: часть 1 (sympy-1.ipynb), часть 2 (sympy-2.ipynb), задачи (sympy-problems.ipynb). Официальная документация SymPy.

Работа с текстом в Python

Библиотека pymorphy2 (морфологический анализатор). Библиотека pymystem3 (предобработка текста). Тьюториал для построения облака слов.

Статистика и анализ данных в Python

Материалы по статистическим тестам и линейным регрессиям в Python.

Домашние задания

  • Домашние задания типа online выполняются на платформе DataCamp.
  • Обычные домашние задания сдаются в системе python.math-hse.info. Познакомиться с системой можно на примере домашнего задания №0.
Домашнее задание Ссылка Дедлайн
Online 1 DataCamp: глава Python Lists 17.02 23:59
Домашнее задание 1 MathInfo: задания hw01 02.03. 23:59
Online 2 DataCamp: глава Writing your own functions 17.03 23:59
Online 3 DataCamp: глава Default arguments, variable-length arguments and scope 17.03 23:59
Домашнее задание 2 MathInfo: задания hw02 24.03. 23:59