Python для сбора и анализа данных: различия между версиями
Строка 20: | Строка 20: | ||
* Презентация факультатива: [https://www.dropbox.com/s/84tp6szm93k1365/PyICEF-2022-presentation.pdf?dl=0 слайды], [https://www.dropbox.com/s/w9ibopr43a20ntm/Python_presentation_recording.mp4?dl=0 видеозапись]. | * Презентация факультатива: [https://www.dropbox.com/s/84tp6szm93k1365/PyICEF-2022-presentation.pdf?dl=0 слайды], [https://www.dropbox.com/s/w9ibopr43a20ntm/Python_presentation_recording.mp4?dl=0 видеозапись]. | ||
− | * Знакомство со средой Jupyter Notebook. [https://allatambov.github.io/icef/seminars/instruction-JN.pdf Инструкция] по работе с Jupyter Notebook. Знакомство с Jupyter Notebook и Markdown ([https://nbviewer.jupyter.org/github/allatambov/allatambov.github.io/blob/master/icef/seminars/intro-jupyter.ipynb | + | * Знакомство со средой Jupyter Notebook. [https://allatambov.github.io/icef/seminars/instruction-JN.pdf Инструкция] по работе с Jupyter Notebook. Знакомство с Jupyter Notebook и Markdown ([https://nbviewer.jupyter.org/github/allatambov/allatambov.github.io/blob/master/icef/seminars/intro-jupyter.ipynb смотреть], [http://allatambov.github.io/icef/seminars/intro-jupyter.ipynb скачать]). |
Дополнительно: | Дополнительно: | ||
Строка 26: | Строка 26: | ||
* Markdown и Jupyter: [https://www.ibm.com/support/knowledgecenter/SSQNUZ_current/com.ibm.icpdata.doc/dsx/markd-jupyter.html больше] про Markdown, интерактивные [https://ipywidgets.readthedocs.io/en/stable/examples/Widget%20Basics.html виджеты] в Jupyter. | * Markdown и Jupyter: [https://www.ibm.com/support/knowledgecenter/SSQNUZ_current/com.ibm.icpdata.doc/dsx/markd-jupyter.html больше] про Markdown, интерактивные [https://ipywidgets.readthedocs.io/en/stable/examples/Widget%20Basics.html виджеты] в Jupyter. | ||
* LaTeX: [https://ru.sharelatex.com/ ShareLaTeX] для желающих, [https://www.overleaf.com/learn документация] на английском, [https://github.com/allatambov/Latex материалы] других курсов по LaTeX. | * LaTeX: [https://ru.sharelatex.com/ ShareLaTeX] для желающих, [https://www.overleaf.com/learn документация] на английском, [https://github.com/allatambov/Latex материалы] других курсов по LaTeX. | ||
+ | |||
+ | === Переменные и типы данных в Python. Ввод и вывод (8 или 11 февраля) === | ||
+ | |||
+ | * Видеозапись занятия. | ||
+ | * Вычисления и переменные в Python (смотреть, скачать). Типы переменных, ввод и вывод в Python (смотреть, скачать). | ||
+ | * Работа со строками, форматирование строк (смотреть, скачать). Методы на строках (смотреть, скачать). | ||
+ | * Интерактивные виджеты в Jupyter Notebook (смотреть, скачать), [https://ipywidgets.readthedocs.io/en/stable/examples/Widget%20Basics.html больше] о виджетах. | ||
+ | * Практикум 1: (смотреть, скачать), решения задач (смотреть, скачать). | ||
+ | |||
+ | Дополнительно: | ||
+ | |||
+ | * Pythontutor: [http://pythontutor.ru/visualizer/ визуализатор] кода, [https://pythontutor.ru/lessons/int_and_float/ вычисления]. | ||
+ | * Проверка соответствия стандартам оформления кода: [PEP8 http://pep8online.com/ online check]. | ||
+ | |||
+ | == Дополнительные материалы == | ||
+ | |||
+ | '''Библиотека SymPy для символьных вычислений''' | ||
+ | |||
+ | Введение в SymPy: часть 1 ([https://nbviewer.jupyter.org/github/allatambov/py-icef/blob/master/add/sympy-1.ipynb sympy-1.ipynb]). Введение в SymPy: часть 2 ([https://nbviewer.jupyter.org/github/allatambov/py-icef/blob/master/add/sympy-2.ipynb sympy-2.ipynb]). Задачи по SymPy ([https://nbviewer.jupyter.org/github/allatambov/py-icef/blob/master/add/sympy-problems.ipynb sympy-problems.ipynb]). Официальная документация [https://www.sympy.org/en/index.html SymPy]. | ||
+ | |||
+ | '''Работа с текстом в Python''' | ||
+ | |||
+ | Библиотека [https://pymorphy2.readthedocs.io/en/latest/ pymorphy2] (морфологический анализатор). Библиотека [https://github.com/nlpub/pymystem3 pymystem3] (предобработка текста). [https://www.datacamp.com/community/tutorials/wordcloud-python Тьюториал] для построения облака слов (word cloud). | ||
+ | |||
+ | '''Статистика и анализ данных в Python''' | ||
+ | |||
+ | [https://github.com/allatambov/CognTech/tree/master/statistics Материалы] по статистическим тестам и линейным регрессиям в Python. | ||
+ | |||
+ | == Домашние задания == | ||
+ | |||
+ | * Домашние задания типа ''online'' выполняются на платформе DataCamp. | ||
+ | * Обычные домашние задания сдаются в системе [http://python.math-hse.info python.math-hse.info]. Познакомиться с системой можно на примере домашнего задания №0. | ||
+ | |||
+ | {| class="wikitable" | ||
+ | |- | ||
+ | ! Домашнее задание !! Ссылка !! Дедлайн | ||
+ | |- | ||
+ | | Online 1 || DataCamp: глава [https://learn.datacamp.com/courses/intro-to-python-for-data-science Python Lists]|| 17.02 23:59 | ||
+ | |- | ||
+ | | Домашнее задание 1 || || | ||
+ | |- | ||
+ | |} |
Версия 04:43, 8 февраля 2022
Это страница факультатива «Python для сбора и анализа данных», читаемого в МИЭФ в 2021/2022 учебном году.
Авторы курса: Щуров Илья Валерьевич, Тамбовцева Алла Андреевна.
Лекции и семинары ведет: Тамбовцева Алла Андреевна.
Содержание
Правила игры
- Формула оценки: 0.4 * ДЗ + 0.2 * Онлайн + 0.4 * Проект.
- Сдача домашних заданий с опозданием допускается, но со штрафом: за задержку в пределах часа – 15% от полученной оценки, в пределах суток – 30%, в пределах двух дней – 50%.
- Курс читается с использованием онлайн-курсов на платформе DataCamp. Бесплатный доступ к платформе студентам предоставляется.
Программное обеспечение
Перед занятиями необходимо установить дистрибутив Anaconda (скачать можно здесь), который включает в себя интерпретатор языка Python, библиотеки для обработки, анализа и визуализации данных, а также среду для работы Jupyter Notebook. Также есть возможность работать в Jupyter Notebook онлайн, используя ресурс Google Colab (для создания и редактирования файлов нужен аккаунт Gmail). Но в долгосрочной перспективе предпочтительнее установить Anaconda.
Материалы занятий
Презентация факультатива и знакомство с Jupyter Notebook (1 февраля)
- Презентация факультатива: слайды, видеозапись.
- Знакомство со средой Jupyter Notebook. Инструкция по работе с Jupyter Notebook. Знакомство с Jupyter Notebook и Markdown (смотреть, скачать).
Дополнительно:
- Markdown и Jupyter: больше про Markdown, интерактивные виджеты в Jupyter.
- LaTeX: ShareLaTeX для желающих, документация на английском, материалы других курсов по LaTeX.
Переменные и типы данных в Python. Ввод и вывод (8 или 11 февраля)
- Видеозапись занятия.
- Вычисления и переменные в Python (смотреть, скачать). Типы переменных, ввод и вывод в Python (смотреть, скачать).
- Работа со строками, форматирование строк (смотреть, скачать). Методы на строках (смотреть, скачать).
- Интерактивные виджеты в Jupyter Notebook (смотреть, скачать), больше о виджетах.
- Практикум 1: (смотреть, скачать), решения задач (смотреть, скачать).
Дополнительно:
- Pythontutor: визуализатор кода, вычисления.
- Проверка соответствия стандартам оформления кода: [PEP8 http://pep8online.com/ online check].
Дополнительные материалы
Библиотека SymPy для символьных вычислений
Введение в SymPy: часть 1 (sympy-1.ipynb). Введение в SymPy: часть 2 (sympy-2.ipynb). Задачи по SymPy (sympy-problems.ipynb). Официальная документация SymPy.
Работа с текстом в Python
Библиотека pymorphy2 (морфологический анализатор). Библиотека pymystem3 (предобработка текста). Тьюториал для построения облака слов (word cloud).
Статистика и анализ данных в Python
Материалы по статистическим тестам и линейным регрессиям в Python.
Домашние задания
- Домашние задания типа online выполняются на платформе DataCamp.
- Обычные домашние задания сдаются в системе python.math-hse.info. Познакомиться с системой можно на примере домашнего задания №0.
Домашнее задание | Ссылка | Дедлайн |
---|---|---|
Online 1 | DataCamp: глава Python Lists | 17.02 23:59 |
Домашнее задание 1 |