Python для сбора и анализа данных СПб — различия между версиями

Материалы по математике, 2018-19 учебный год
Перейти к: навигация, поиск
(Материалы)
(Занятие 7)
 
Строка 61: Строка 61:
  
 
=== Занятие 7 ===
 
=== Занятие 7 ===
* веб-скреппинг: [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%208.ipynb конспект], [http://www.youtube.com/watch?v=3nPksaHTMGI видео]
+
* Веб-скреппинг: [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%208.ipynb конспект], [http://www.youtube.com/watch?v=3nPksaHTMGI видео]
 
** Официальная документация (англ.): [http://docs.python-requests.org/en/latest/ requests] [http://www.crummy.com/software/BeautifulSoup/bs4/doc/ BeautifulSoup].
 
** Официальная документация (англ.): [http://docs.python-requests.org/en/latest/ requests] [http://www.crummy.com/software/BeautifulSoup/bs4/doc/ BeautifulSoup].
  

Текущая версия на 12:55, 16 декабря 2018

Курс центра повышения квалификации для сотрудников НИУ ВШЭ Санкт-Петербург. Ведёт Илья Щуров.

Инструменты

Python

Мы используем Python версии 3 и оболочку Jupyter (ранее известную как IPython Notebook). Чтобы их установить, проще всего скачать пакет Anaconda. Обратите внимание: вам нужна версия с Python 3.x.

После установки Anaconda у вас появится:

  • Под Windows: в меню «Пуск» пункт «Anaconda», в нём подпункт «IPython Notebook».
  • Под Mac OS X: приложение Anaconda Launcher, в нём пункт ipython-notebook.

После запуска IPython Notebook у вас откроется окно браузера (и лучше пусть это будет не Internet Explorer, под ним IPython Notebook работает с некоторым скриптом, а иногда не работает) со списком файлов. В нём надо выбрать New → Python 3. Откроется новая вкладка браузера, в ней будет запущен пустой notebook, состоящий из отдельных ячеек (cells). В ячейку с кодом можно вписать код и нажать Shift+Enter — он выполнится и вам покажут тут же результат.

Для установки дополнительных пакетов вам необходимо открыть консоль (это может быть Anaconda Prompt под Windows или стандартный «Терминал» под Mac OS или Linux) и набрать команду conda install <название пакета> или pip install <название пакета> (например, conda install seaborn).


Работа с ipynb-файлами

Чтобы скачать ipynb-файл, нужно кликнуть на иконку в красном кружке правой кнопкой и выбрать «сохранить файл как» или аналогичный пункт меню

Мы выкладываем материалы курса в виде ipynb-файлов. По ссылкам ниже вы можете просмотреть эти файлы. Если вы хотите открыть этот файл у себя, то вам необходимо скачать его (нажав на иконку в правом верхнем углу страницы с лекцией) и положить в каталог, из которого Jupyter открывает ноутбуки: например, воспользовавшись кнопкой Upload в самом Jupyter (на экране со списком файлов). Также этот каталог можно найти по строчке Serving notebooks from local directory: /home/user/IPython, появляющейся в чёрненьком окошке при запуске Jupyter; здесь /home/user/IPython — искомый путь.

Чтобы загрузить файл в Jupyter Notebook, можно нажать на кнопку Upload

Материалы

Сырые конспекты по всем занятиям

Занятие 1

Занятие 2

Занятие 3

Занятие 4

Занятие 5

Занятие 6

Занятие 7

Занятие 8 (bonus)

Домашние задания

Домашние задания сдаются через систему python.math-hse.info. Вам нужно зарегистрироваться в ней. При регистрации необходимо выбрать наш курс (Python SPb 2018). Для сдачи ДЗ необходимо скачать ipynb-файл на свой компьютер, загрузить его в свой Jupyter (или в Google Colab), вписать решения в соответствующие ячейки, сохранить ipynb-файл, скачать его и загрузить на сайт python.math-hse.info. После этого работа будет автоматически проверена. Загружать работы можно сколько угодно раз.

Данные

Примечания

  1. PT использует термин «генераторы списков» вместо «списковые включения»