Просмотр кода страницы Программирование на языке Python для сбора и анализа данных

Курс «Программирование на языке Python для сбора и анализа данных» является общеуниверситетским факультативом ВШЭ. Его могут посещать все желающие.

* Лекции читает: Щуров Илья Валерьевич

* Семинары ведут: Щуров Илья Валерьевич, Будылин Роман Яковлевич

* [http://www.hse.ru/data/2015/08/25/1086528874/pud_programmirovanie-na-yazyke-python-dlya-sbora-i-analiza-dann_328254.pdf Программа курса]

==Даты занятий==
Лекции проходят по субботам в здании на Шаболовке, 26, аудитория 3317, с 12:10 до 13:30, плюс семинар с 13:40 до 15:00.  Возможны изменения: следите за обновлениями в Piazza. По поводу семинаров в будни: следите за объявлениями в Piazza.

==Текущие объявления==
См. [https://piazza.com/hse.ru/fall2015/pythonds/home публичную страницу курса] в  Piazza.

==Софт==
Мы используем Python 3 и оболочку Jupyter (ранее известный как IPython Notebook). Чтобы их установить, проще всего скачать пакет [http://continuum.io/downloads Anaconda]. Обратите внимание: вам нужна версия с Python 3.x.

После установки Anaconda у вас появится:

* Под Windows: в меню «Пуск» пункт «Anaconda», в нём подпункт «IPython Notebook».

* Под Mac OS X: приложение Anaconda Launcher, в нём пункт ipython-notebook.

После запуска IPython Notebook у вас откроется окно браузера (и лучше пусть это будет не Internet Explorer, под ним IPython Notebook работает с некоторым скриптом, а иногда не работает) со списком файлов. В нём надо выбрать New → Python 3. Откроется новая вкладка браузера, в ней будет запущен пустой notebook, состоящий из отдельных ячеек (cells). В ячейку с кодом можно вписать код и нажать Shift+Enter — он выполнится и вам покажут тут же результат.

==Материалы==
{| class="wikitable"
!  неделя 
!  тема 
!  конспект 
!  доп. материалы 
!  видео 
!  задачи

|-
|  1<br>
|  Первое знакомство<br>
|  [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%201.ipynb ipynb]<br>
|  PT: [http://pythontutor.ru/lessons/inout_and_arithmetic_operations/ арифметические операции], [http://pythontutor.ru/lessons/int_and_float/ целые и вещественные числа]<br>
|  [http://www.youtube.com/watch?v=5Y5tKPKhurA видео]<br>
|  [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Problem%20Set%201.ipynb ДЗ№1] до 23:00 13 октября<br>
|-
|  2<br>
|  Списки и цикл <code>for</code><br>
|  [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%202.ipynb ipynb]<br>
|  PT: [http://pythontutor.ru/lessons/for_loop/ цикл for], [http://pythontutor.ru/lessons/lists/ списки]<br>
|  [https://www.youtube.com/watch?v=kBu3g-ITjY4 видео]<br>
|  [http://nbviewer.ipython.org/github/ischurov/pythonhse/blob/master/Problem%20Set%202.ipynb ДЗ№2] до 23:00 8 ноября (дедлайн изменен в связи со сбоями informatics).<br>
|-
|  3<br>
|  Ввод-вывод списков и проверка условий<br>
|  [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%203.ipynb ipynb]<br>
|  PT: [http://pythontutor.ru/lessons/lists/#section_2 split и join], [http://pythontutor.ru/lessons/ifelse/ if], [http://pythontutor.ru/lessons/while/ while]<br>
|  [http://www.youtube.com/watch?v=uzgaCV8KZA0 видео]<br>
|  [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Problem%20Set%203.ipynb ДЗ№3] до 23:00 8 ноября.<br>
|-
|  4<br>
|  Функции<br>
|  [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%204.ipynb ipynb]<br>
|  PT: [http://pythontutor.ru/lessons/functions/ функции]<br>
|  [http://www.youtube.com/watch?v=NYrYSFyCg4w видео]<br>
|  [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Problem%20Set%204.ipynb ДЗ№4] до 23:00 18 ноября. Загружать через [https://script.google.com/macros/s/AKfycbwapveMkbRU9Vt6ruMaWTS4_-2ahrDk_06ellNKPoGpqsLQ4r0/exec эту форму]<br>
|-
|  5<br>
|  Словари. Списковые включения (list comprehensions)[1]]<br>
|  [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%205.ipynb ipynb]<br>
|  PT: [http://pythontutor.ru/lessons/dicts/ словари], [http://pythontutor.ru/lessons/lists/#section_3 списковые включения][2]]<br>
|  [http://www.youtube.com/watch?v=z8bu_b5BboI видео]<br>
|  [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Problem%20Set%205.ipynb ДЗ№5] до 24 ноября, 23:00. Загружать через [https://script.google.com/macros/s/AKfycbyy1lHlDixtHV0ATcoKewwdFCGftxlKk5mzu7IxNWlsAq4ueU-9/exec эту форму].<br>
|-
|  6<br>
|  Сортировка. Форматирование строк<br>
|  [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%206.ipynb ipynb]<br>
|  [https://docs.python.org/3/howto/sorting.html О сортировке] (англ.), [https://pyformat.info/ форматирование строк] (англ.), [https://docs.python.org/3/tutorial/floatingpoint.html#tut-fp-issues хитрости с вещественными числами] (англ.)<br>
|  [http://www.youtube.com/watch?v=1w0NG-pfcsg видео]<br>
|  [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Problem%20Set%206.ipynb ДЗ№6] до 28 ноября, 23:00, сдавать [http://python.math-hse.info/ здесь].<br>
|-
|  7<br>
|  Особенности работы с изменяемыми типами данных. Множества. Ещё немного про строки. Файловый ввод-вывод<br>
|  [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%207.ipynb ipynb]<br>
|  [https://docs.python.org/3/tutorial/inputoutput.html Ввод-вывод в Python 3] (англ.)<br>
|  [https://www.youtube.com/watch?v=KaWGNPgUOHo видео]<br>
|  [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/ps7.ipynb ДЗ№7] до 8 декабря, 23:00, сдавать [http://python.math-hse.info/ здесь].<br>
|-
|  8<br>
|  Извлечение данных из веб-страниц<br>
|  [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%208.ipynb ipynb]<br>
|  Оригинальная документация (англ.): [http://docs.python-requests.org/en/latest/ requests] [http://www.crummy.com/software/BeautifulSoup/bs4/doc/ BeautifulSoup].<br>
|  [http://www.youtube.com/watch?v=3nPksaHTMGI видео]<br>
|  [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/ps8.ipynb ДЗ№8] до 22 декабря, 23:00, сдавать [http://python.math-hse.info/ здесь].<br>
|-
|  9<br>
|  Работа с открытыми API с помощью XML<br>
|  [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%209.ipynb ipynb]<br>
|  Документация по API MediaWiki (движка Википедии): [https://www.mediawiki.org/wiki/API:Main_page основная на английском], [https://www.mediawiki.org/wiki/API:Main_page/ru на русском], [https://en.wikipedia.org/w/api.php автогенерированная на английском], [https://ru.wikipedia.org/w/api.php на русском].<br>
|  [http://www.youtube.com/watch?v=5aelkl2HAow видео]<br>
|-
|  10<br>
|  JSON и API. Управление браузером в RoboBrowser и Selenium<br>
|  [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%2010.ipynb ipynb]<br>
|  [http://robobrowser.readthedocs.org/en/latest/ RoboBrowser], [http://selenium-python.readthedocs.org/ неофициальная документация] по Python-Selenium (её проще читать, чем официальную).<br>
|  [http://www.youtube.com/watch?v=tC618tbA5Yk видео]<br>
| <br>
|-
|  11<br>
|  Библиотеки <code>numpy</code> (эффективные массивы) и <code>matplotlib</code> (рисование графиков)<br>
|  [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%2011.ipynb ipynb]<br>
|  [https://docs.scipy.org/doc/numpy-dev/user/quickstart.html numpy quickstart], [http://matplotlib.org/users/pyplot_tutorial.html pyplot tutorial], [http://matplotlib.org/gallery.html matplotlib gallery]<br>
|  [http://www.youtube.com/watch?v=A84rlgoVnMY видео]<br>
|  [http://nbviewer.ipython.org/url/python.math-hse.info/static/assignments_release/pythonds2015/ps11/ps11.ipynb ДЗ№11] до 19 января, 23:00.<br>
|-
|  12<br>
|  Библиотека <code>pandas</code><br>
|  [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%2012.ipynb ipynb]<br>
|  Официальная документация <code>pandas</code>: [http://pandas.pydata.org/pandas-docs/stable/10min.html 10-минутное введение] (обзор возможностей), [http://pandas.pydata.org/pandas-docs/stable/tutorials.html#pandas-cookbook pandas cookbook], [http://pandas.pydata.org/pandas-docs/stable/indexing.html индексация и выбор данных] (подробно).<br>
|  [http://www.youtube.com/watch?v=ENKfnIEXyKw видео]<br>
| <br>
|-
|  13<br>
|  Ещё о <code>pandas</code>: мультииндексы, картинки и немного о погоде<br>
|  [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%2013.ipynb ipynb]<br>
|  Официальная документация <code>pandas</code>: [http://pandas.pydata.org/pandas-docs/stable/advanced.html Мультииндексы]<br>
| <br>
|  [http://nbviewer.ipython.org/url/python.math-hse.info/static/assignments_release/pythonds2015/ps13/ps13.ipynb ДЗ№13]<br>
|}
===Как использовать===
Мы выкладываем материалы курса в виде ipynb-файлов. По ссылкам выше вы можете просмотреть эти файлы. Если вы хотите открыть этот файл у себя, то вам необходимо скачать его (нажав на иконку в правом верхнем углу страницы с лекцией) и положить в каталог, из которого Jupyter открывает ноутбуки: например, воспользовавшись кнопкой Upload в самом Jupyter (на экране со списком файлов). Также этот каталог можно найти по строчке <code>Serving notebooks from local directory: /home/user/IPython</code>, появляющейся в чёрненьком окошке при запуске Jupyter; здесь <code>/home/user/IPython</code> — искомый путь.

А ещё вы можете склонировать наш [https://github.com/ischurov/pythonhse github]-репозитарий, все ipynb-файлы будут там. 

===Сдача домашних заданий===
Первые три ДЗ сдавались через систему informatics.mccme.ru], последующие сдаются через новую систему на сайте [http://python.math-hse.info/ python.math-hse.info]. (ДЗ№4 и ДЗ№5 по техническим причинам принимались через временную формочку, но будут перенесены в новую систему python.math-hse.info в ближайшее время.)

==Данные для анализа==
* [http://math-info.hse.ru/f/2015-16/all-py/data/simple.csv Простой CSV-файл].

* [http://math-info.hse.ru/f/2015-16/all-py/data/tariff2012.csv Тарифы на услуги ЖКХ] (Москва, 2012, источник: [http://data.mos.ru/opendata/7704219722-tarify-na-kommunalnye-uslugi-dlya-naseleniya-goroda-moskvy-na-2012-god?pageNumber=1&versionNumber=2&releaseNumber=1 портал открытых данных г. Москвы]).

* [http://math-info.hse.ru/f/2014-15/nes-stat/climate.html Погода в Москве] ([http://cliware.meteo.ru/inter/data.html источник])

* [http://math-info.hse.ru/f/2015-16/all-py/titanic.csv Титаник]

* [http://math-info.hse.ru/f/2015-16/all-py/ Разные данные]

==Полезные ссылки==
* [https://twitter.com/pythonhse Twitter] с последними новостями о курсе.

* [https://github.com/ischurov/pythonhse GitHub]-репозитарий с конспектами лекций и другими материалами.

* [http://www.youtube.com/channel/UCr-KbmZWfDyTbqT_clZmhfw YouTube]-канал курса.

* [http://nbviewer.jupyter.org/github/ischurov/odebook/blob/master/mathandpython.ipynb Кратчайшее введение в Python для математики] — шпаргалка по Python с математическим уклоном.

==Примечания==
* ↑] Лекцию прочитал Юрий Георгиевич Кудряшов

* ↑] PT использует термин «генераторы списков» вместо «списковые включения»