Наука о данных: различия между версиями

Материал из MathINFO
Перейти к навигации Перейти к поиску
Строка 87: Строка 87:
 
| 11
 
| 11
 
| 16 февраля
 
| 16 февраля
| Еще немного про нумпай и математика в питоне
+
| Еще немного про numpy и математика в питоне
 
| [https://gist.github.com/ischurov/da66b7055a4edbf58369758a313c19b4 ноутбук с занятия]
 
| [https://gist.github.com/ischurov/da66b7055a4edbf58369758a313c19b4 ноутбук с занятия]
 
| [https://youtu.be/U_yKQ3WGJrw видео]
 
| [https://youtu.be/U_yKQ3WGJrw видео]
Строка 95: Строка 95:
 
| 12
 
| 12
 
| 17 февраля
 
| 17 февраля
| Трехмерные графики, пандас
+
| Трехмерные графики, pandas
| [https://gist.github.com/ischurov/e52ff4737d4e02e023f5885d71ffd543 ноутбук с занятия]
+
| [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%2012.ipynb конспект по pandas], [https://gist.github.com/ischurov/e52ff4737d4e02e023f5885d71ffd543 ноутбук с занятия]
 
| [https://youtu.be/KS0THVatE9U видео]
 
| [https://youtu.be/KS0THVatE9U видео]
 
| [https://numpy.org/devdocs/user/theory.broadcasting.html numpy broadcasting rules] (англ.), [https://pandas.pydata.org/pandas-docs/stable/user_guide/dsintro.html pandas data structures]
 
| [https://numpy.org/devdocs/user/theory.broadcasting.html numpy broadcasting rules] (англ.), [https://pandas.pydata.org/pandas-docs/stable/user_guide/dsintro.html pandas data structures]
Строка 112: Строка 112:
 
| 2 марта
 
| 2 марта
 
| Пандас и погода
 
| Пандас и погода
| [https://gist.github.com/ischurov/0d8ab940186ef8f4cd7499cb95fa1c19 ноутбук с занятия]
+
| [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%2013.ipynb Конспект], [https://gist.github.com/ischurov/0d8ab940186ef8f4cd7499cb95fa1c19 ноутбук с занятия]
 
| [https://youtu.be/V1-tYuzD_ls видео]
 
| [https://youtu.be/V1-tYuzD_ls видео]
 
| [https://pandas.pydata.org/pandas-docs/stable/user_guide/advanced.html мультииндексы] (англ.)
 
| [https://pandas.pydata.org/pandas-docs/stable/user_guide/advanced.html мультииндексы] (англ.)
Строка 120: Строка 120:
 
| 3 марта
 
| 3 марта
 
| Веб-скрэппинг
 
| Веб-скрэппинг
| [https://gist.github.com/ischurov/1ffb0b98c9f1654aa7c3e0e437d886e6 ноутбук с занятия]
+
| [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%208.ipynb Конспект], [https://gist.github.com/ischurov/1ffb0b98c9f1654aa7c3e0e437d886e6 ноутбук с занятия]
 
| [https://youtu.be/z191CcHj76o видео]
 
| [https://youtu.be/z191CcHj76o видео]
 
| Оригинальная документация (англ.): [http://docs.python-requests.org/en/latest/ requests] [http://www.crummy.com/software/BeautifulSoup/bs4/doc/ BeautifulSoup].
 
| Оригинальная документация (англ.): [http://docs.python-requests.org/en/latest/ requests] [http://www.crummy.com/software/BeautifulSoup/bs4/doc/ BeautifulSoup].
Строка 128: Строка 128:
 
| 9 марта
 
| 9 марта
 
| Больше веб-скрэппинга, Selenium
 
| Больше веб-скрэппинга, Selenium
| [https://gist.github.com/ischurov/21f0ceaf17ccc43f984c7b0556d177dd ноутбук с занятия]
+
| [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%2010.ipynb Конспект], [https://gist.github.com/ischurov/21f0ceaf17ccc43f984c7b0556d177dd ноутбук с занятия]
 
| [https://youtu.be/ETQcIyZxWo8 видео]
 
| [https://youtu.be/ETQcIyZxWo8 видео]
 
| [http://selenium-python.readthedocs.org/ неофициальная документация] по Python-Selenium (её проще читать, чем официальную).
 
| [http://selenium-python.readthedocs.org/ неофициальная документация] по Python-Selenium (её проще читать, чем официальную).
Строка 136: Строка 136:
 
| 10 марта
 
| 10 марта
 
| REST API: XML & JSON
 
| REST API: XML & JSON
| [https://gist.github.com/ischurov/8a747307938bf76c0708f3b770f3126f ноутбук с занятия]
+
| [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%209.ipynb Конспект про XML], [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%2010.ipynb конспект про JSON], [https://gist.github.com/ischurov/8a747307938bf76c0708f3b770f3126f ноутбук с занятия]
 
| [https://youtu.be/pdHTKNwIVv8 видео]
 
| [https://youtu.be/pdHTKNwIVv8 видео]
 
| Документация по API MediaWiki (движка Википедии): [https://www.mediawiki.org/wiki/API:Main_page основная на английском], [https://www.mediawiki.org/wiki/API:Main_page/ru на русском], [https://en.wikipedia.org/w/api.php автогенерированная на английском], [https://ru.wikipedia.org/w/api.php на русском], [https://nominatim.org/release-docs/latest/api/Overview/ документация по nominatim] (геокодинг), [https://github.com/clearspending/clearspending-examples/wiki clearspending] (данные о госзакупках)
 
| Документация по API MediaWiki (движка Википедии): [https://www.mediawiki.org/wiki/API:Main_page основная на английском], [https://www.mediawiki.org/wiki/API:Main_page/ru на русском], [https://en.wikipedia.org/w/api.php автогенерированная на английском], [https://ru.wikipedia.org/w/api.php на русском], [https://nominatim.org/release-docs/latest/api/Overview/ документация по nominatim] (геокодинг), [https://github.com/clearspending/clearspending-examples/wiki clearspending] (данные о госзакупках)

Версия 12:32, 28 марта 2021

  • Совместный бакалавриат ВШЭ-РЭШ, 2-й год обучения.
  • Курс ведёт Илья Щуров.

Материалы

# дата тема конспекты видео дополнительные материалы ДЗ
1 12 января Первое знакомство. Python как калькулятор конспект с комментариями (2015), ноутбук с занятия (2021) видео (2015), видео (2021) PT вычисления, визуализатор Python ДЗ№1
2 13 января Списки конспект с комментариями (2015) (мы прошли до раздела «цикл for», не включая его), split и join, сырой ноутбук с занятия (2021) видео (2015), видео (2021) PT списки
3 19 января Цикл for, списковые включения (list comprehensions) enumerate, zip (часть про словари можно пропустить), списковые включения (list comprehensions), сырой ноутбук с занятия видео PT цикл for ДЗ№2
4 20 января Проверка условий. Цикл while. конспект, ноутбук с занятия видео PT: проверка условий, цикл while
5 26 января Функции конспект, ноутбук с занятия видео PT: функции ДЗ№3
6 27 января Словари. Сортировка словари, сортировка, ноутбук с занятия видео PT: словари, Sorting howto (англ.)
7 2 февраля Лямбда функции, множества, строки. Работа с файлами ноутбук с занятия, работа с файлами видео ДЗ№4
8 3 февраля Объектно-ориентированное программирование ноутбук с занятия видео Классы в python - документация на английском
9 9 февраля ООП, наследование ноутбук с занятия видео Классы в python - документация на английском, твиттер-тред про Python (начало как раз про итераторы)
10 10 февраля numpy и немножко matplotlib конспект с комментариями про numpy, ноутбук с занятия видео numpy quickstart, pyplot tutorial, matplotlib gallery ДЗ№5
11 16 февраля Еще немного про numpy и математика в питоне ноутбук с занятия видео numpy quickstart, pyplot tutorial, matplotlib gallery
12 17 февраля Трехмерные графики, pandas конспект по pandas, ноутбук с занятия видео numpy broadcasting rules (англ.), pandas data structures ДЗ№6
13 24 февраля Продвинутый пандас ноутбук с занятия pandas data structures
14 2 марта Пандас и погода Конспект, ноутбук с занятия видео мультииндексы (англ.)
15 3 марта Веб-скрэппинг Конспект, ноутбук с занятия видео Оригинальная документация (англ.): requests BeautifulSoup.
16 9 марта Больше веб-скрэппинга, Selenium Конспект, ноутбук с занятия видео неофициальная документация по Python-Selenium (её проще читать, чем официальную).
17 10 марта REST API: XML & JSON Конспект про XML, конспект про JSON, ноутбук с занятия видео Документация по API MediaWiki (движка Википедии): основная на английском, на русском, автогенерированная на английском, на русском, документация по nominatim (геокодинг), clearspending (данные о госзакупках)

Дополнительные материалы

Программное обеспечение

Python

  • Anaconda.
  • Чтобы открыть ipynb-файл в Jupyter Notebook, проще всего его загрузить в рабочий каталог с помощью функции upload самого Jupyter Notebook. Аналогично, чтобы вытащить файл из Jupyter Notebook, можно использовать функцию Download → ipynb.