Наука о данных: различия между версиями

Материал из MathINFO
Перейти к навигации Перейти к поиску
(не показано 65 промежуточных версий 2 участников)
Строка 4: Строка 4:
 
{|class='wikitable'
 
{|class='wikitable'
 
|-
 
|-
! дата !! тема !! конспекты !! видео !! дополнительные материалы !! ДЗ
+
! # !! дата !! тема !! конспекты !! видео !! дополнительные материалы !! ДЗ
 
|-
 
|-
 +
| 1
 
| 12 января  
 
| 12 января  
 
| Первое знакомство. Python как калькулятор
 
| Первое знакомство. Python как калькулятор
Строка 13: Строка 14:
 
|rowspan=2| [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nes-datascience2021/ps01/ps01.ipynb ДЗ№1]
 
|rowspan=2| [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nes-datascience2021/ps01/ps01.ipynb ДЗ№1]
 
|-
 
|-
 +
| 2
 
| 13 января
 
| 13 января
 
| Списки
 
| Списки
Строка 19: Строка 21:
 
| {{PT}} [http://pythontutor.ru/lessons/lists/ списки]
 
| {{PT}} [http://pythontutor.ru/lessons/lists/ списки]
 
|-
 
|-
 +
| 3
 
| 19 января
 
| 19 января
 
| Цикл <code>for</code>, списковые включения (list comprehensions)
 
| Цикл <code>for</code>, списковые включения (list comprehensions)
Строка 26: Строка 29:
 
| [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nes-datascience2021/ps02/ps02.ipynb ДЗ№2]
 
| [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nes-datascience2021/ps02/ps02.ipynb ДЗ№2]
 
|-
 
|-
 +
| 4
 
| 20 января
 
| 20 января
 
| Проверка условий. Цикл <code>while</code>.
 
| Проверка условий. Цикл <code>while</code>.
| [https://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%203.ipynb#Проверка-условий Конспект], [https://gist.github.com/64f2bc8136d64c99cb997b71fb4f0032 ноутбук с занятия]
+
| [https://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%203.ipynb#Проверка-условий конспект], [https://gist.github.com/64f2bc8136d64c99cb997b71fb4f0032 ноутбук с занятия]
 
| [https://youtu.be/sSOanabvj1E видео]
 
| [https://youtu.be/sSOanabvj1E видео]
 
| {{PT}}: [http://pythontutor.ru/lessons/ifelse/ проверка условий], [http://pythontutor.ru/lessons/while/ цикл while]
 
| {{PT}}: [http://pythontutor.ru/lessons/ifelse/ проверка условий], [http://pythontutor.ru/lessons/while/ цикл while]
 +
|
 +
|-
 +
| 5
 +
| 26 января
 +
| Функции
 +
| [https://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%204.ipynb конспект], [https://gist.github.com/ischurov/9158da45169e88640bf3541b73f2ef86 ноутбук с занятия]
 +
| [https://youtu.be/oT5r7CEbfj4 видео]
 +
| {{PT}}: [http://pythontutor.ru/lessons/functions/ функции]
 +
| [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nes-datascience2021/ps03/ps03.ipynb ДЗ№3]
 +
|-
 +
| 6
 +
| 27 января
 +
| Словари. Сортировка
 +
| [https://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%205.ipynb#Словари словари], [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%206.ipynb#Сортировка сортировка], [https://gist.github.com/c075adc6d6a2e9a94fca7afe968c7d6f ноутбук с занятия]
 +
| [https://youtu.be/NErqPQH--10 видео]
 +
| {{PT}}: [http://pythontutor.ru/lessons/dicts/ словари], [https://docs.python.org/3/howto/sorting.html Sorting howto] (англ.)
 +
|
 +
|-
 +
| 7
 +
| 2 февраля
 +
| Лямбда функции, множества, строки. Работа с файлами
 +
| [https://gist.github.com/ischurov/6ea00f3e6db516e0f1d164f107a1d865 ноутбук с занятия], [http://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%207.ipynb#%D0%A4%D0%B0%D0%B9%D0%BB%D0%BE%D0%B2%D1%8B%D0%B9-%D0%B2%D0%B2%D0%BE%D0%B4-%D0%B2%D1%8B%D0%B2%D0%BE%D0%B4 работа с файлами]
 +
| [https://youtu.be/6ptV9zIgrZM видео]
 +
|
 +
| [https://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nes-datascience2021/ps04/ps04.ipynb ДЗ№4]
 +
|-
 +
| 8
 +
| 3 февраля
 +
| Объектно-ориентированное программирование
 +
| [https://gist.github.com/ischurov/72f5dd2e89b9e16e3f3b4bf43ae2fb94 ноутбук с занятия]
 +
| [https://youtu.be/kFo89tZlgS8 видео]
 +
| [https://docs.python.org/3/tutorial/classes.html Классы в python] - документация на английском
 +
|
 +
|-
 +
| 9
 +
| 9 февраля
 +
| ООП, наследование
 +
| [https://gist.github.com/ischurov/a19c494a50bfc5bb343957b963ce47f4 ноутбук с занятия]
 +
| [https://youtu.be/ke5Wb4PoHa0 видео]
 +
| [https://docs.python.org/3/tutorial/classes.html Классы в python] - документация на английском, [https://twitter.com/ilyaschurov/status/945727980688625665 твиттер-тред про Python] (начало как раз про итераторы)
 +
|
 +
|-
 +
| 10
 +
| 10 февраля
 +
| <code>numpy<code> и немножко <code>matplotlib</code>
 +
| [http://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%2011.ipynb конспект с комментариями про numpy], [https://gist.github.com/ischurov/ea55624a298959ae91f7ca13e3283a66 ноутбук с занятия]
 +
| [https://youtu.be/zmOVO3igFs0 видео]
 +
| [https://numpy.org/doc/stable/user/quickstart.html numpy quickstart], [http://matplotlib.org/users/pyplot_tutorial.html pyplot tutorial], [http://matplotlib.org/gallery.html matplotlib gallery]
 +
| [https://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nes-datascience2021/ps05/ps05.ipynb ДЗ№5]
 +
|-
 +
| 11
 +
| 16 февраля
 +
| Еще немного про numpy и математика в питоне
 +
| [https://gist.github.com/ischurov/da66b7055a4edbf58369758a313c19b4 ноутбук с занятия]
 +
| [https://youtu.be/U_yKQ3WGJrw видео]
 +
| [https://numpy.org/doc/stable/user/quickstart.html numpy quickstart], [http://matplotlib.org/users/pyplot_tutorial.html pyplot tutorial], [http://matplotlib.org/gallery.html matplotlib gallery]
 +
|
 +
|-
 +
| 12
 +
| 17 февраля
 +
| Трехмерные графики, pandas
 +
| [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%2012.ipynb конспект по pandas], [https://gist.github.com/ischurov/e52ff4737d4e02e023f5885d71ffd543 ноутбук с занятия]
 +
| [https://youtu.be/KS0THVatE9U видео]
 +
| [https://numpy.org/devdocs/user/theory.broadcasting.html numpy broadcasting rules] (англ.), [https://pandas.pydata.org/pandas-docs/stable/user_guide/dsintro.html pandas data structures]
 +
| [https://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nes-datascience2021/ps06/ps06.ipynb ДЗ№6]
 +
|-
 +
| 13
 +
| 24 февраля
 +
| Продвинутый пандас
 +
| [https://gist.github.com/ischurov/99d194ee40b53d2e0ce8c953baae6e19 ноутбук с занятия]
 +
|
 +
| [https://pandas.pydata.org/pandas-docs/stable/user_guide/dsintro.html pandas data structures]
 +
| [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nes-datascience2021/ps07/ps07.ipynb ДЗ№7]
 +
|-
 +
| 14
 +
| 2 марта
 +
| Пандас и погода
 +
| [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%2013.ipynb Конспект], [https://gist.github.com/ischurov/0d8ab940186ef8f4cd7499cb95fa1c19 ноутбук с занятия]
 +
| [https://youtu.be/V1-tYuzD_ls видео]
 +
| [https://pandas.pydata.org/pandas-docs/stable/user_guide/advanced.html мультииндексы] (англ.)
 +
|
 +
|-
 +
| 15
 +
| 3 марта
 +
| Веб-скреппинг
 +
| [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%208.ipynb Конспект], [https://gist.github.com/ischurov/1ffb0b98c9f1654aa7c3e0e437d886e6 ноутбук с занятия]
 +
| [https://youtu.be/z191CcHj76o видео]
 +
| Оригинальная документация (англ.): [http://docs.python-requests.org/en/latest/ requests] [http://www.crummy.com/software/BeautifulSoup/bs4/doc/ BeautifulSoup].
 +
| [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nes-datascience2021/ps08/ps08.ipynb ДЗ№8]
 +
|-
 +
| 16
 +
| 9 марта
 +
| Больше веб-скрэппинга, Selenium
 +
| [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%2010.ipynb Конспект], [https://gist.github.com/ischurov/21f0ceaf17ccc43f984c7b0556d177dd ноутбук с занятия]
 +
| [https://youtu.be/ETQcIyZxWo8 видео]
 +
| [http://selenium-python.readthedocs.org/ неофициальная документация] по Python-Selenium (её проще читать, чем официальную).
 +
|
 +
|-
 +
| 17
 +
| 10 марта
 +
| REST API: XML & JSON
 +
| [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%209.ipynb Конспект про XML], [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%2010.ipynb конспект про JSON], [https://gist.github.com/ischurov/8a747307938bf76c0708f3b770f3126f ноутбук с занятия]
 +
| [https://youtu.be/pdHTKNwIVv8 видео]
 +
| Документация по API MediaWiki (движка Википедии): [https://www.mediawiki.org/wiki/API:Main_page основная на английском], [https://www.mediawiki.org/wiki/API:Main_page/ru на русском], [https://en.wikipedia.org/w/api.php автогенерированная на английском], [https://ru.wikipedia.org/w/api.php на русском], [https://nominatim.org/release-docs/latest/api/Overview/ документация по nominatim] (геокодинг), [https://github.com/clearspending/clearspending-examples/wiki clearspending] (данные о госзакупках)
 +
| [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nes-datascience2021/ps09/ps09.ipynb ДЗ№9]
 +
|-
 +
| 18
 +
| 16 марта
 +
| Библиотеки визуализации данных: matplotlib, seaborn, plotly.
 +
| [https://gist.github.com/55942ee4ed7269c32b50af8eccfc8a06 ноутбук с занятия]
 +
| [https://youtu.be/PY5NQr_awU4 видео]
 +
| [https://plotly.com/python/ документация plotly], [https://seaborn.pydata.org seaborn].
 +
|
 +
|-
 +
| 19
 +
| 17 марта
 +
| Pycharm. Библиотека Streamlit
 +
| [https://github.com/ischurov/streamlit-demo-2021 демо—приложение]
 +
| [https://youtu.be/QGfdMW1RPv8 видео]
 +
| [https://pandas-datareader.readthedocs.io/en/latest/ pandas-datareader], [https://docs.streamlit.io streamlit]
 +
|
 +
|-
 +
| 20
 +
| 23 марта
 +
| Github. Размещение веб-приложений в облаке Heroku.
 +
|
 +
| [https://youtu.be/t-mw_efIG5w видео]
 +
| [https://gilberttanner.com/blog/deploying-your-streamlit-dashboard-with-heroku tutorial], которому мы (студенты прошлого года и, вероятно, вы тоже) следовали.
 +
| [[/ДЗ№10]] Срок сдачи: 11 апреля, 23:00.
 +
|-
 +
| 21
 +
| 24 марта
 +
| Библиотека scrapy для продвинутого веб-скреппинга. Визуализация графов с помощью networkx и pyvis.
 +
| [https://gist.github.com/ischurov/e68761c1034fed90145a5e39ccd45ebb скрэппер], [https://gist.github.com/ischurov/83c5568ec850482efa8f68fe5f2688eb визуализатор графа]
 +
| [https://youtu.be/Lutkyjc7rWc видео]
 +
|
 +
|
 +
|-
 +
| 22
 +
| 7 апреля
 +
| SQL
 +
| [https://gist.github.com/ischurov/a40be845fa91da6b0bb4a26209636180 ноутбук с занятия]
 +
| [https://youtu.be/RxYyQGWrDow видео]
 +
| [https://www.w3schools.com/sql/ SQL Tutorial] (W3Schools) — я в основном следовал этому тьюториалу, [https://blog.jooq.org/2016/03/17/10-easy-steps-to-a-complete-understanding-of-sql/ о логике SQL], [https://blog.jooq.org/2016/12/09/a-beginners-guide-to-the-true-order-of-sql-operations/ о порядке операций] подробно, [http://www.sqlitetutorial.net SQLite Tutorial]
 +
|
 +
|-
 +
| 23
 +
| 13 апреля
 +
| SQL, часть 2
 +
| [https://gist.github.com/ischurov/ebe633748900375348b301eb976d08b8 ноутбук с занятия]
 +
| [https://youtu.be/HvEBOBgITL0 видео]
 +
|
 +
| [https://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nes-datascience2021/ps11/ps11.ipynb ДЗ№11]
 +
|-
 +
| 24
 +
| 14 апреля
 +
| SQLAlchemy. Регулярные выражения
 +
| [https://gist.github.com/ischurov/ad210f6f13a7b81168d2915d379c9c37 ноутбук с занятия]
 +
| [https://youtu.be/t4IBnI9viBs видео]
 +
| [https://habr.com/ru/post/349860/ подробный текст про регулярки], [http://regex101.com визуальный отладчик регулярных выражений]
 +
|
 +
|-
 +
| 25
 +
| 20 апреля
 +
| Что такое машинное обучение
 +
| [https://gist.github.com/380d90a1fb37e5adf3baded61deea651 ноутбук с занятия]
 +
| [https://youtu.be/BHSvg7eBUJ8 видео]
 +
|
 +
|
 +
|-
 +
| 26
 +
| 21 апреля
 +
| Электронные таблицы: продвинутое использование
 +
|
 +
| [https://youtu.be/y1agYkip1VE видео]
 +
|
 +
|
 +
|-
 +
| 27
 +
| 27 апреля
 +
| Геоданные в Python: geopandas и его друзья
 +
| [https://gist.github.com/85cae6e7ab14b3753fb764a42f82f9e3 ноутбук с занятия]
 +
| [https://youtu.be/GBhvOxKB_xU видео]
 +
|
 +
|
 +
|-
 +
| 28
 +
| 28 апреля
 +
| Геоданные в Python: продолжение (и немножко символьной математики)
 +
| [https://gist.github.com/84506d7971babb0ed5df468fb8d8c8a2 ноутбук с занятия]
 +
| [https://youtu.be/hd61tvkzx8E видео]
 +
|
 +
| [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nes-datascience2021/ps12/ps12.ipynb ДЗ№12]
 +
|-
 +
| 29
 +
| 11 мая
 +
| Современный R: экосистема tidyverse
 +
| [https://rpubs.com/ilyaschurov/intro-to-tidyverse-2021 ноутбук с занятия]
 +
| [https://youtu.be/g9mx9LuXiGc видео]
 +
|
 +
|
 +
|-
 +
| 30
 +
| 12 мая
 +
| Командная строка и unix shell
 +
| [https://colab.research.google.com/drive/1oJdvDYHyXOI4zQonej9mMeTf-_b79_BH?usp=sharing ноутбук с занятия]
 +
| [https://youtu.be/aGKBi9w4F0A видео]
 +
|
 +
|
 +
|-
 +
| 31
 +
| 18 мая
 +
| Язык Julia: введение
 +
| [https://gist.github.com/a1f77184963c582364247c3ad2791452 ноутбук с занятия]
 +
| [https://youtu.be/YIf5csEDdEQ видео]
 +
|
 +
|
 +
|-
 +
| 32
 +
| 19 мая
 +
| Язык Julia: продолжение
 +
| [https://gist.github.com/d5d858a1759bf6c346e487384f426dee ноутбук с занятия]
 +
| [https://youtu.be/_cSsGxrDrFc видео]
 +
|
 
|
 
|
 
|}
 
|}
Строка 36: Строка 264:
 
== Дополнительные материалы ==
 
== Дополнительные материалы ==
 
* [https://youtu.be/67JVwpnYx-A Видео консультации по R] (2020-01-21)
 
* [https://youtu.be/67JVwpnYx-A Видео консультации по R] (2020-01-21)
 +
 +
== Итоговый проект ==
 +
* [[/Итоговые проекты|Правила выполнения]] — срок сдачи 12 июня, 23:00.
  
 
== Программное обеспечение ==  
 
== Программное обеспечение ==  

Версия 16:27, 8 июня 2021

  • Совместный бакалавриат ВШЭ-РЭШ, 2-й год обучения.
  • Курс ведёт Илья Щуров.

Материалы

# дата тема конспекты видео дополнительные материалы ДЗ
1 12 января Первое знакомство. Python как калькулятор конспект с комментариями (2015), ноутбук с занятия (2021) видео (2015), видео (2021) PT вычисления, визуализатор Python ДЗ№1
2 13 января Списки конспект с комментариями (2015) (мы прошли до раздела «цикл for», не включая его), split и join, сырой ноутбук с занятия (2021) видео (2015), видео (2021) PT списки
3 19 января Цикл for, списковые включения (list comprehensions) enumerate, zip (часть про словари можно пропустить), списковые включения (list comprehensions), сырой ноутбук с занятия видео PT цикл for ДЗ№2
4 20 января Проверка условий. Цикл while. конспект, ноутбук с занятия видео PT: проверка условий, цикл while
5 26 января Функции конспект, ноутбук с занятия видео PT: функции ДЗ№3
6 27 января Словари. Сортировка словари, сортировка, ноутбук с занятия видео PT: словари, Sorting howto (англ.)
7 2 февраля Лямбда функции, множества, строки. Работа с файлами ноутбук с занятия, работа с файлами видео ДЗ№4
8 3 февраля Объектно-ориентированное программирование ноутбук с занятия видео Классы в python - документация на английском
9 9 февраля ООП, наследование ноутбук с занятия видео Классы в python - документация на английском, твиттер-тред про Python (начало как раз про итераторы)
10 10 февраля numpy и немножко matplotlib конспект с комментариями про numpy, ноутбук с занятия видео numpy quickstart, pyplot tutorial, matplotlib gallery ДЗ№5
11 16 февраля Еще немного про numpy и математика в питоне ноутбук с занятия видео numpy quickstart, pyplot tutorial, matplotlib gallery
12 17 февраля Трехмерные графики, pandas конспект по pandas, ноутбук с занятия видео numpy broadcasting rules (англ.), pandas data structures ДЗ№6
13 24 февраля Продвинутый пандас ноутбук с занятия pandas data structures ДЗ№7
14 2 марта Пандас и погода Конспект, ноутбук с занятия видео мультииндексы (англ.)
15 3 марта Веб-скреппинг Конспект, ноутбук с занятия видео Оригинальная документация (англ.): requests BeautifulSoup. ДЗ№8
16 9 марта Больше веб-скрэппинга, Selenium Конспект, ноутбук с занятия видео неофициальная документация по Python-Selenium (её проще читать, чем официальную).
17 10 марта REST API: XML & JSON Конспект про XML, конспект про JSON, ноутбук с занятия видео Документация по API MediaWiki (движка Википедии): основная на английском, на русском, автогенерированная на английском, на русском, документация по nominatim (геокодинг), clearspending (данные о госзакупках) ДЗ№9
18 16 марта Библиотеки визуализации данных: matplotlib, seaborn, plotly. ноутбук с занятия видео документация plotly, seaborn.
19 17 марта Pycharm. Библиотека Streamlit демо—приложение видео pandas-datareader, streamlit
20 23 марта Github. Размещение веб-приложений в облаке Heroku. видео tutorial, которому мы (студенты прошлого года и, вероятно, вы тоже) следовали. /ДЗ№10 Срок сдачи: 11 апреля, 23:00.
21 24 марта Библиотека scrapy для продвинутого веб-скреппинга. Визуализация графов с помощью networkx и pyvis. скрэппер, визуализатор графа видео
22 7 апреля SQL ноутбук с занятия видео SQL Tutorial (W3Schools) — я в основном следовал этому тьюториалу, о логике SQL, о порядке операций подробно, SQLite Tutorial
23 13 апреля SQL, часть 2 ноутбук с занятия видео ДЗ№11
24 14 апреля SQLAlchemy. Регулярные выражения ноутбук с занятия видео подробный текст про регулярки, визуальный отладчик регулярных выражений
25 20 апреля Что такое машинное обучение ноутбук с занятия видео
26 21 апреля Электронные таблицы: продвинутое использование видео
27 27 апреля Геоданные в Python: geopandas и его друзья ноутбук с занятия видео
28 28 апреля Геоданные в Python: продолжение (и немножко символьной математики) ноутбук с занятия видео ДЗ№12
29 11 мая Современный R: экосистема tidyverse ноутбук с занятия видео
30 12 мая Командная строка и unix shell ноутбук с занятия видео
31 18 мая Язык Julia: введение ноутбук с занятия видео
32 19 мая Язык Julia: продолжение ноутбук с занятия видео

Дополнительные материалы

Итоговый проект

Программное обеспечение

Python

  • Anaconda.
  • Чтобы открыть ipynb-файл в Jupyter Notebook, проще всего его загрузить в рабочий каталог с помощью функции upload самого Jupyter Notebook. Аналогично, чтобы вытащить файл из Jupyter Notebook, можно использовать функцию Download → ipynb.