Наука о данных: различия между версиями
Перейти к навигации
Перейти к поиску
| (не показаны 22 промежуточные версии этого же участника) | |||
| Строка 48: | Строка 48: | ||
| 27 января | | 27 января | ||
| Словари. Сортировка | | Словари. Сортировка | ||
| − | | [https://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%205.ipynb#Словари словари], [http://nbviewer. | + | | [https://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%205.ipynb#Словари словари], [http://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%206.ipynb#Сортировка сортировка], [https://gist.github.com/c075adc6d6a2e9a94fca7afe968c7d6f ноутбук с занятия] |
| [https://youtu.be/NErqPQH--10 видео] | | [https://youtu.be/NErqPQH--10 видео] | ||
| {{PT}}: [http://pythontutor.ru/lessons/dicts/ словари], [https://docs.python.org/3/howto/sorting.html Sorting howto] (англ.) | | {{PT}}: [http://pythontutor.ru/lessons/dicts/ словари], [https://docs.python.org/3/howto/sorting.html Sorting howto] (англ.) | ||
| Строка 96: | Строка 96: | ||
| 17 февраля | | 17 февраля | ||
| Трехмерные графики, pandas | | Трехмерные графики, pandas | ||
| − | | [http://nbviewer. | + | | [http://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%2012.ipynb конспект по pandas], [https://gist.github.com/ischurov/e52ff4737d4e02e023f5885d71ffd543 ноутбук с занятия] |
| [https://youtu.be/KS0THVatE9U видео] | | [https://youtu.be/KS0THVatE9U видео] | ||
| [https://numpy.org/devdocs/user/theory.broadcasting.html numpy broadcasting rules] (англ.), [https://pandas.pydata.org/pandas-docs/stable/user_guide/dsintro.html pandas data structures] | | [https://numpy.org/devdocs/user/theory.broadcasting.html numpy broadcasting rules] (англ.), [https://pandas.pydata.org/pandas-docs/stable/user_guide/dsintro.html pandas data structures] | ||
| Строка 112: | Строка 112: | ||
| 2 марта | | 2 марта | ||
| Пандас и погода | | Пандас и погода | ||
| − | | [http://nbviewer. | + | | [http://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%2013.ipynb Конспект], [https://gist.github.com/ischurov/0d8ab940186ef8f4cd7499cb95fa1c19 ноутбук с занятия] |
| [https://youtu.be/V1-tYuzD_ls видео] | | [https://youtu.be/V1-tYuzD_ls видео] | ||
| [https://pandas.pydata.org/pandas-docs/stable/user_guide/advanced.html мультииндексы] (англ.) | | [https://pandas.pydata.org/pandas-docs/stable/user_guide/advanced.html мультииндексы] (англ.) | ||
| Строка 120: | Строка 120: | ||
| 3 марта | | 3 марта | ||
| Веб-скреппинг | | Веб-скреппинг | ||
| − | | [http://nbviewer. | + | | [http://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%208.ipynb Конспект], [https://gist.github.com/ischurov/1ffb0b98c9f1654aa7c3e0e437d886e6 ноутбук с занятия] |
| [https://youtu.be/z191CcHj76o видео] | | [https://youtu.be/z191CcHj76o видео] | ||
| Оригинальная документация (англ.): [http://docs.python-requests.org/en/latest/ requests] [http://www.crummy.com/software/BeautifulSoup/bs4/doc/ BeautifulSoup]. | | Оригинальная документация (англ.): [http://docs.python-requests.org/en/latest/ requests] [http://www.crummy.com/software/BeautifulSoup/bs4/doc/ BeautifulSoup]. | ||
| Строка 128: | Строка 128: | ||
| 9 марта | | 9 марта | ||
| Больше веб-скрэппинга, Selenium | | Больше веб-скрэппинга, Selenium | ||
| − | | [http://nbviewer. | + | | [http://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%2010.ipynb Конспект], [https://gist.github.com/ischurov/21f0ceaf17ccc43f984c7b0556d177dd ноутбук с занятия] |
| [https://youtu.be/ETQcIyZxWo8 видео] | | [https://youtu.be/ETQcIyZxWo8 видео] | ||
| [http://selenium-python.readthedocs.org/ неофициальная документация] по Python-Selenium (её проще читать, чем официальную). | | [http://selenium-python.readthedocs.org/ неофициальная документация] по Python-Selenium (её проще читать, чем официальную). | ||
| Строка 136: | Строка 136: | ||
| 10 марта | | 10 марта | ||
| REST API: XML & JSON | | REST API: XML & JSON | ||
| − | | [http://nbviewer. | + | | [http://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%209.ipynb Конспект про XML], [http://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%2010.ipynb конспект про JSON], [https://gist.github.com/ischurov/8a747307938bf76c0708f3b770f3126f ноутбук с занятия] |
| [https://youtu.be/pdHTKNwIVv8 видео] | | [https://youtu.be/pdHTKNwIVv8 видео] | ||
| Документация по API MediaWiki (движка Википедии): [https://www.mediawiki.org/wiki/API:Main_page основная на английском], [https://www.mediawiki.org/wiki/API:Main_page/ru на русском], [https://en.wikipedia.org/w/api.php автогенерированная на английском], [https://ru.wikipedia.org/w/api.php на русском], [https://nominatim.org/release-docs/latest/api/Overview/ документация по nominatim] (геокодинг), [https://github.com/clearspending/clearspending-examples/wiki clearspending] (данные о госзакупках) | | Документация по API MediaWiki (движка Википедии): [https://www.mediawiki.org/wiki/API:Main_page основная на английском], [https://www.mediawiki.org/wiki/API:Main_page/ru на русском], [https://en.wikipedia.org/w/api.php автогенерированная на английском], [https://ru.wikipedia.org/w/api.php на русском], [https://nominatim.org/release-docs/latest/api/Overview/ документация по nominatim] (геокодинг), [https://github.com/clearspending/clearspending-examples/wiki clearspending] (данные о госзакупках) | ||
| Строка 174: | Строка 174: | ||
|- | |- | ||
| 22 | | 22 | ||
| − | | 7 | + | | 7 апреля |
| SQL | | SQL | ||
| [https://gist.github.com/ischurov/a40be845fa91da6b0bb4a26209636180 ноутбук с занятия] | | [https://gist.github.com/ischurov/a40be845fa91da6b0bb4a26209636180 ноутбук с занятия] | ||
| − | | | + | | [https://youtu.be/RxYyQGWrDow видео] |
| + | | [https://www.w3schools.com/sql/ SQL Tutorial] (W3Schools) — я в основном следовал этому тьюториалу, [https://blog.jooq.org/2016/03/17/10-easy-steps-to-a-complete-understanding-of-sql/ о логике SQL], [https://blog.jooq.org/2016/12/09/a-beginners-guide-to-the-true-order-of-sql-operations/ о порядке операций] подробно, [http://www.sqlitetutorial.net SQLite Tutorial] | ||
| | | | ||
|- | |- | ||
| 23 | | 23 | ||
| − | | 13 | + | | 13 апреля |
| SQL, часть 2 | | SQL, часть 2 | ||
| [https://gist.github.com/ischurov/ebe633748900375348b301eb976d08b8 ноутбук с занятия] | | [https://gist.github.com/ischurov/ebe633748900375348b301eb976d08b8 ноутбук с занятия] | ||
| + | | [https://youtu.be/HvEBOBgITL0 видео] | ||
| | | | ||
| − | | | + | | [https://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nes-datascience2021/ps11/ps11.ipynb ДЗ№11] |
|- | |- | ||
| 24 | | 24 | ||
| − | | 14 | + | | 14 апреля |
| SQLAlchemy. Регулярные выражения | | SQLAlchemy. Регулярные выражения | ||
| [https://gist.github.com/ischurov/ad210f6f13a7b81168d2915d379c9c37 ноутбук с занятия] | | [https://gist.github.com/ischurov/ad210f6f13a7b81168d2915d379c9c37 ноутбук с занятия] | ||
| + | | [https://youtu.be/t4IBnI9viBs видео] | ||
| + | | [https://habr.com/ru/post/349860/ подробный текст про регулярки], [http://regex101.com визуальный отладчик регулярных выражений] | ||
| + | | | ||
| + | |- | ||
| + | | 25 | ||
| + | | 20 апреля | ||
| + | | Что такое машинное обучение | ||
| + | | [https://gist.github.com/380d90a1fb37e5adf3baded61deea651 ноутбук с занятия] | ||
| + | | [https://youtu.be/BHSvg7eBUJ8 видео] | ||
| + | | | ||
| + | | | ||
| + | |- | ||
| + | | 26 | ||
| + | | 21 апреля | ||
| + | | Электронные таблицы: продвинутое использование | ||
| + | | | ||
| + | | [https://youtu.be/y1agYkip1VE видео] | ||
| + | | | ||
| + | | | ||
| + | |- | ||
| + | | 27 | ||
| + | | 27 апреля | ||
| + | | Геоданные в Python: geopandas и его друзья | ||
| + | | [https://gist.github.com/85cae6e7ab14b3753fb764a42f82f9e3 ноутбук с занятия] | ||
| + | | [https://youtu.be/GBhvOxKB_xU видео] | ||
| + | | | ||
| + | | | ||
| + | |- | ||
| + | | 28 | ||
| + | | 28 апреля | ||
| + | | Геоданные в Python: продолжение (и немножко символьной математики) | ||
| + | | [https://gist.github.com/84506d7971babb0ed5df468fb8d8c8a2 ноутбук с занятия] | ||
| + | | [https://youtu.be/hd61tvkzx8E видео] | ||
| + | | | ||
| + | | [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nes-datascience2021/ps12/ps12.ipynb ДЗ№12] | ||
| + | |- | ||
| + | | 29 | ||
| + | | 11 мая | ||
| + | | Современный R: экосистема tidyverse | ||
| + | | [https://rpubs.com/ilyaschurov/intro-to-tidyverse-2021 ноутбук с занятия] | ||
| + | | [https://youtu.be/g9mx9LuXiGc видео] | ||
| + | | | ||
| + | | | ||
| + | |- | ||
| + | | 30 | ||
| + | | 12 мая | ||
| + | | Командная строка и unix shell | ||
| + | | [https://colab.research.google.com/drive/1oJdvDYHyXOI4zQonej9mMeTf-_b79_BH?usp=sharing ноутбук с занятия] | ||
| + | | [https://youtu.be/aGKBi9w4F0A видео] | ||
| + | | | ||
| + | | | ||
| + | |- | ||
| + | | 31 | ||
| + | | 18 мая | ||
| + | | Язык Julia: введение | ||
| + | | [https://gist.github.com/a1f77184963c582364247c3ad2791452 ноутбук с занятия] | ||
| + | | [https://youtu.be/YIf5csEDdEQ видео] | ||
| + | | | ||
| + | | | ||
| + | |- | ||
| + | | 32 | ||
| + | | 19 мая | ||
| + | | Язык Julia: продолжение | ||
| + | | [https://gist.github.com/d5d858a1759bf6c346e487384f426dee ноутбук с занятия] | ||
| + | | [https://youtu.be/_cSsGxrDrFc видео] | ||
| | | | ||
| | | | ||
| Строка 197: | Строка 264: | ||
== Дополнительные материалы == | == Дополнительные материалы == | ||
* [https://youtu.be/67JVwpnYx-A Видео консультации по R] (2020-01-21) | * [https://youtu.be/67JVwpnYx-A Видео консультации по R] (2020-01-21) | ||
| + | |||
| + | == Итоговый проект == | ||
| + | * [[/Итоговые проекты|Правила выполнения]] — срок сдачи 12 июня, 23:00. | ||
== Программное обеспечение == | == Программное обеспечение == | ||
Текущая версия на 21:37, 18 июня 2024
- Совместный бакалавриат ВШЭ-РЭШ, 2-й год обучения.
- Курс ведёт Илья Щуров.
Содержание
Материалы
| # | дата | тема | конспекты | видео | дополнительные материалы | ДЗ |
|---|---|---|---|---|---|---|
| 1 | 12 января | Первое знакомство. Python как калькулятор | конспект с комментариями (2015), ноутбук с занятия (2021) | видео (2015), видео (2021) | PT вычисления, визуализатор Python | ДЗ№1 |
| 2 | 13 января | Списки | конспект с комментариями (2015) (мы прошли до раздела «цикл for», не включая его), split и join, сырой ноутбук с занятия (2021) | видео (2015), видео (2021) | PT списки | |
| 3 | 19 января | Цикл for, списковые включения (list comprehensions)
|
enumerate, zip (часть про словари можно пропустить), списковые включения (list comprehensions), сырой ноутбук с занятия | видео | PT цикл for | ДЗ№2 |
| 4 | 20 января | Проверка условий. Цикл while.
|
конспект, ноутбук с занятия | видео | PT: проверка условий, цикл while | |
| 5 | 26 января | Функции | конспект, ноутбук с занятия | видео | PT: функции | ДЗ№3 |
| 6 | 27 января | Словари. Сортировка | словари, сортировка, ноутбук с занятия | видео | PT: словари, Sorting howto (англ.) | |
| 7 | 2 февраля | Лямбда функции, множества, строки. Работа с файлами | ноутбук с занятия, работа с файлами | видео | ДЗ№4 | |
| 8 | 3 февраля | Объектно-ориентированное программирование | ноутбук с занятия | видео | Классы в python - документация на английском | |
| 9 | 9 февраля | ООП, наследование | ноутбук с занятия | видео | Классы в python - документация на английском, твиттер-тред про Python (начало как раз про итераторы) | |
| 10 | 10 февраля | numpy |
конспект с комментариями про numpy, ноутбук с занятия | видео | numpy quickstart, pyplot tutorial, matplotlib gallery | ДЗ№5 |
| 11 | 16 февраля | Еще немного про numpy и математика в питоне | ноутбук с занятия | видео | numpy quickstart, pyplot tutorial, matplotlib gallery | |
| 12 | 17 февраля | Трехмерные графики, pandas | конспект по pandas, ноутбук с занятия | видео | numpy broadcasting rules (англ.), pandas data structures | ДЗ№6 |
| 13 | 24 февраля | Продвинутый пандас | ноутбук с занятия | pandas data structures | ДЗ№7 | |
| 14 | 2 марта | Пандас и погода | Конспект, ноутбук с занятия | видео | мультииндексы (англ.) | |
| 15 | 3 марта | Веб-скреппинг | Конспект, ноутбук с занятия | видео | Оригинальная документация (англ.): requests BeautifulSoup. | ДЗ№8 |
| 16 | 9 марта | Больше веб-скрэппинга, Selenium | Конспект, ноутбук с занятия | видео | неофициальная документация по Python-Selenium (её проще читать, чем официальную). | |
| 17 | 10 марта | REST API: XML & JSON | Конспект про XML, конспект про JSON, ноутбук с занятия | видео | Документация по API MediaWiki (движка Википедии): основная на английском, на русском, автогенерированная на английском, на русском, документация по nominatim (геокодинг), clearspending (данные о госзакупках) | ДЗ№9 |
| 18 | 16 марта | Библиотеки визуализации данных: matplotlib, seaborn, plotly. | ноутбук с занятия | видео | документация plotly, seaborn. | |
| 19 | 17 марта | Pycharm. Библиотека Streamlit | демо—приложение | видео | pandas-datareader, streamlit | |
| 20 | 23 марта | Github. Размещение веб-приложений в облаке Heroku. | видео | tutorial, которому мы (студенты прошлого года и, вероятно, вы тоже) следовали. | /ДЗ№10 Срок сдачи: 11 апреля, 23:00. | |
| 21 | 24 марта | Библиотека scrapy для продвинутого веб-скреппинга. Визуализация графов с помощью networkx и pyvis. | скрэппер, визуализатор графа | видео | ||
| 22 | 7 апреля | SQL | ноутбук с занятия | видео | SQL Tutorial (W3Schools) — я в основном следовал этому тьюториалу, о логике SQL, о порядке операций подробно, SQLite Tutorial | |
| 23 | 13 апреля | SQL, часть 2 | ноутбук с занятия | видео | ДЗ№11 | |
| 24 | 14 апреля | SQLAlchemy. Регулярные выражения | ноутбук с занятия | видео | подробный текст про регулярки, визуальный отладчик регулярных выражений | |
| 25 | 20 апреля | Что такое машинное обучение | ноутбук с занятия | видео | ||
| 26 | 21 апреля | Электронные таблицы: продвинутое использование | видео | |||
| 27 | 27 апреля | Геоданные в Python: geopandas и его друзья | ноутбук с занятия | видео | ||
| 28 | 28 апреля | Геоданные в Python: продолжение (и немножко символьной математики) | ноутбук с занятия | видео | ДЗ№12 | |
| 29 | 11 мая | Современный R: экосистема tidyverse | ноутбук с занятия | видео | ||
| 30 | 12 мая | Командная строка и unix shell | ноутбук с занятия | видео | ||
| 31 | 18 мая | Язык Julia: введение | ноутбук с занятия | видео | ||
| 32 | 19 мая | Язык Julia: продолжение | ноутбук с занятия | видео |
Дополнительные материалы
- Видео консультации по R (2020-01-21)
Итоговый проект
- Правила выполнения — срок сдачи 12 июня, 23:00.
Программное обеспечение
Python
- Anaconda.
- Чтобы открыть ipynb-файл в Jupyter Notebook, проще всего его загрузить в рабочий каталог с помощью функции upload самого Jupyter Notebook. Аналогично, чтобы вытащить файл из Jupyter Notebook, можно использовать функцию Download → ipynb.
