Наука о данных: различия между версиями
Перейти к навигации
Перейти к поиску
Строка 107: | Строка 107: | ||
| | | | ||
| [https://pandas.pydata.org/pandas-docs/stable/user_guide/dsintro.html pandas data structures] | | [https://pandas.pydata.org/pandas-docs/stable/user_guide/dsintro.html pandas data structures] | ||
− | | | + | | [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nes-datascience2021/ps07/ps07.ipynb ДЗ№7] |
|- | |- | ||
| 14 | | 14 | ||
Строка 119: | Строка 119: | ||
| 15 | | 15 | ||
| 3 марта | | 3 марта | ||
− | | Веб- | + | | Веб-скреппинг |
| [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%208.ipynb Конспект], [https://gist.github.com/ischurov/1ffb0b98c9f1654aa7c3e0e437d886e6 ноутбук с занятия] | | [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%208.ipynb Конспект], [https://gist.github.com/ischurov/1ffb0b98c9f1654aa7c3e0e437d886e6 ноутбук с занятия] | ||
| [https://youtu.be/z191CcHj76o видео] | | [https://youtu.be/z191CcHj76o видео] | ||
| Оригинальная документация (англ.): [http://docs.python-requests.org/en/latest/ requests] [http://www.crummy.com/software/BeautifulSoup/bs4/doc/ BeautifulSoup]. | | Оригинальная документация (англ.): [http://docs.python-requests.org/en/latest/ requests] [http://www.crummy.com/software/BeautifulSoup/bs4/doc/ BeautifulSoup]. | ||
− | | | + | | [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nes-datascience2021/ps08/ps08.ipynb ДЗ№8] |
|- | |- | ||
| 16 | | 16 | ||
Строка 139: | Строка 139: | ||
| [https://youtu.be/pdHTKNwIVv8 видео] | | [https://youtu.be/pdHTKNwIVv8 видео] | ||
| Документация по API MediaWiki (движка Википедии): [https://www.mediawiki.org/wiki/API:Main_page основная на английском], [https://www.mediawiki.org/wiki/API:Main_page/ru на русском], [https://en.wikipedia.org/w/api.php автогенерированная на английском], [https://ru.wikipedia.org/w/api.php на русском], [https://nominatim.org/release-docs/latest/api/Overview/ документация по nominatim] (геокодинг), [https://github.com/clearspending/clearspending-examples/wiki clearspending] (данные о госзакупках) | | Документация по API MediaWiki (движка Википедии): [https://www.mediawiki.org/wiki/API:Main_page основная на английском], [https://www.mediawiki.org/wiki/API:Main_page/ru на русском], [https://en.wikipedia.org/w/api.php автогенерированная на английском], [https://ru.wikipedia.org/w/api.php на русском], [https://nominatim.org/release-docs/latest/api/Overview/ документация по nominatim] (геокодинг), [https://github.com/clearspending/clearspending-examples/wiki clearspending] (данные о госзакупках) | ||
− | | | + | | [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nes-datascience2021/ps09/ps09.ipynb ДЗ№9] |
|- | |- | ||
| 18 | | 18 |
Версия 12:40, 28 марта 2021
- Совместный бакалавриат ВШЭ-РЭШ, 2-й год обучения.
- Курс ведёт Илья Щуров.
Материалы
# | дата | тема | конспекты | видео | дополнительные материалы | ДЗ |
---|---|---|---|---|---|---|
1 | 12 января | Первое знакомство. Python как калькулятор | конспект с комментариями (2015), ноутбук с занятия (2021) | видео (2015), видео (2021) | PT вычисления, визуализатор Python | ДЗ№1 |
2 | 13 января | Списки | конспект с комментариями (2015) (мы прошли до раздела «цикл for», не включая его), split и join, сырой ноутбук с занятия (2021) | видео (2015), видео (2021) | PT списки | |
3 | 19 января | Цикл for , списковые включения (list comprehensions)
|
enumerate, zip (часть про словари можно пропустить), списковые включения (list comprehensions), сырой ноутбук с занятия | видео | PT цикл for | ДЗ№2 |
4 | 20 января | Проверка условий. Цикл while .
|
конспект, ноутбук с занятия | видео | PT: проверка условий, цикл while | |
5 | 26 января | Функции | конспект, ноутбук с занятия | видео | PT: функции | ДЗ№3 |
6 | 27 января | Словари. Сортировка | словари, сортировка, ноутбук с занятия | видео | PT: словари, Sorting howto (англ.) | |
7 | 2 февраля | Лямбда функции, множества, строки. Работа с файлами | ноутбук с занятия, работа с файлами | видео | ДЗ№4 | |
8 | 3 февраля | Объектно-ориентированное программирование | ноутбук с занятия | видео | Классы в python - документация на английском | |
9 | 9 февраля | ООП, наследование | ноутбук с занятия | видео | Классы в python - документация на английском, твиттер-тред про Python (начало как раз про итераторы) | |
10 | 10 февраля | numpy |
конспект с комментариями про numpy, ноутбук с занятия | видео | numpy quickstart, pyplot tutorial, matplotlib gallery | ДЗ№5 |
11 | 16 февраля | Еще немного про numpy и математика в питоне | ноутбук с занятия | видео | numpy quickstart, pyplot tutorial, matplotlib gallery | |
12 | 17 февраля | Трехмерные графики, pandas | конспект по pandas, ноутбук с занятия | видео | numpy broadcasting rules (англ.), pandas data structures | ДЗ№6 |
13 | 24 февраля | Продвинутый пандас | ноутбук с занятия | pandas data structures | ДЗ№7 | |
14 | 2 марта | Пандас и погода | Конспект, ноутбук с занятия | видео | мультииндексы (англ.) | |
15 | 3 марта | Веб-скреппинг | Конспект, ноутбук с занятия | видео | Оригинальная документация (англ.): requests BeautifulSoup. | ДЗ№8 |
16 | 9 марта | Больше веб-скрэппинга, Selenium | Конспект, ноутбук с занятия | видео | неофициальная документация по Python-Selenium (её проще читать, чем официальную). | |
17 | 10 марта | REST API: XML & JSON | Конспект про XML, конспект про JSON, ноутбук с занятия | видео | Документация по API MediaWiki (движка Википедии): основная на английском, на русском, автогенерированная на английском, на русском, документация по nominatim (геокодинг), clearspending (данные о госзакупках) | ДЗ№9 |
18 | 16 марта | Библиотеки визуализации данных: matplotlib, seaborn, plotly. | ||||
19 | 17 марта | Pycharm. Библиотека Streamlit | ||||
20 | 23 марта | Github. Размещение веб-приложений в облаке Heroku. | ||||
21 | 24 марта | Библиотека scrapy для продвинутого веб-скреппинга. Визуализация графов с помощью networkx и pyvis. |
Дополнительные материалы
- Видео консультации по R (2020-01-21)
Программное обеспечение
Python
- Anaconda.
- Чтобы открыть ipynb-файл в Jupyter Notebook, проще всего его загрузить в рабочий каталог с помощью функции upload самого Jupyter Notebook. Аналогично, чтобы вытащить файл из Jupyter Notebook, можно использовать функцию Download → ipynb.