Наука о данных: различия между версиями
Перейти к навигации
Перейти к поиску
| Строка 106: | Строка 106: | ||
| [https://nbviewer.jupyter.org/gist/ischurov/89f86ed01822ea9504ad234688218601 сырой ноутбук с занятия] | | [https://nbviewer.jupyter.org/gist/ischurov/89f86ed01822ea9504ad234688218601 сырой ноутбук с занятия] | ||
| | | | ||
| + | | | ||
| + | |- | ||
| + | | 10 марта | ||
| + | | Ещё больше веб-скреппинга: RoboBrowser. Исключение (exceptions) | ||
| + | | [https://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%2010.ipynb#Эмуляция-действий-с-браузером Конспект по RoboBrowser], [https://nbviewer.jupyter.org/gist/ischurov/adde97c4a1bfe7d3a565d03b5ddf8fa9 сырой ноутбук с занятия] | ||
| + | | [https://youtu.be/tC618tbA5Yk?t=674 видео] | ||
| + | | [http://robobrowser.readthedocs.org/en/latest/ RoboBrowser] | ||
| + | | | ||
| + | |- | ||
| + | | 13 марта | ||
| + | | И снова веб-скреппинг: Selenium. | ||
| + | | [https://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%2010.ipynb#Selenium Конспект по Selenium], [https://nbviewer.jupyter.org/gist/ischurov/4f8e063e880b93f5f7f49a601ab2da28 сырой ноутбук с занятия] | ||
| + | | [https://youtu.be/tC618tbA5Yk?t=1631 видео] | ||
| + | | [http://selenium-python.readthedocs.org/ неофициальная документация] по Python-Selenium (её проще читать, чем официальную). | ||
| + | | | ||
| + | |- | ||
| + | | 20 марта | ||
| + | | Работа с REST API: XML и JSON | ||
| + | | [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%209.ipynb Конспект про XML], [[http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%2010.ipynb Конспект про JSON] (на занятии рассматривались другие примеры API, но логика такая же), [https://gist.github.com/a4aabce87d70ff5e3de1b646d0791a37 сырой ноутбук с занятия] | ||
| + | | [http://www.youtube.com/watch?v=5aelkl2HAow видео про XML], [http://www.youtube.com/watch?v=tC618tbA5Yk видео про JSON] | ||
| + | | Документация по API MediaWiki (движка Википедии): [https://www.mediawiki.org/wiki/API:Main_page основная на английском], [https://www.mediawiki.org/wiki/API:Main_page/ru на русском], [https://en.wikipedia.org/w/api.php автогенерированная на английском], [https://ru.wikipedia.org/w/api.php на русском], [https://nominatim.org/release-docs/latest/api/Overview/ документация по nominatim] (геокодинг), [https://github.com/clearspending/clearspending-examples/wiki clearspending] (данные о госзакупках) | ||
| + | | [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nes-datascience2020/ps08/ps08.ipynb ДЗ№8] | ||
| + | |- | ||
| + | | 24 марта | ||
| + | | Библиотека <code>sympy</code> (символьная математика в Python), рисование картинок с помощью plotly | ||
| + | | [https://nbviewer.jupyter.org/gist/ischurov/2bcdd8887bd8e773093fe4fccd82b254 сырой ноутбук про sympy], [https://nbviewer.jupyter.org/gist/ischurov/9861bd65ea10ff08f4b1574516a752e4 сырой ноутбук про plotly] | ||
| + | | | ||
| + | | [https://docs.sympy.org/latest/index.html документация sympy], [https://plotly.com/python/ документация plotly], [https://nbviewer.jupyter.org/github/ischurov/odebook/blob/master/mathandpython.ipynb Кратчайшее введение в математику в Python] | ||
| | | | ||
|} | |} | ||
Версия 23:38, 25 марта 2020
- Курс ведёт Илья Щуров.
Материалы
| дата | тема | конспекты | видео | дополнительные материалы | ДЗ |
|---|---|---|---|---|---|
| 10 января | Первое знакомство. Python как калькулятор | конспект с комментариями, сырой ноутбук с занятия (без комментариев) | видео | PT вычисления, визуализатор Python | ДЗ№1 |
| 14 января | Списки | конспект с комментариями (мы прошли до раздела «Присвоение и копирование списков», не включая его), split и join, сырой ноутбук с занятия | видео | PT списки | |
| 21 января | Списки и цикл for
|
конспект с комментариями (начиная с раздела « Присвоение и копирование списков»), enumerate, zip (часть про словари можно пропустить), сырой ноутбук с занятия. | видео | PT цикл for | ДЗ№2 |
| 24 января | Проверка условий. Цикл while. | проверка условий, сырой ноутбук с занятия | проверка условий | PT: проверка условий, цикл while | |
| 28 января | Функции. Словари | функции, словари, сырой ноутбук с занятия | функции, словари | PT: функции, словари | ДЗ№3 |
| 31 января | Ещё о словарях. Множества. Списковые включения (и не только). Сортировка | словари и списковые включения, множества, сортировка, сырой ноутбук с занятия | словари, сортировка | Sorting howto (англ.) | |
| 4 февраля | Ещё о сортировке. kwargs. lambda-функции. Чтение файлов
|
работа с файлами, сырой ноутбук с занятия | файлы | ||
| 7 февраля | Запись файлов. Объектно-ориентированное программирование | работа с файлами, сырой ноутбук с занятия | файлы | классы в Python (англ., официальная документация) | ДЗ№4 |
| 11 февраля | Наследование. Итераторы и генераторы | сырой конспект | классы в Python (англ., официальная документация), твиттер-тред про Python (начало как раз про итераторы) | ||
| 14 февраля | Библиотека numpy и немножко matplotlib
|
конспект с комментариями про numpy, сырой ноутбук | numpy | numpy quickstart, pyplot tutorial, matplotlib gallery | ДЗ№5 |
| 18 февраля | Ещё о numpy и немножко pandas
|
сырой ноутбук с занятия | numpy broadcasting rules (англ.), pandas data structures (мы обсуждали pd.Series)
|
||
| 21 февраля | Библиотека pandas
|
pandas и датафреймы: конспект по базовым возможностям pandas, сырой ноутбук с занятия | pandas | 10-минутное введение (обзор возможностей), pandas-cookbook, индексация и выбор данных (подробно) | ДЗ№6 |
| 28 февраля | Ещё о pandas (и немного о глобальном потеплении). | конспект, сырой ноутбук с занятия | Официальная документация pandas: мультииндексы | ДЗ№7 | |
| 3 марта | Введение в веб-скреппинг, библиотека BeautifulSoup (bs4)
|
конспект, сырой ноутбук с занятия | видео | Оригинальная документация (англ.): requests BeautifulSoup. | |
| 6 марта | Больше веб-скреппинга | сырой ноутбук с занятия | |||
| 10 марта | Ещё больше веб-скреппинга: RoboBrowser. Исключение (exceptions) | Конспект по RoboBrowser, сырой ноутбук с занятия | видео | RoboBrowser | |
| 13 марта | И снова веб-скреппинг: Selenium. | Конспект по Selenium, сырой ноутбук с занятия | видео | неофициальная документация по Python-Selenium (её проще читать, чем официальную). | |
| 20 марта | Работа с REST API: XML и JSON | Конспект про XML, [Конспект про JSON (на занятии рассматривались другие примеры API, но логика такая же), сырой ноутбук с занятия | видео про XML, видео про JSON | Документация по API MediaWiki (движка Википедии): основная на английском, на русском, автогенерированная на английском, на русском, документация по nominatim (геокодинг), clearspending (данные о госзакупках) | ДЗ№8 |
| 24 марта | Библиотека sympy (символьная математика в Python), рисование картинок с помощью plotly
|
сырой ноутбук про sympy, сырой ноутбук про plotly | документация sympy, документация plotly, Кратчайшее введение в математику в Python |
Программное обеспечение
- Anaconda — вам нужна версия с Python 3.7.
- Чтобы открыть ipynb-файл в Jupyter Notebook, проще всего его загрузить в рабочий каталог с помощью функции upload самого Jupyter Notebook. Аналогично, чтобы вытащить файл из Jupyter Notebook, можно использовать функцию Download → ipynb.
