Наука о данных
Перейти к навигации
Перейти к поиску
- Совместный бакалавриат ВШЭ-РЭШ, 2-й год обучения.
- Курс ведёт Илья Щуров.
Материалы
дата | тема | конспекты | видео | дополнительные материалы | ДЗ |
---|---|---|---|---|---|
10 января | Первое знакомство. Python как калькулятор | конспект с комментариями, сырой ноутбук с занятия (без комментариев) | видео | PT вычисления, визуализатор Python | ДЗ№1 |
14 января | Списки | конспект с комментариями (мы прошли до раздела «Присвоение и копирование списков», не включая его), split и join, сырой ноутбук с занятия | видео | PT списки | |
21 января | Списки и цикл for
|
конспект с комментариями (начиная с раздела « Присвоение и копирование списков»), enumerate, zip (часть про словари можно пропустить), сырой ноутбук с занятия. | видео | PT цикл for | ДЗ№2 |
24 января | Проверка условий. Цикл while. | проверка условий, сырой ноутбук с занятия | проверка условий | PT: проверка условий, цикл while | |
28 января | Функции. Словари | функции, словари, сырой ноутбук с занятия | функции, словари | PT: функции, словари | ДЗ№3 |
31 января | Ещё о словарях. Множества. Списковые включения (и не только). Сортировка | словари и списковые включения, множества, сортировка, сырой ноутбук с занятия | словари, сортировка | Sorting howto (англ.) | |
4 февраля | Ещё о сортировке. kwargs . lambda -функции. Чтение файлов
|
работа с файлами, сырой ноутбук с занятия | файлы | ||
7 февраля | Запись файлов. Объектно-ориентированное программирование | работа с файлами, сырой ноутбук с занятия | файлы | классы в Python (англ., официальная документация) | ДЗ№4 |
11 февраля | Наследование. Итераторы и генераторы | сырой конспект | классы в Python (англ., официальная документация), твиттер-тред про Python (начало как раз про итераторы) | ||
14 февраля | Библиотека numpy и немножко matplotlib
|
конспект с комментариями про numpy, сырой ноутбук | numpy | numpy quickstart, pyplot tutorial, matplotlib gallery | ДЗ№5 |
18 февраля | Ещё о numpy и немножко pandas
|
сырой ноутбук с занятия | numpy broadcasting rules (англ.), pandas data structures (мы обсуждали pd.Series )
|
||
21 февраля | Библиотека pandas
|
pandas и датафреймы: конспект по базовым возможностям pandas, сырой ноутбук с занятия | pandas | 10-минутное введение (обзор возможностей), pandas-cookbook, индексация и выбор данных (подробно) | ДЗ№6 |
28 февраля | Ещё о pandas (и немного о глобальном потеплении). | конспект, сырой ноутбук с занятия | Официальная документация pandas: мультииндексы | ДЗ№7 | |
3 марта | Введение в веб-скреппинг, библиотека BeautifulSoup (bs4 )
|
конспект, сырой ноутбук с занятия | видео | Оригинальная документация (англ.): requests BeautifulSoup. | |
6 марта | Больше веб-скреппинга | сырой ноутбук с занятия | |||
10 марта | Ещё больше веб-скреппинга: RoboBrowser. Исключение (exceptions) | Конспект по RoboBrowser, сырой ноутбук с занятия | видео | RoboBrowser | |
13 марта | И снова веб-скреппинг: Selenium. | Конспект по Selenium, сырой ноутбук с занятия | видео | неофициальная документация по Python-Selenium (её проще читать, чем официальную). | |
20 марта | Работа с REST API: XML и JSON | Конспект про XML, [Конспект про JSON (на занятии рассматривались другие примеры API, но логика такая же), сырой ноутбук с занятия | видео про XML, видео про JSON | Документация по API MediaWiki (движка Википедии): основная на английском, на русском, автогенерированная на английском, на русском, документация по nominatim (геокодинг), clearspending (данные о госзакупках) | ДЗ№8 |
24 марта | Библиотека sympy (символьная математика в Python), рисование картинок с помощью plotly
|
сырой ноутбук про sympy, сырой ноутбук про plotly | видео занятия | документация sympy, документация plotly, Кратчайшее введение в математику в Python | |
27 марта | Ещё о визуализации: plotly.expres и seaborn. | сырой ноутбук | видео занятия | документация по plotly.express, seaborn. | |
7 апреля | pandas_datareader, PyCharm and streamlit. | сырой ноутбук про pandas_datareader .
|
pandas-datareader, streamlit | ||
10 апреля | heroku, деплой streamlit-приложения на heroku | видео занятия | tutorial, которому мы следовали. | ||
14 апреля | SQL | сырой ноутбук | видео занятия | SQL Tutorial (W3Schools) — я в основном следовал этому тьюториалу, о логике SQL, о порядке операций подробно, SQLite Tutorial | |
17 апреля | SQL-2: вокруг JOIN'ов и subqueries | сырой ноутбук | видео занятия | ДЗ№9 | |
21 апреля | Регулярные выражения | сырой ноутбук с занятия | видео занятия | подробный текст про регулярки, визуальный отладчик регулярных выражений | |
24 апреля | Гостевая лекция Ивана Бегтина | ||||
28 апреля | Введение в R | сырой конспект занятия | видео занятия | структуры данных, dataframe, циклы функции, шпаргалка по базовому R | |
8 мая | Современный R. Экосистема tidyverse | сырой конспект занятия | видео занятия | введение в dplyr, tidyr: pivot_wider и pivot_longer , группировка и агрегирование.
|
|
12 мая | Библиотека ggplot2 в R. Работа с геоданными в Python: библиотека geopandas. | сырые конспекты: ggplot2, geopandas | видео занятия | расширения к ggplot2 | |
18 мая | Введение в машинное обучение. Библиотека scikit-learn | сырой конспект занятия | видео занятия | источник данных |
Итоговые проекты
- Правила выполнения. Срок сдачи (дата экзамена): 16 июня.
Программное обеспечение
Python
- Anaconda — вам нужна версия с Python 3.7.
- Чтобы открыть ipynb-файл в Jupyter Notebook, проще всего его загрузить в рабочий каталог с помощью функции upload самого Jupyter Notebook. Аналогично, чтобы вытащить файл из Jupyter Notebook, можно использовать функцию Download → ipynb.
R
- скачать R
- скачать RStudio (Desktop, Open Source License)
- rstudio.cloud (можно ничего не скачивать)