Наука о данных

• Совместный бакалавриат ВШЭ-РЭШ, 2-й год обучения.
• Курс ведёт Илья Щуров.

Материалы

дата	тема	конспекты	видео	дополнительные материалы	ДЗ
10 января	Первое знакомство. Python как калькулятор	конспект с комментариями, сырой ноутбук с занятия (без комментариев)	видео	PT вычисления, визуализатор Python	ДЗ№1
14 января	Списки	конспект с комментариями (мы прошли до раздела «Присвоение и копирование списков», не включая его), split и join, сырой ноутбук с занятия	видео	PT списки
21 января	Списки и цикл for	конспект с комментариями (начиная с раздела « Присвоение и копирование списков»), enumerate, zip (часть про словари можно пропустить), сырой ноутбук с занятия.	видео	PT цикл for	ДЗ№2
24 января	Проверка условий. Цикл while.	проверка условий, сырой ноутбук с занятия	проверка условий	PT: проверка условий, цикл while
28 января	Функции. Словари	функции, словари, сырой ноутбук с занятия	функции, словари	PT: функции, словари	ДЗ№3
31 января	Ещё о словарях. Множества. Списковые включения (и не только). Сортировка	словари и списковые включения, множества, сортировка, сырой ноутбук с занятия	словари, сортировка	Sorting howto (англ.)
4 февраля	Ещё о сортировке. kwargs. lambda-функции. Чтение файлов	работа с файлами, сырой ноутбук с занятия	файлы
7 февраля	Запись файлов. Объектно-ориентированное программирование	работа с файлами, сырой ноутбук с занятия	файлы	классы в Python (англ., официальная документация)	ДЗ№4
11 февраля	Наследование. Итераторы и генераторы	сырой конспект		классы в Python (англ., официальная документация), твиттер-тред про Python (начало как раз про итераторы)
14 февраля	Библиотека numpy и немножко matplotlib	конспект с комментариями про numpy, сырой ноутбук	numpy	numpy quickstart, pyplot tutorial, matplotlib gallery	ДЗ№5
18 февраля	Ещё о numpy и немножко pandas	сырой ноутбук с занятия		numpy broadcasting rules (англ.), pandas data structures (мы обсуждали pd.Series)
21 февраля	Библиотека pandas	pandas и датафреймы: конспект по базовым возможностям pandas, сырой ноутбук с занятия	pandas	10-минутное введение (обзор возможностей), pandas-cookbook, индексация и выбор данных (подробно)	ДЗ№6
28 февраля	Ещё о pandas (и немного о глобальном потеплении).	конспект, сырой ноутбук с занятия	Официальная документация pandas: мультииндексы		ДЗ№7
3 марта	Введение в веб-скреппинг, библиотека BeautifulSoup (bs4)	конспект, сырой ноутбук с занятия	видео	Оригинальная документация (англ.): requests BeautifulSoup.
6 марта	Больше веб-скреппинга	сырой ноутбук с занятия
10 марта	Ещё больше веб-скреппинга: RoboBrowser. Исключение (exceptions)	Конспект по RoboBrowser, сырой ноутбук с занятия	видео	RoboBrowser
13 марта	И снова веб-скреппинг: Selenium.	Конспект по Selenium, сырой ноутбук с занятия	видео	неофициальная документация по Python-Selenium (её проще читать, чем официальную).
20 марта	Работа с REST API: XML и JSON	Конспект про XML, [Конспект про JSON (на занятии рассматривались другие примеры API, но логика такая же), сырой ноутбук с занятия	видео про XML, видео про JSON	Документация по API MediaWiki (движка Википедии): основная на английском, на русском, автогенерированная на английском, на русском, документация по nominatim (геокодинг), clearspending (данные о госзакупках)	ДЗ№8
24 марта	Библиотека sympy (символьная математика в Python), рисование картинок с помощью plotly	сырой ноутбук про sympy, сырой ноутбук про plotly	видео занятия	документация sympy, документация plotly, Кратчайшее введение в математику в Python
27 марта	Ещё о визуализации: plotly.expres и seaborn.	сырой ноутбук	видео занятия	документация по plotly.express, seaborn.
7 апреля	pandas_datareader, PyCharm and streamlit.	сырой ноутбук про pandas_datareader.		pandas-datareader, streamlit
10 апреля	heroku, деплой streamlit-приложения на heroku		видео занятия	tutorial, которому мы следовали.
14 апреля	SQL	сырой ноутбук	видео занятия	SQL Tutorial (W3Schools) — я в основном следовал этому тьюториалу, о логике SQL, о порядке операций подробно, SQLite Tutorial
17 апреля	SQL-2: вокруг JOIN'ов и subqueries	сырой ноутбук	видео занятия		ДЗ№9
21 апреля	Регулярные выражения	сырой ноутбук с занятия	видео занятия	подробный текст про регулярки, визуальный отладчик регулярных выражений
24 апреля	Гостевая лекция Ивана Бегтина
28 апреля	Введение в R	сырой конспект занятия	видео занятия	структуры данных, dataframe, циклы функции, шпаргалка по базовому R
8 мая	Современный R. Экосистема tidyverse	сырой конспект занятия	видео занятия	введение в dplyr, tidyr: pivot_wider и pivot_longer, группировка и агрегирование.
12 мая	Библиотека ggplot2 в R. Работа с геоданными в Python: библиотека geopandas.	сырые конспекты: ggplot2, geopandas	видео занятия	расширения к ggplot2

Итоговые проекты

• Правила выполнения. Срок сдачи (дата экзамена): 16 июня.

Программное обеспечение

Python

• Anaconda — вам нужна версия с Python 3.7.
• Чтобы открыть ipynb-файл в Jupyter Notebook, проще всего его загрузить в рабочий каталог с помощью функции upload самого Jupyter Notebook. Аналогично, чтобы вытащить файл из Jupyter Notebook, можно использовать функцию Download → ipynb.

R

• скачать R
• скачать RStudio (Desktop, Open Source License)
• rstudio.cloud (можно ничего не скачивать)