Наука о данных: различия между версиями

Материал из MathINFO
Перейти к навигации Перейти к поиску
(Новая страница: «* Совместный бакалавриат ВШЭ-РЭШ, 2-й год обучения. * Курс ведёт Илья Щуров. == Материалы ==»)
 
 
(не показана 71 промежуточная версия этого же участника)
Строка 3: Строка 3:
  
 
== Материалы ==
 
== Материалы ==
 +
===  11.01. Первое знакомство. Python как калькулятор. Числа и строки ===
 +
* 2022: [https://gist.github.com/19d944f0bbad98fb98a1db8841339705 сырой ноутбук с занятия], [https://youtu.be/oUh_CHRs6x0 видео].
 +
* 2015: [https://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%201.ipynb конспект с комментариями], [https://www.youtube.com/watch?v=5Y5tKPKhurA видео]
 +
* {{PT}} [http://pythontutor.ru/lessons/int_and_float/ вычисления], [http://pythontutor.com визуализатор Python]
 +
 +
=== 12.01. Списки ===
 +
* 2022: [https://gist.github.com/ebf2dc4538a2ddcf8cabb918a2b0cd7c сырой ноутбук с занятия], [https://youtu.be/H2mHg18EKE0 видео]
 +
* 2015: [https://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%202.ipynb конспект с комментариями] (мы прошли до раздела «цикл for», не включая его), [https://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%203.ipynb#Ввод-вывод-списков split и join], [https://www.youtube.com/watch?v=kBu3g-ITjY4 видео]
 +
* {{PT}} [http://pythontutor.ru/lessons/lists/ списки]
 +
* [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nesdatascience2022/ps01/ps01.ipynb Домашнее задание №1]
 +
 +
=== 18.01. Списки и цикл <code>for</code> ===
 +
* 2022: [https://gist.github.com/b1f2656c76ad06445959726d5219d06f Сырой ноутбук с занятия], [https://youtu.be/G7lf8hlES1s видео].
 +
* 2015: [https://nbviewer.org/github/ischurov/pythonhse/blob/master/Lecture%202.ipynb#Цикл-for Цикл for], [https://nbviewer.org/github/ischurov/pythonhse/blob/master/Lecture%202.ipynb#Присвоение-и-копирование-списков присвоение и копирование списков], [https://www.youtube.com/watch?v=kBu3g-ITjY4 видео].
 +
* {{PT}} [http://pythontutor.ru/lessons/for_loop/ цикл for].
 +
* [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nesdatascience2022/ps02/ps02.ipynb Домашнее задание №2]
 +
 +
=== 19.01. Отступление: введение в R ===
 +
* [https://youtu.be/yXhUN-y6k0w Видео].
 +
* [https://rpubs.com/ilyaschurov/r1-2022-nesdatascience Ноутбук с занятия].
 +
 +
=== 25.01. Ещё чуть-чуть про R. Возвращаемся в Python: ещё о циклах, проверка условий ===
 +
* ноутбуки с занятия:
 +
** [https://rpubs.com/ilyaschurov/r2-2022-nesdatascience Ещё про R]: рисование картинок и работа с временными рядами.
 +
** [https://gist.github.com/29ddc1d714e8a2afc0e91d7e64471915 Python]: ещё про циклы, <code>zip</code> и <code>enumerate</code>, list comprehensions, проверка условий, <code>if</code>, <code>while</code>.
 +
* конспекты с пояснениями: [https://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%203.ipynb#Нумерация-элементов-списка enumerate], [https://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%205.ipynb#Создание-словарей-и-функция-zip() zip] (часть про словари можно пропустить), [https://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%205.ipynb#Списковые-включения-(list-comprehensions) списковые включения (list comprehensions)], [https://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%203.ipynb#Проверка-условий проверка условий и цикл while].
 +
* {{PT}}: [http://pythontutor.ru/lessons/ifelse/ проверка условий], [http://pythontutor.ru/lessons/while/ цикл while].
 +
* [https://youtu.be/ucEmuCY9Ho0 Видео занятия].
 +
 +
=== 26.01. Ещё о проверках условий. Функции ===
 +
* 2022: [https://gist.github.com/d85532d66e963e35bf6b7fe08810b42a Ноутбук с занятия], [https://youtu.be/CwfzPseMYuw видео].
 +
* 2015: [https://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%204.ipynb Конспект про функции], [http://www.youtube.com/watch?v=NYrYSFyCg4w видео к конспекту].
 +
* [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nesdatascience2022/ps03/ps03.ipynb ДЗ№3]
 +
 +
=== 1.02. Функции как аргументы функций. Сортировка. Лямбда-функции. Форматирование строк ===
 +
* [https://gist.github.com/2e531bcdd0665feef8d7cc136915cd58 Ноутбук с занятия]
 +
* [https://nbviewer.org/github/ischurov/pythonhse/blob/master/Lecture%206.ipynb#Сортировка Сортировка], [https://docs.python.org/3/howto/sorting.html sorting howto] (англ.)
 +
* [https://youtu.be/uKuVb1p9GB8 видео занятия]
 +
 +
=== 2.02. Словари и множества ===
 +
* [https://gist.github.com/e973119e3ab9991eb73bbbc7fcaabdaf Ноутбук с занятия], [https://youtu.be/DiwpeqVYDD8 видео]
 +
* [https://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%205.ipynb#Словари Конспект про словари]
 +
* {{PT}}: [http://pythontutor.ru/lessons/dicts/ словари]
 +
* [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nesdatascience2022/ps04/ps04.ipynb ДЗ№4]
 +
 +
=== 8.02. Работа с файлами ===
 +
* [https://gist.github.com/3b31c3a0bfb44648a5c01354e73cd818 ноутбук с занятия]
 +
* [https://youtu.be/Wn_Aoo3U9dg видео с занятия]
 +
* [http://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%207.ipynb#Файловый-ввод-вывод конспект]
 +
 +
=== 9.02. Исключение. Классы ===
 +
* [https://gist.github.com/d93120ad9edf7371cbc01b9758fd2fc5 ноутбук с занятия], [https://nbviewer.org/github/ischurov/pythonhse/blob/master/Lecture%208.ipynb#Немного-про-исключения немного про исключения]
 +
* [https://youtu.be/w3y9MJRh8Lo видео с занятия]
 +
* [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nesdatascience2022/ps05/ps05.ipynb ДЗ№5]
 +
 +
=== 15.02. Наследование. Итераторы ===
 +
* [https://gist.github.com/21d0818f0be7df2350d2bc11019ba730 ноутбук с занятия]
 +
* [https://youtu.be/PTUvehOch-M видео]
 +
 +
=== 16.02. Библиотека <code>numpy</code> (и немножко <code>matplotlib</code> и <code>sympy</code>) ===
 +
* [https://gist.github.com/d03cc0a650865796667e490bea101e32 ноутбук с занятия], [https://youtu.be/aINzyEDhN9E видео]
 +
* [http://nbviewer.jupyter.org/github/ischurov/pythonhse/blob/master/Lecture%2011.ipynb конспект про numpy]
 +
* [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nesdatascience2022/ps06/ps06.ipynb ДЗ№6]
 +
 +
=== 22.02. Ещё про numpy и математику в питоне ===
 +
* [https://gist.github.com/f8fa38ecb78e1662d2dd667323812361 Ноутбук с занятия], [https://youtu.be/vIZwsWbYoAs видео]
 +
* [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nesdatascience2022/ps07/ps07.ipynb ДЗ№7]
 +
 +
=== 1.03 — 2.03. Библиотека pandas ===
 +
* Часть 1: [https://gist.github.com/f520e2796e364c2c307be5ce42069311 Ноутбук с занятия], [https://youtu.be/xuDKnqggV-Q видео с занятия].
 +
* Часть 2: [https://gist.github.com/6ed8ecc7d269092e6bfe00721246eafe Ноутбук с занятия], [https://youtu.be/JYSBW9D060Q видео с занятия].
 +
* [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%2012.ipynb Конспект 2015 года]
 +
* [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nesdatascience2022/ps08/ps08.ipynb ДЗ№8]
 +
 +
=== 9.03. Продвинутые возможности pandas ===
 +
* [https://youtu.be/_xwn2oSQCxI Видео с занятия], [https://gist.github.com/76d86f8f89cd5299fab2298a63cdc236 ноутбук с занятия]
 +
 +
=== 15.03. Немного о погоде и мультииндексах ===
 +
* [https://youtu.be/FK8oXNryZtU Видео с занятия], [https://gist.github.com/2a2ddbbc36fdf0358ece90048f23459a ноутбук с занятия]
 +
 +
=== 16.03. Немного о картинках ===
 +
* [https://youtu.be/MzCN-VizEMQ Видео с занятия], [https://gist.github.com/854469e25ec7d44737dd5fa0c6ee7113 ноутбук с занятия]
 +
* [http://nbviewer.math-hse.info/github/ischurov/pythonhse/blob/master/Lecture%2013.ipynb Конспект 2015 года]
 +
* [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nesdatascience2022/ps09/ps09.ipynb ДЗ№9] (продвинутые возможности pandas)
 +
 +
=== 22.03. Ещё немного о картинках ===
 +
* [https://youtu.be/ffef7HTT03o Видео с занятия], [https://gist.github.com/fa6200b6e2d31199d89ca25100401d65 ноутбук с занятия]
 +
 +
=== 23.03. Введение в веб-скреппинг. Библиотека <code>BeautifulSoup</code> ===
 +
* [https://youtu.be/Ydh8O-j1Ew0 Видео с занятия], [https://gist.github.com/f256545f52e8005dcc739911554404a3 ноутбук с занятия]
 +
* [https://nbviewer.org/github/ischurov/pythonhse/blob/master/Lecture%208.ipynb конспект 2015]
 +
* [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nesdatascience2022/ps10/ps10.ipynb ДЗ№10]
 +
 +
=== 5.04. Ещё про веб-скреппинг ===
 +
* [https://youtu.be/Ctn3I5tcUWA Видео с занятия], [https://gist.github.com/6aac1ea451f667f026ced0f09d8d6b59 ноутбук с занятия]
 +
 +
=== 6.04. REST API: XML и JSON ===
 +
* [https://youtu.be/p8UwihCLa9k Видео с занятия], [https://gist.github.com/8ca2f7b2939768a5b83ef53e6c349beb ноутбук с занятия]
 +
* [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nesdatascience2022/ps11/ps11.ipynb ДЗ№11]
 +
 +
=== 12.04. Визуализация данных и визуальные коммуникации ===
 +
Гостевая лекция Александра Богачёва
 +
 +
=== 13.04. Продвинутый веб-скреппинг: Selenium ===
 +
* [https://youtu.be/2NmOtZ05gfc Видео с занятия], [https://gist.github.com/ischurov/f8bc9d821325475d4261d7cb20842839 ноутбук с занятия]
 +
 +
=== 19.04. SQL и базы данных ===
 +
* [https://youtu.be/aaX73efrhiI Видео с занятия], [https://gist.github.com/f68b62a1e0edba96a0129c108ea3b480 ноутбук с занятия]
 +
* [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nesdatascience2022/ps12/ps12.ipynb ДЗ№12]
 +
 +
=== 20.04. Регулярные выражения ===
 +
* [https://gist.github.com/ed831f59d1dc7be84f0a2c029be3aeb1 Ноутбук с занятия], [https://youtu.be/tPLLR_F8M5U видео с занятия], [https://regex101.com regex101]: интерактивный отладчик регулярных выражений.
 +
 +
=== 26.04. Streamlit ===
 +
* [https://youtu.be/Zj88UK997ng Видео с занятия]
 +
* Пример streamlit-приложения: [https://github.com/ischurov/streamlit-example2022/blob/master/helloworld.py код], [https://share.streamlit.io/ischurov/streamlit-example2022/helloworld.py демо].
 +
 +
=== 27.04. Ещё о streamlit. Scrapy. Networkx ===
 +
* [https://youtu.be/iatDEPCKYQ4 Видео с занятия]
 +
* [https://gist.github.com/ischurov/7b0ad6b1a80d23c8ad039a0761dc91aa Scrapy-краулер], [https://gist.github.com/ischurov/85331c7cb595594a5ac386fba2234ed9 визуализация графа с помощью networkx].
 +
* [[/ДЗ№13]]
 +
 +
=== 11.05. Геоданные ===
 +
* [https://youtu.be/qu71fj25jMU Видео с занятия]
 +
* [http://nbviewer.jupyter.org/url/python.math-hse.info/static/assignments_release/nesdatascience2022/ps14/ps14.ipynb ДЗ№14]
 +
 +
=== 17.05. Введение в машинное обучение. Задача регрессии ===
 +
* [https://youtu.be/ZRO6QvIoLs4 Видео с занятия], [https://gist.github.com/2248163d4b52008550490be5415a63eb ноутбук с занятия]
 +
 +
=== 18.05. Введение в машинное обучение. Задача классификации. Логистическая регрессия ===
 +
* [https://youtu.be/HOwopQDHAEc Видео с занятия]
 +
 +
== Итоговый проект ==
 +
* [[/Итоговый проект|Правила выполнения]], срок сдачи: 13 июня, 23:59.

Текущая версия на 17:04, 19 мая 2022

  • Совместный бакалавриат ВШЭ-РЭШ, 2-й год обучения.
  • Курс ведёт Илья Щуров.

Содержание

Материалы

11.01. Первое знакомство. Python как калькулятор. Числа и строки

12.01. Списки

18.01. Списки и цикл for

19.01. Отступление: введение в R

25.01. Ещё чуть-чуть про R. Возвращаемся в Python: ещё о циклах, проверка условий

26.01. Ещё о проверках условий. Функции

1.02. Функции как аргументы функций. Сортировка. Лямбда-функции. Форматирование строк

2.02. Словари и множества

8.02. Работа с файлами

9.02. Исключение. Классы

15.02. Наследование. Итераторы

16.02. Библиотека numpy (и немножко matplotlib и sympy)

22.02. Ещё про numpy и математику в питоне

1.03 — 2.03. Библиотека pandas

9.03. Продвинутые возможности pandas

15.03. Немного о погоде и мультииндексах

16.03. Немного о картинках

22.03. Ещё немного о картинках

23.03. Введение в веб-скреппинг. Библиотека BeautifulSoup

5.04. Ещё про веб-скреппинг

6.04. REST API: XML и JSON

12.04. Визуализация данных и визуальные коммуникации

Гостевая лекция Александра Богачёва

13.04. Продвинутый веб-скреппинг: Selenium

19.04. SQL и базы данных

20.04. Регулярные выражения

26.04. Streamlit

27.04. Ещё о streamlit. Scrapy. Networkx

11.05. Геоданные

17.05. Введение в машинное обучение. Задача регрессии

18.05. Введение в машинное обучение. Задача классификации. Логистическая регрессия

Итоговый проект