Наука о данных — различия между версиями

Материалы по математике, 2018-19 учебный год
Перейти к: навигация, поиск
(Занятие 17: немного о математике и визуализациях)
(Занятие 18: ещё немного о математике о визуализациях)
Строка 108: Строка 108:
 
* [https://scipy-lectures.org scipy-lectures]: тьюториалы по scipy.
 
* [https://scipy-lectures.org scipy-lectures]: тьюториалы по scipy.
 
* [https://nbviewer.jupyter.org/github/plotly/plotly_express/blob/master/walkthrough.ipynb plotly.express]: примеры использования.
 
* [https://nbviewer.jupyter.org/github/plotly/plotly_express/blob/master/walkthrough.ipynb plotly.express]: примеры использования.
 +
== Часть 2 ==
 +
=== Занятие 19: введение в R ===
 +
* [https://cloud.r-project.org скачать R] [https://www.rstudio.com/products/rstudio/download/ скачать RStudio] (Desktop, Open Source License), [https://rstudio.cloud rstudio.cloud] (можно ничего не скачивать).
 +
* [https://swcarpentry.github.io/r-novice-inflammation/13-supp-data-structures/ структуры данных],  [https://www.datamentor.io/r-programming/data-frame/ dataframe], [https://swcarpentry.github.io/r-novice-inflammation/15-supp-loops-in-depth/index.html циклы] [https://swcarpentry.github.io/r-novice-inflammation/02-func-R/index.html функции], [http://github.com/rstudio/cheatsheets/raw/master/base-r.pdf шпаргалка по базовому R].
 +
* Что было на занятии: [http://math-info.hse.ru/f/2018-19/nes-ds/rhistory.txt история команд], [http://math-info.hse.ru/f/2018-19/nes-ds/notebook.nb.html R Notebook]
 +
 +
=== Занятие 20: tidyverse ===
 +
* Установка tidyverse: <code>install.packages("tidyverse")</code>. Возможно, вам придётся установить переменную окружения [https://code.adonline.id.au/changing-the-default-library-folder-path-in-r/ R_LIB_USER], чтобы она указывала на какой-нибудь каталог, в который вы имеете право записывать файлы (туда будут устанавливаться библиотеки).
 +
* [https://cran.r-project.org/web/packages/dplyr/vignettes/dplyr.html введение в dplyr].
 +
* [https://r4ds.had.co.nz/tidy-data.html tidyr]: <code>gather</code> и <code>spread</code>.
 +
* [https://datacarpentry.org/dc_zurich/R-ecology/04-dplyr группировка и агрегирование].
 +
 +
=== Занятие 21: ggplot2 ===
 +
* Что было на занятия: [http://math-info.hse.ru/f/2018-19/nes-ds/r-ggplot2.html R Notebook].
 +
 +
=== Занятие 22: регулярные выражения ===
 +
* [https://habr.com/ru/post/349860/ Подробный текст про регулярки]
 +
* [https://regex101.com regex101] — визуальный отладчик регулярных выражений.
 +
 +
=== Занятие 23: SQL ===
 +
* [https://nbviewer.jupyter.org/url/math-info.hse.ru/f/2018-19/nes-ds/sql.ipynb конспект занятия]
 +
* [https://www.w3schools.com/sql/ SQL Tutorial] (W3Schools) — я в основном следовал этому тьюториалу.
 +
* [https://blog.jooq.org/2016/03/17/10-easy-steps-to-a-complete-understanding-of-sql/ Полезная статья] для понимания SQL.
  
 
== Проекты ==
 
== Проекты ==

Версия 19:42, 20 апреля 2019

Курс ведёт Илья Щуров.

Содержание

Инструменты

Python

Мы используем Python версии 3 и оболочку Jupyter (ранее известную как IPython Notebook). Чтобы их установить, проще всего скачать пакет Anaconda. Обратите внимание: вам нужна версия с Python 3.x (в настоящее время — Python 3.7).

После установки Anaconda у вас появится:

  • Под Windows: в меню «Пуск» пункт «Anaconda», в нём подпункт «IPython Notebook».
  • Под Mac OS X: приложение Anaconda Launcher, в нём пункт ipython-notebook.

После запуска IPython Notebook у вас откроется окно браузера (и лучше пусть это будет не Internet Explorer, под ним IPython Notebook работает с некоторым скрипом, а иногда не работает) со списком файлов. В нём надо выбрать New → Python 3. Откроется новая вкладка браузера, в ней будет запущен пустой notebook, состоящий из отдельных ячеек (cells). В ячейку с кодом можно вписать код и нажать Shift+Enter — он выполнится и вам покажут тут же результат.

Для установки дополнительных пакетов вам необходимо открыть консоль (это может быть Anaconda Prompt под Windows или стандартный «Терминал» под Mac OS или Linux) и набрать команду conda install <название пакета> или pip install <название пакета> (например, conda install seaborn).

Вы также можете использовать Google Colaboratory (но интерфейс там будет немножко отличаться от интерфейса Jupyter).

Работа с ipynb-файлами

Чтобы скачать ipynb-файл, нужно кликнуть на иконку в красном кружке правой кнопкой и выбрать «сохранить файл как» или аналогичный пункт меню

Мы выкладываем материалы курса в виде ipynb-файлов. По ссылкам ниже вы можете просмотреть эти файлы. Если вы хотите открыть этот файл у себя, то вам необходимо скачать его (нажав на иконку в правом верхнем углу страницы с лекцией) и положить в каталог, из которого Jupyter открывает ноутбуки: например, воспользовавшись кнопкой Upload в самом Jupyter (на экране со списком файлов). Также этот каталог можно найти по строчке Serving notebooks from local directory: /home/user/IPython, появляющейся в чёрненьком окошке при запуске Jupyter; здесь /home/user/IPython — искомый путь.

Чтобы загрузить файл в Jupyter Notebook, можно нажать на кнопку Upload

Материалы

Занятие 1: Первое знакомство

Занятие 2: Списки и цикл for

Занятие 3: Ввод-вывод списков, проверка условий, цикл while

Занятие 4: Функции

Занятие 5: Списковые включения, zip, двумерные массивы и словари

Занятие 6: Сортировка

Занятие 7: Работа с файлами

Занятие 8: Numpy и картинки

Занятие 9: Введение в Pandas

Занятие 10: примеры использования pandas

Занятие 11: продвинутые возможности pandas

Занятие 12: ещё о pandas

Занятия 13 и 14: веб-скреппинг

Занятие 15: продвинутый скреппинг: RoboBrowser и Selenium

Занятие 16: REST API: XML/JSON

Занятие 17: немного о математике и визуализациях

Занятие 18: ещё немного о математике о визуализациях

Часть 2

Занятие 19: введение в R

Занятие 20: tidyverse

  • Установка tidyverse: install.packages("tidyverse"). Возможно, вам придётся установить переменную окружения R_LIB_USER, чтобы она указывала на какой-нибудь каталог, в который вы имеете право записывать файлы (туда будут устанавливаться библиотеки).
  • введение в dplyr.
  • tidyr: gather и spread.
  • группировка и агрегирование.

Занятие 21: ggplot2

Занятие 22: регулярные выражения

Занятие 23: SQL

Проекты

Данные