Науки о данных/Летний проект

Проекты выполняются индивидуально. Проекты оцениваются по принципу peer review, в режиме двойного слепого оценивания. Каждый проект должен получить как минимум три оценки от других студентов, при этом в качестве итоговой оценки используется медиана. При выставлении оценок они должны быть обоснованы. Лектор имеет право пересмотреть оценку, выставленную в ходе peer review, при наличии явных ошибок оценивания (например, рецензент не заметил функцию, которая на самом деле была реализована). Если вы по какой-то причине не можете участвовать в процедуре рецензирования, сообщите об этом до момента сдачи работы. Для получения оценки за проект каждый студент обязан отрецензировать по крайней мере три (можно больше) другие работы.

При сдаче работа должна быть анонимизирована, то есть в ней не должно быть указано имя или другая информация, идентифицирующая автора. Просмотрите свою работу внимательно: ваше имя может случайно оказаться, например, среди системных предупреждений (в путях файлов), в ссылках на внешние ресурсы (если вы хотите использовать github-репозиторий, создайте новый аккаунт, не привязанный к вам), в API-ключах и т.д.

Требования к проекту

Оценка вычисляется как сумма баллов, набранных по отдельным критериям согласно таблице ниже, и не может превосходить 12 баллов.

Для удобства оценивания рекомендуется сопроводить проект описанием того, какие технологии и как в нём используются. Это позволит избежать ситуации, когда рецензент не заметил какой-либо технологии и из-за этого поставил заниженную оценку.

О базах данных

Для работы с базой данных вы можете использовать SQLite и создать свою базу (например, с помощью pandas.DataFrame.to_sql), либо использовать публичные датасеты в Google BigQuery. В последнем случае вам надо получить Service Account Key File и использовать его с помощью библиотеки google-cloud-bigquery (см. пример здесь). Использование BigQuery является бесплатным в рамках некоторой квоты (которой нам скорее всего хватит для учебного проекта).

Критерий	Баллы
Базовая работа с R	1 — Загрузка данных из csv, работа с векторами и датафреймами без использования tidyverse.
Программирование в R	1 — Использованы циклы, проверка условий и функции.
Обработка данных с помощью tidyverse.	0 — не использовалась; 1 — использовалась примерно в объёме одной задачи домашней работы; 2 — использовалось что-то более сложное и/или объёмное.
Визуализация с помощью ggplot2	0 — не использовалась; 1 — простая визуализация на уровне «построен scatter-plot»; 2 — более сложная визуализация (картинка состоит из нескольких «слоёв» (geom_*)).
Визуализация с помощью дополнений к ggplot2	1 — использовалось любое дополнение отсюда.
Базовая работа с SQL	1 — работа с SQL на уровне «Выбрать строки по условию» (SELECT, WHERE, LIMIT).
SQL: Группировка и агрегирование	1 — использовалось всё перечисленное: агрегирующие функции, GROUP BY и HAVING.
SQL: JOIN и subqueries	1 — использовались JOIN'ы или subquerie.
SQLAlchemy	1 — использовалось.
Регулярные выражения.	1 — использовались для решения какой-нибудь практической задачи
Обработка текстовых данных	1 — использовались методы обработки естественного языка (например, библиотеки pymorphy2, natasha и TextBlob, обсуждавшиеся на лекции)
Объём (осмысленных строк кода).	0 — 0-50; 1 — 50+.

Об объёме

Объём проекта измеряется в «осмысленных самостоятельно написанных логических строках кода».

• «Логических» означает, что если разделить строку на две с помощью кнопки Enter, нажимемой в нужных местах, то это всё равно одна строка. В SQL каждая clause может считаться отдельной строкой.

• «Осмысленного» означает, что если написать десять раз подряд строчку name = 'Alice', то это не считается.

• «Самостоятельно написанного» означает, что вы можете копипастить код откуда-то ещё, если он вам нужен для работоспособности вашего проекта — например, со StackOverflow — но любая такая копипаста должна обязательно сопровождаться ссылкой на источник и в зачёт ваших строк не идёт. Такая копипаста должна начинаться с комментария ### FROM: (адрес источника) и заканчиваться комментарием ### END FROM. Неправильно оформленная копипаста приравнивается к плагиату.