Python для сбора данных

Материал из MathINFO
Перейти к навигации Перейти к поиску

Дорогие студенты!

На этой странице будут появляться различные материалы и объявления, связанные с курсом «Python для сбора данных», читаемого для студентов МИЭФ, в весеннем семестре 2018/2019 учебного года.

  • Авторы курса: Щуров Илья Валерьевич, Тамбовцева Алла Андреевна
  • Лекции и семинары ведет: Тамбовцева Алла Андреевна

Правила игры

Проект

  • описание проекта: дедлайн 15 мая 23:59, ссылка для сдачи
  • документация по проекту и программа: дедлайн – день перед защитой, 23:59, ссылка для сдачи

Материалы

Загрузка файла в Jupyter Notebook и прочее: см. инструкцию.

Скачать файл с расширением .ipynb можно так: пройти по ссылке, нажать на стрелочку в правом верхнем углу (Download Notebook) и сохранить файл. При необходимости сменить расширение с .txt на .ipynb.

Дата занятия Тема Занятие Дополнительно
12.02
Знакомство с Jupyter Notebook. Введение в Python.
Ввод и вывод. Строки.

jupyter-intro python-intro
input-output strings

more on Jupyter Notebook, coding style,
string formatting, f-strings, LaTeX

19.02
Списки в Python. Цикл for.
lists split-join
practice-1 practice-1-solutions

lists-methods, Jupyter magic cells,
how-not-to-get-bored-2

26.02
Управляющие конструкции в Python.
Цикл while. Функции в Python.

if-else-while [1]
practice-2
practice-2-solutionspractice-3


how-not-to-get-bored-3

12.03
Ещё немного о функциях. Датафреймы pandas.

practice-3-solutions more-functions
pandas-1 pandas-2 scores2.csv


how-not-to-get-bored-4

19.03
Библиотека pandas: продолжение. Визуализация.

pandas-3 practice-4 practice-4-solutions
elections.csv Titanic.csv


how-not-to-get-bored-5
matplotlib Галерея matplotlib Seaborn

02.04
Парсинг html-файлов. Web-scrapping.
lect-html web-scrape

w3schools веб-дизайн на Coursera
scraping-seminar scaping-solutions

09.04
Управление браузером. Библиотека Selenium.
selenium-1 selenium-2
web-driver web-driver firefox
selector-gadget selenium-books

16.04
Работа с API. Формат json.
[vk-library] vk-instruct
vk-docs vk-api-library
datetime рассылка gmail

Дополнительно:

К проекту - вспомогательные материалы

Статистика: проверка гипотез и регрессионные модели в Python;

Интерактив

  • Dashboards: аналитика и интерактив средствами dash и plotly;
  • Tkinter: создание кнопок и окон с помощью tkinter, Jupyter Widget: интерактивные виджеты в Jupyter;
  • Flask: создание сайтов на платформе Flask средствами Python;

Карты

Работа с текстами, боты

  • Telegram-боты: 1, 2;

Домашние задания

Название Базовый Продвинутый Дедлайн: базовый (продвинутый)
Домашнее задание 1 hw1-base hw1-adv 20 февраля, 23:59 (22 февраля, 23:59)
Домашнее задание 2 hw2-base hw2-adv 5 марта, 23:59 (24 марта, 23:59)
Домашнее задание 3 hw3-base не будет 20 марта, 23:59
Домашнее задание 4 hw4-base (грузить сюда) tba soon 7 апреля, 23:59
Домашнее задание 5 hw5 (грузить сюда) не будет 25 апреля, 23:59

Дополнительное ДЗ: ссылка, загружать сюда, дедлайн (жесткий): 26 мая 23:59