Python для сбора данных

Дорогие студенты!

На этой странице будут появляться различные материалы и объявления, связанные с курсом «Python для сбора данных», читаемого для студентов МИЭФ, в весеннем семестре 2018/2019 учебного года.

• Авторы курса: Щуров Илья Валерьевич, Тамбовцева Алла Андреевна

• Лекции и семинары ведет: Тамбовцева Алла Андреевна

Правила игры

• Программа курса: ссылка

• Информация по курсу: ссылка

• Информация по проекту: ссылка, опрос

Проект

• описание проекта: дедлайн 15 мая 23:59, ссылка для сдачи

• документация по проекту и программа: дедлайн – день перед защитой, 23:59, ссылка для сдачи

Материалы

Загрузка файла в Jupyter Notebook и прочее: см. инструкцию.

Скачать файл с расширением .ipynb можно так: пройти по ссылке, нажать на стрелочку в правом верхнем углу (Download Notebook) и сохранить файл. При необходимости сменить расширение с .txt на .ipynb.

Дата занятия	Тема	Занятие	Дополнительно
12.02	Знакомство с Jupyter Notebook. Введение в Python. Ввод и вывод. Строки.	jupyter-intro python-intro input-output strings	more on Jupyter Notebook, coding style, string formatting, f-strings, LaTeX
19.02	Списки в Python. Цикл for.	lists split-join practice-1 practice-1-solutions	lists-methods, Jupyter magic cells, how-not-to-get-bored-2
26.02	Управляющие конструкции в Python. Цикл while. Функции в Python.	if-else-while [1] practice-2 practice-2-solutionspractice-3	how-not-to-get-bored-3
12.03	Ещё немного о функциях. Датафреймы pandas.	practice-3-solutions more-functions pandas-1 pandas-2 scores2.csv	how-not-to-get-bored-4
19.03	Библиотека pandas: продолжение. Визуализация.	pandas-3 practice-4 practice-4-solutions elections.csv Titanic.csv	how-not-to-get-bored-5 matplotlib Галерея matplotlib Seaborn
02.04	Парсинг html-файлов. Web-scrapping.	lect-html web-scrape	w3schools веб-дизайн на Coursera scraping-seminar scaping-solutions
09.04	Управление браузером. Библиотека Selenium.	selenium-1 selenium-2	web-driver web-driver firefox selector-gadget selenium-books
16.04	Работа с API. Формат json.	[vk-library] vk-instruct	vk-docs vk-api-library datetime рассылка gmail

Дополнительно:

• Google Colaboratory (Jupyter online)

• Pythontutor Visualizer (онлайн визуализатор исполнения кода)

• Pythontutor: ввод и вывод, вычисления, строки, цикл for, списки, двумерные массивы, условия, цикл while, функции и рекурсия

К проекту - вспомогательные материалы

Статистика: проверка гипотез и регрессионные модели в Python;

Интерактив

• Dashboards: аналитика и интерактив средствами dash и plotly;

• Tkinter: создание кнопок и окон с помощью tkinter, Jupyter Widget: интерактивные виджеты в Jupyter;

• Flask: создание сайтов на платформе Flask средствами Python;

Карты

• Googlemaps: GoogleMaps API и Python, GoogleMaps: GoogleMaps and distances; Яндекс-карты: Яндекс-карты API и Python;

• Работа с shape-файлами и раскраска карт: geopandas-official, geopandas-lab, shape-files, GAM (ресурс с shp-файлами для карт);

Работа с текстами, боты

• Wordclouds: облака слов в Python;

• Telegram-боты: 1, 2;

Домашние задания

Название	Базовый	Продвинутый	Дедлайн: базовый (продвинутый)
Домашнее задание 1	hw1-base	hw1-adv	20 февраля, 23:59 (22 февраля, 23:59)
Домашнее задание 2	hw2-base	hw2-adv	5 марта, 23:59 (24 марта, 23:59)
Домашнее задание 3	hw3-base	не будет	20 марта, 23:59
Домашнее задание 4	hw4-base (грузить сюда)	tba soon	7 апреля, 23:59
Домашнее задание 5	hw5 (грузить сюда)	не будет	25 апреля, 23:59

Дополнительное ДЗ: ссылка, загружать сюда, дедлайн (жесткий): 26 мая 23:59