Python для сбора данных — различия между версиями

Материалы по математике, 2018-19 учебный год
Перейти к: навигация, поиск
(Материалы)
(Материалы)
Строка 77: Строка 77:
 
|| Управление браузером. Библиотека Selenium.
 
|| Управление браузером. Библиотека Selenium.
 
||  [https://nbviewer.jupyter.org/github/allatambov/py-icef/blob/master/6-09-04/lect-selenium-1.ipynb selenium-1] [https://nbviewer.jupyter.org/github/allatambov/py-icef/blob/master/6-09-04/lect-selenium2.ipynb selenium-2]
 
||  [https://nbviewer.jupyter.org/github/allatambov/py-icef/blob/master/6-09-04/lect-selenium-1.ipynb selenium-1] [https://nbviewer.jupyter.org/github/allatambov/py-icef/blob/master/6-09-04/lect-selenium2.ipynb selenium-2]
|| [https://sites.google.com/a/chromium.org/chromedriver/downloads web-driver] [https://github.com/mozilla/geckodriver/releases/tag/v0.24.0 web-driver firefox][https://chrome.google.com/webstore/detail/selectorgadget/mhjhnkcfbdhnjickkkdbjoemdmbfginb selector-gadget]  
+
|| [https://sites.google.com/a/chromium.org/chromedriver/downloads web-driver] [https://github.com/mozilla/geckodriver/releases/tag/v0.24.0 web-driver firefox]
 +
[https://chrome.google.com/webstore/detail/selectorgadget/mhjhnkcfbdhnjickkkdbjoemdmbfginb selector-gadget] [https://nbviewer.jupyter.org/github/allatambov/py-dat19/blob/master/28-03/selenium-books.ipynb selenium-books]
 
|-
 
|-
 
| 16.04  
 
| 16.04  
 
|| Работа с API. Формат json.
 
|| Работа с API. Формат json.
|| [vk-api] [http://math-info.hse.ru/f/2018-19/py-polit/vk-auth.pdf vk-instruct]
+
|| [vk-library] [http://math-info.hse.ru/f/2018-19/py-polit/vk-auth.pdf vk-instruct]
|| [https://vk.com/dev/manuals vk-docs]
+
|| [https://vk.com/dev/manuals vk-docs] [https://pypi.org/project/vk-api/ vk-api-library]
 +
[https://www.w3schools.com/python/python_datetime.asp datetime] [https://nbviewer.jupyter.org/github/allatambov/PyProg-2018/blob/master/14-12/py-gmail.ipynb рассылка gmail]
 
|}
 
|}
  

Версия 00:07, 17 апреля 2019

Дорогие студенты!

На этой странице будут появляться различные материалы и объявления, связанные с курсом «Python для сбора данных», читаемого для студентов МИЭФ, в весеннем семестре 2018/2019 учебного года.

  • Авторы курса: Щуров Илья Валерьевич, Тамбовцева Алла Андреевна
  • Лекции и семинары ведет: Тамбовцева Алла Андреевна

Правила игры

Материалы

Загрузка файла в Jupyter Notebook и прочее: см. инструкцию.

Скачать файл с расширением .ipynb можно так: пройти по ссылке, нажать на стрелочку в правом верхнем углу (Download Notebook) и сохранить файл. При необходимости сменить расширение с .txt на .ipynb.

Дата занятия Тема Занятие Дополнительно
12.02 Знакомство с Jupyter Notebook. Введение в Python.

Ввод и вывод. Строки.

jupyter-intro python-intro

input-output strings

more on Jupyter Notebook, coding style,

string formatting, f-strings, LaTeX

19.02 Списки в Python. Цикл for. lists split-join

practice-1 practice-1-solutions

lists-methods, Jupyter magic cells,

how-not-to-get-bored-2

26.02 Управляющие конструкции в Python.

Цикл while. Функции в Python.

if-else-while [1]

practice-2 practice-2-solutionspractice-3

how-not-to-get-bored-3

12.03 Ещё немного о функциях. Датафреймы pandas.

practice-3-solutions more-functions

pandas-1 pandas-2 scores2.csv

how-not-to-get-bored-4

19.03 Библиотека pandas: продолжение. Визуализация.

pandas-3 practice-4 practice-4-solutions

elections.csv Titanic.csv

how-not-to-get-bored-5

matplotlib Галерея matplotlib Seaborn

02.04 Парсинг html-файлов. Web-scrapping. lect-html web-scrape

w3schools веб-дизайн на Coursera

scraping-seminar scaping-solutions

09.04 Управление браузером. Библиотека Selenium. selenium-1 selenium-2 web-driver web-driver firefox

selector-gadget selenium-books

16.04 Работа с API. Формат json. [vk-library] vk-instruct vk-docs vk-api-library

datetime рассылка gmail

Дополнительно:

К проекту - вспомогательные материалы

  • Статистика: проверка гипотез и регрессионные модели в Python;
  • Dashboards: аналитика и интерактив средствами dash и plotly;
  • Tkinter: создание кнопок и окон с помощью tkinter;

Домашние задания

Название Базовый Продвинутый Дедлайн: базовый (продвинутый)
Домашнее задание 1 hw1-base hw1-adv 20 февраля, 23:59 (22 февраля, 23:59)
Домашнее задание 2 hw2-base hw2-adv 5 марта, 23:59 (24 марта, 23:59)
Домашнее задание 3 hw3-base не будет 20 марта, 23:59
Домашнее задание 4 hw4-base (грузить сюда) tba soon 7 апреля, 23:59
Домашнее задание 5 hw5 (грузить сюда) не будет 25 апреля, 23:59