Python для сбора данных — различия между версиями

Материалы по математике, 2018-19 учебный год
Перейти к: навигация, поиск
(Материалы)
(Материалы)
Строка 68: Строка 68:
 
| 02.04  
 
| 02.04  
 
|| Парсинг html-файлов. Web-scrapping.
 
|| Парсинг html-файлов. Web-scrapping.
||  [https://nbviewer.jupyter.org/github/allatambov/py-dat19/blob/master/21-03/lect-html.ipynb lect-html] [web-scrap]
+
||  [https://nbviewer.jupyter.org/github/allatambov/py-dat19/blob/master/21-03/lect-html.ipynb lect-html] [https://nbviewer.jupyter.org/github/allatambov/py-icef/blob/master/5-02-04/web-scrape.ipynb web-scrape]  
 
||  
 
||  
[https://www.w3schools.com/html/ w3schools]
+
[https://www.w3schools.com/html/ w3schools] [https://www.coursera.org/specializations/web-design веб-дизайн] на Coursera
 +
 
 +
[https://nbviewer.jupyter.org/github/allatambov/PyProg-2018/blob/master/14-12/html-sem.ipynb scraping-seminar] [https://nbviewer.jupyter.org/github/allatambov/PyProg-2018/blob/master/14-12/html-sem-solutions.ipynb scaping-solutions]
 
|-
 
|-
 
| 09.04  
 
| 09.04  
 
|| Управление браузером. Библиотека Selenium.
 
|| Управление браузером. Библиотека Selenium.
||  [https://github.com/allatambov/py-icef/blob/master/selenium-code selenium-1] [https://github.com/allatambov/py-icef/blob/master/selenium.ipynb selenium-2]
+
||  [https://nbviewer.jupyter.org/github/allatambov/py-icef/blob/master/6-09-04/lect-selenium-1.ipynb selenium-1] [https://github.com/allatambov/py-icef/blob/master/selenium.ipynb selenium-2]
|| [https://sites.google.com/a/chromium.org/chromedriver/downloads web-driver] [https://chrome.google.com/webstore/detail/selectorgadget/mhjhnkcfbdhnjickkkdbjoemdmbfginb selector-gadget] [https://github.com/mozilla/geckodriver/releases/tag/v0.24.0 web-driver firefox]
+
|| [https://sites.google.com/a/chromium.org/chromedriver/downloads web-driver] [https://github.com/mozilla/geckodriver/releases/tag/v0.24.0 web-driver firefox][https://chrome.google.com/webstore/detail/selectorgadget/mhjhnkcfbdhnjickkkdbjoemdmbfginb selector-gadget]  
 
|}
 
|}
  
Строка 88: Строка 90:
 
'''К проекту - вспомогательные материалы'''
 
'''К проекту - вспомогательные материалы'''
  
*[https://github.com/allatambov/CognTech/tree/master/statistics Статистика]: проверка гипотез и регрессионные модели
+
*[https://github.com/allatambov/CognTech/tree/master/statistics Статистика]: проверка гипотез и регрессионные модели в Python;
 +
 
 +
*[https://dash.plot.ly/ Dashboards]: аналитика и интерактив средствами ''dash'' и ''plotly'';
 +
 
 +
*[https://likegeeks.com/python-gui-examples-tkinter-tutorial/ Tkinter]: создание кнопок и окон с помощью tkinter;
  
* Dashboards: аналитика и интерактив
+
*[https://ipywidgets.readthedocs.io/en/stable/user_guide.html Jupyter Widget]: интерактивные виджеты в Jupyter;
  
 
== Домашние задания ==
 
== Домашние задания ==

Версия 01:21, 10 апреля 2019

Дорогие студенты!

На этой странице будут появляться различные материалы и объявления, связанные с курсом «Python для сбора данных», читаемого для студентов МИЭФ, в весеннем семестре 2018/2019 учебного года.

  • Авторы курса: Щуров Илья Валерьевич, Тамбовцева Алла Андреевна
  • Лекции и семинары ведет: Тамбовцева Алла Андреевна

Правила игры

Материалы

Загрузка файла в Jupyter Notebook и прочее: см. инструкцию.

Скачать файл с расширением .ipynb можно так: пройти по ссылке, нажать на стрелочку в правом верхнем углу (Download Notebook) и сохранить файл. При необходимости сменить расширение с .txt на .ipynb.

Дата занятия Тема Занятие Дополнительно
12.02 Знакомство с Jupyter Notebook. Введение в Python.

Ввод и вывод. Строки.

jupyter-intro python-intro

input-output strings

more on Jupyter Notebook, coding style,

string formatting, f-strings, LaTeX

19.02 Списки в Python. Цикл for. lists split-join

practice-1 practice-1-solutions

lists-methods, Jupyter magic cells,

how-not-to-get-bored-2

26.02 Управляющие конструкции в Python.

Цикл while. Функции в Python.

if-else-while [1]

practice-2 practice-2-solutionspractice-3

how-not-to-get-bored-3

12.03 Ещё немного о функциях. Датафреймы pandas.

practice-3-solutions more-functions

pandas-1 pandas-2 scores2.csv

how-not-to-get-bored-4

19.03 Библиотека pandas: продолжение. Визуализация.

pandas-3 practice-4 practice-4-solutions

elections.csv Titanic.csv

how-not-to-get-bored-5

matplotlib Галерея matplotlib Seaborn

02.04 Парсинг html-файлов. Web-scrapping. lect-html web-scrape

w3schools веб-дизайн на Coursera

scraping-seminar scaping-solutions

09.04 Управление браузером. Библиотека Selenium. selenium-1 selenium-2 web-driver web-driver firefoxselector-gadget

Дополнительно:

К проекту - вспомогательные материалы

  • Статистика: проверка гипотез и регрессионные модели в Python;
  • Dashboards: аналитика и интерактив средствами dash и plotly;
  • Tkinter: создание кнопок и окон с помощью tkinter;

Домашние задания

Название Базовый Продвинутый Дедлайн: базовый (продвинутый)
Домашнее задание 1 hw1-base hw1-adv 20 февраля, 23:59 (22 февраля, 23:59)
Домашнее задание 2 hw2-base hw2-adv 5 марта, 23:59 (24 марта, 23:59)
Домашнее задание 3 hw3-base не будет 20 марта, 23:59
Домашнее задание 4 hw4-base (грузить сюда) tba soon 7 апреля, 23:59
Домашнее задание 5 hw5 (грузить сюда) не будет 17 апреля, 23:59