Python для сбора данных — различия между версиями

Материалы по математике, 2018-19 учебный год
Перейти к: навигация, поиск
(Материалы)
(Материалы)
Строка 111: Строка 111:
 
''Карты''
 
''Карты''
  
*[https://github.com/googlemaps/google-maps-services-python Googlemaps]: GoogleMaps API и Python, [https://www.geeksforgeeks.org/python-calculate-distance-duration-two-places-using-google-distance-matrix-api/ GoogleMaps]: GoogleMaps and distances;
+
*[https://github.com/googlemaps/google-maps-services-python Googlemaps]: GoogleMaps API и Python, [https://www.geeksforgeeks.org/python-calculate-distance-duration-two-places-using-google-distance-matrix-api/ GoogleMaps]: GoogleMaps and distances; [https://pypi.org/project/yandex-maps/ Яндекс-карты]: Яндекс-карты API и Python;
 
 
*[https://pypi.org/project/yandex-maps/ Яндекс-карты]: Яндекс-карты API и Python;
 
  
 
*Работа с shape-файлами и раскраска карт: [http://geopandas.org/ geopandas-official], [http://darribas.org/gds15/content/labs/lab_03.html geopandas-lab], [https://towardsdatascience.com/mapping-geograph-data-in-python-610a963d2d7f shape-files], [https://gadm.org/maps.html GAM] (ресурс с shp-файлами для карт);
 
*Работа с shape-файлами и раскраска карт: [http://geopandas.org/ geopandas-official], [http://darribas.org/gds15/content/labs/lab_03.html geopandas-lab], [https://towardsdatascience.com/mapping-geograph-data-in-python-610a963d2d7f shape-files], [https://gadm.org/maps.html GAM] (ресурс с shp-файлами для карт);
Строка 121: Строка 119:
 
*[https://www.datacamp.com/community/tutorials/wordcloud-python Wordclouds]: облака слов в Python;
 
*[https://www.datacamp.com/community/tutorials/wordcloud-python Wordclouds]: облака слов в Python;
  
*Telegram-боты: [https://tproger.ru/translations/telegram-bot-create-and-deploy/], [https://medium.freecodecamp.org/learn-to-build-your-first-bot-in-telegram-with-python-4c99526765e4];
+
*Telegram-боты: [https://tproger.ru/translations/telegram-bot-create-and-deploy/ 1], [https://medium.freecodecamp.org/learn-to-build-your-first-bot-in-telegram-with-python-4c99526765e4 2];
  
 
== Домашние задания ==
 
== Домашние задания ==

Версия 23:42, 29 апреля 2019

Дорогие студенты!

На этой странице будут появляться различные материалы и объявления, связанные с курсом «Python для сбора данных», читаемого для студентов МИЭФ, в весеннем семестре 2018/2019 учебного года.

  • Авторы курса: Щуров Илья Валерьевич, Тамбовцева Алла Андреевна
  • Лекции и семинары ведет: Тамбовцева Алла Андреевна

Правила игры

Материалы

Загрузка файла в Jupyter Notebook и прочее: см. инструкцию.

Скачать файл с расширением .ipynb можно так: пройти по ссылке, нажать на стрелочку в правом верхнем углу (Download Notebook) и сохранить файл. При необходимости сменить расширение с .txt на .ipynb.

Дата занятия Тема Занятие Дополнительно
12.02 Знакомство с Jupyter Notebook. Введение в Python.

Ввод и вывод. Строки.

jupyter-intro python-intro

input-output strings

more on Jupyter Notebook, coding style,

string formatting, f-strings, LaTeX

19.02 Списки в Python. Цикл for. lists split-join

practice-1 practice-1-solutions

lists-methods, Jupyter magic cells,

how-not-to-get-bored-2

26.02 Управляющие конструкции в Python.

Цикл while. Функции в Python.

if-else-while [1]

practice-2 practice-2-solutionspractice-3

how-not-to-get-bored-3

12.03 Ещё немного о функциях. Датафреймы pandas.

practice-3-solutions more-functions

pandas-1 pandas-2 scores2.csv

how-not-to-get-bored-4

19.03 Библиотека pandas: продолжение. Визуализация.

pandas-3 practice-4 practice-4-solutions

elections.csv Titanic.csv

how-not-to-get-bored-5

matplotlib Галерея matplotlib Seaborn

02.04 Парсинг html-файлов. Web-scrapping. lect-html web-scrape

w3schools веб-дизайн на Coursera

scraping-seminar scaping-solutions

09.04 Управление браузером. Библиотека Selenium. selenium-1 selenium-2 web-driver web-driver firefox

selector-gadget selenium-books

16.04 Работа с API. Формат json. [vk-library] vk-instruct vk-docs vk-api-library

datetime рассылка gmail

Дополнительно:

К проекту - вспомогательные материалы

Общее

  • [Примеры] проектов; Статистика: проверка гипотез и регрессионные модели в Python;

Интерактив

  • Dashboards: аналитика и интерактив средствами dash и plotly;
  • Tkinter: создание кнопок и окон с помощью tkinter, Jupyter Widget: интерактивные виджеты в Jupyter;
  • Flask: создание сайтов на платформе Flask средствами Python;

Карты

Работа с текстами, боты

  • Telegram-боты: 1, 2;

Домашние задания

Название Базовый Продвинутый Дедлайн: базовый (продвинутый)
Домашнее задание 1 hw1-base hw1-adv 20 февраля, 23:59 (22 февраля, 23:59)
Домашнее задание 2 hw2-base hw2-adv 5 марта, 23:59 (24 марта, 23:59)
Домашнее задание 3 hw3-base не будет 20 марта, 23:59
Домашнее задание 4 hw4-base (грузить сюда) tba soon 7 апреля, 23:59
Домашнее задание 5 hw5 (грузить сюда) не будет 25 апреля, 23:59