Web-scraping: сбор данных из баз данных и интернет-источников: различия между версиями

Материал из MathINFO
Перейти к навигации Перейти к поиску
Строка 66: Строка 66:
 
* Облака слов с библиотекой wordcloud: [https://www.datacamp.com/community/tutorials/wordcloud-python тьюториал].
 
* Облака слов с библиотекой wordcloud: [https://www.datacamp.com/community/tutorials/wordcloud-python тьюториал].
 
* [https://raw.githubusercontent.com/stopwords-iso/stopwords-ru/master/stopwords-ru.txt Список] стоп-слов для русского языка, библиотека [https://pymorphy2.readthedocs.io/en/stable/ pymorphy2].
 
* [https://raw.githubusercontent.com/stopwords-iso/stopwords-ru/master/stopwords-ru.txt Список] стоп-слов для русского языка, библиотека [https://pymorphy2.readthedocs.io/en/stable/ pymorphy2].
 +
 +
===3 марта. Исключения. BeautifulSoup и pandas. Введение в Selenium===
 +
 +
* [https://www.dropbox.com/s/mg04qo4w7w110fk/03-03-class06.mp4?dl=0 Видеозапись] занятия.
 +
* Исключения ([читать], [скачать]). BeautifulSoup и pandas ([читать], [скачать]).
 +
* Введение в Selenium ([читать], [скачать]). [https://chromedriver.chromium.org/downloads Драйвер] для Chrome.
 +
 +
'''Дополнительно'''
 +
 +
* [https://selenium-python.readthedocs.io/ Документация] Selenium.
 +
 +
===10 марта. Управление браузером с библиотекой Selenium===
  
 
==Домашние задания==
 
==Домашние задания==

Версия 10:34, 10 марта 2022

Это страница обязательного курса «Web-scraping: сбор данных из баз данных и интернет-источников», читаемого на программе «Психология» 4 курса бакалавриата в 2021/2022 учебном году.

Преподаватель: Тамбовцева Алла Андреевна.

Правила игры

  • Формула оценки: 0.6 × ДЗ + 0.4 × Экзамен.
  • Домашние задания, сданные после срока, оцениваются с использованием понижающих коэффициентов: опоздание в пределах часа – штраф 10% от полученной оценки, в пределах суток – штраф 30%, в пределах недели – штраф 70%. Домашние задания, сданные через неделю после указанного срока и позже, не принимаются и не оцениваются.
  • Программа курса.

Среда для работы

На данном курсе мы используем язык Python версии не ниже 3.5 и среду Jupyter Notebook. Скачать дистрибутив Anaconda, который установит интерпретатор Python, среду Jupyter Notebook и основные библиотеки для работы с данными, можно здесь. Если вы никогда не работали в Jupyter Notebook, предлагаем посмотреть небольшое видео и почитать инструкцию.

Если вы имеете мало опыта работы с Python, рекомендуем обратиться к следующим курсам на DataCamp (бесплатный доступ предоставлен всем слушателям этого курса): Introduction to Python, Python Data Science Toolbox (Part 1) и Python Data Science Toolbox (Part 2).

Материалы

27 января. Введение в web-scraping. Язык HTML и его особенности

Дополнительно

3 февраля. Структуры данных в Python: списки, кортежи, словари

Дополнительно

10 февраля. Парсинг HTML с библиотекой BeautifulSoup: часть 1

Дополнительно

17 февраля. Парсинг HTML с библиотекой BeautifulSoup: часть 2

Дополнительно

24 февраля. Работа с текстами: облака слов и первичная обработка текста

3 марта. Исключения. BeautifulSoup и pandas. Введение в Selenium

  • Видеозапись занятия.
  • Исключения ([читать], [скачать]). BeautifulSoup и pandas ([читать], [скачать]).
  • Введение в Selenium ([читать], [скачать]). Драйвер для Chrome.

Дополнительно

10 марта. Управление браузером с библиотекой Selenium

Домашние задания

Задание Дедлайн Файл с заданием
Домашнее задание 1 18.02 23:59 смотреть скачать
Домашнее задание 2 04.03 23:59 смотреть скачать
Домашнее задание 3 TBA
Источник — http://math-info.hse.ru/wiki2021-22/index.php?title=Web-scraping:_сбор_данных_из_баз_данных_и_интернет-источников&oldid=585