Web-scraping: сбор данных из баз данных и интернет-источников

Материал из MathINFO
Перейти к навигации Перейти к поиску

Это страница практикума «Web-scraping: сбор данных из баз данных и интернет-источников», читаемого на программе «Психология» в 2023/2024 учебном году.

Практические занятия ведёт: Тамбовцева Алла Андреевна.

Правила игры

  • Формула оценки: 0.5 × ДЗ + 0.5 × Проект, программа курса.
  • Домашние задания, сданные после срока, оцениваются с использованием понижающих коэффициентов: опоздание в пределах часа – штраф 10% от полученной оценки, в пределах суток – штраф 30%, в пределах недели – штраф 70%. Домашние задания, сданные через неделю после указанного срока и позже, не принимаются и не оцениваются.
  • Форма для рассылки.

Среда для работы

Перед занятиями необходимо установить дистрибутив Anaconda (скачать можно здесь), который включает в себя интерпретатор языка Python, библиотеки для обработки, анализа и визуализации данных, а также среду для работы Jupyter Notebook. Также есть возможность работать в Jupyter Notebook онлайн, используя ресурс Google Colab (для создания и редактирования файлов нужен аккаунт Gmail).

Подробности по установке и работе – см. ниже в неделе 0.

Материалы курса

Неделя 0. Напоминания про Python и Jupyter Notebook

Для подготовки к работе на курсе можно ознакомиться со следующими материалами онлайн-курса:

А также с материалами по работе в Jupyter Notebook и Google Colab:

Дополнительно:

Неделя 1. Язык HTML и его особенности. Знакомство с BeautifulSoup

Дополнительно:

Неделя 2. Парсинг с BeautifulSoup: поиск по тэгам и атрибутам

Дополнительно:

Неделя 3. Обработка текстовых данных и регулярные выражения

Дополнительно:

Неделя 4. Введение в работу с API

Неделя 5. Работа с API ВКонтакте. Базовый анализ тональности текстов

Дополнительно:

Неделя 6. Управление браузером с Selenium

  • Практикум 6.1. Управление браузером с Selenium: поиск элементов, запросы XPATH (читать, ipynb), решения (читать, ipynb)
  • Практикум 6.2. Управление браузером с Selenium: работа с ВКонтакте и пример скроллинга (ipynb), решения (читать, ipynb)

Дополнительно:

Неделя 7. Управление браузером с Selenium: продолжение

  • Практикум 7.1. Обработка динамических таблиц (читать, ipynb).
  • Практикум 7.2. Скачивание файлов с Selenium (читать, ipynb).
  • Практикум 7.3. Работаем с Кинопоиском (читать, ipynb).

Домашние задания

Домашнее задание Дедлайн Файлы
Домашнее задание 1 26.01 23:59 ipynb
Домашнее задание 2 05.02 23:59 ipynb
Домашнее задание 3 26.02 23:59 ipynb
Домашнее задание 4 04.03 23:59 ipynb
Домашнее задание 5 25.03 23:59 ipynb

Проект

  • Описание и критерии: файл.
  • Дедлайн: 30 марта 15:00, выполненные проекты высылаются на почту преподавателя.

Полезные материалы для проекта:

  • Создание и установка приложения streamlit: вводная инструкция с примером приложения с двумя вкладками.
  • Пример приложения streamlit с генерацией облаков слов для английского языка: myapp.py, txt-файлы.
  • Пример ipynb-файла с виджетами для элементов меню.
  • Официальная документация библиотеки ipywidgets для виджетов.
Источник — http://math-info.hse.ru/wiki2023-24/index.php?title=Web-scraping:_сбор_данных_из_баз_данных_и_интернет-источников&oldid=467