Web-scraping: сбор данных из баз данных и интернет-источников: различия между версиями
Строка 50: | Строка 50: | ||
* Практикум 4: Работа с API ВКонтакте: ([https://github.com/allatambov/WebScrape23/blob/main/psy-practice04.ipynb читать], [https://www.dropbox.com/s/epd2mjxgo065dvu/psy-practice04.ipynb?dl=0 скачать]), решения практикума ([https://github.com/allatambov/WebScrape23/blob/main/psy-practice04-solutions.ipynb читать], [https://www.dropbox.com/s/dpxfbf2erlr208u/psy-practice04-solutions.ipynb?dl=0 скачать]). | * Практикум 4: Работа с API ВКонтакте: ([https://github.com/allatambov/WebScrape23/blob/main/psy-practice04.ipynb читать], [https://www.dropbox.com/s/epd2mjxgo065dvu/psy-practice04.ipynb?dl=0 скачать]), решения практикума ([https://github.com/allatambov/WebScrape23/blob/main/psy-practice04-solutions.ipynb читать], [https://www.dropbox.com/s/dpxfbf2erlr208u/psy-practice04-solutions.ipynb?dl=0 скачать]). | ||
− | ===Работа с текстами: анализ тональности и облака слов (07 февраля)=== | + | ===Занятие 05. Работа с текстами: анализ тональности и облака слов (07 февраля)=== |
* Практикум 5: анализ тональности и облака слов ([https://github.com/allatambov/WebScrape23/blob/main/practice-texts.ipynb читать], [https://www.dropbox.com/s/fo44rw1cl0f6rph/practice-texts.ipynb?dl=0 скачать]), файл [https://www.dropbox.com/s/o4q1c13d7gnxj18/comments-as-rows.csv?dl=0 comments-as-rows.csv] | * Практикум 5: анализ тональности и облака слов ([https://github.com/allatambov/WebScrape23/blob/main/practice-texts.ipynb читать], [https://www.dropbox.com/s/fo44rw1cl0f6rph/practice-texts.ipynb?dl=0 скачать]), файл [https://www.dropbox.com/s/o4q1c13d7gnxj18/comments-as-rows.csv?dl=0 comments-as-rows.csv] |
Версия 02:41, 15 февраля 2023
Это страница обязательного курса «Web-scraping: сбор данных из баз данных и интернет-источников», читаемого на программе «Психология» 3 курса бакалавриата в 2022/2023 учебном году.
Практические занятия ведёт: Тамбовцева Алла Андреевна.
Содержание
- 1 Правила игры
- 2 Среда для работы
- 3 Для практики
- 4 Материалы курса
- 4.1 Занятие 01. Язык HTML и его особенности. Знакомство с BeautifulSoup (10 января)
- 4.2 Занятие 02. Парсинг HTML-файлов с BeautifulSoup (17 января)
- 4.3 Занятие 03. Веб-скреппинг с BeautifulSoup, pandas и json (24 января)
- 4.4 Занятие 04. Работа с API ВКонтакте (31 января)
- 4.5 Занятие 05. Работа с текстами: анализ тональности и облака слов (07 февраля)
- 4.6 Управление браузером с Selenium (14 февраля)
- 5 Домашние задания
Правила игры
- Формула оценки: 0.5 × ДЗ + 0.5 × Проект, программа курса.
- Домашние задания, сданные после срока, оцениваются с использованием понижающих коэффициентов: опоздание в пределах часа – штраф 10% от полученной оценки, в пределах суток – штраф 30%, в пределах недели – штраф 70%. Домашние задания, сданные через неделю после указанного срока и позже, не принимаются и не оцениваются.
Среда для работы
На данном курсе мы используем язык Python версии не ниже 3.5 и среду Jupyter Notebook. Скачать дистрибутив Anaconda, который установит интерпретатор Python, среду Jupyter Notebook и основные библиотеки для работы с данными, можно здесь. Если вы никогда не работали в Jupyter Notebook, предлагаем посмотреть небольшое видео и почитать инструкцию. В течение первой половины курса вместо Jupyter Notebook можно использовать онлайн-среду Google Colab, она бесплатна, но для работы нужен аккаунт Gmail.
Для практики
Если вы имеете мало опыта работы с Python, рекомендуем обратиться к следующим курсам на DataCamp (бесплатный доступ предоставлен всем слушателям этого курса): Introduction to Python, Python Data Science Toolbox (Part 1), Python Data Science Toolbox (Part 2), Data Manipulation with pandas.
Если хочется освежить в памяти разные сведения о конструкциях и структурах в Python, можно почитать материалы курса Python для сбора и анализа данных.
Материалы курса
Занятие 01. Язык HTML и его особенности. Знакомство с BeautifulSoup (10 января)
- Язык HTML и его особенности: слайды, файл на codepen.
- Практикум 1 (читать, скачать), решения практикума (читать, скачать).
Дополнительно
Занятие 02. Парсинг HTML-файлов с BeautifulSoup (17 января)
Занятие 03. Веб-скреппинг с BeautifulSoup, pandas и json (24 января)
- Практикум 3: о некоторых нюансах работы с BeautifulSoup (читать, сырой ipynb).
- Обработка таблиц внутри HTML с BeautifulSoup и pandas (читать, ipynb).
- Извлечение кода JavaScript из HTML и обработка JSON-строк (читать, ipynb).
Дополнительно
- Документация BeautifulSoup.
- Обзор регулярных выражений на habr.com, документация модуля re.
Занятие 04. Работа с API ВКонтакте (31 января)
- Инструкция по получению доступа к API.
- Практикум 4: Работа с API ВКонтакте: (читать, скачать), решения практикума (читать, скачать).
Занятие 05. Работа с текстами: анализ тональности и облака слов (07 февраля)
- Практикум 5: анализ тональности и облака слов (читать, скачать), файл comments-as-rows.csv
- Документация библиотеки dostoevsky, документация библиотеки pymorphy2, стоп-слова для русского языка.
- Тьюториал по облакам слов от DataCamp.
Дополнительно
Управление браузером с Selenium (14 февраля)
- Установка Selenium и драйверов для Chrome: инструкция, ссылка на драйвера.
- Практикум 6: управление браузером с Selenium на примере ВКонтакте (читать, скачать), решения (читать, ipynb).
- Неофициальная документация библиотеки Selenium.
Домашние задания
Домашнее задание №3 объёмное, за него ставится две оценки. Итого за четыре домашних задания студенты получают пять оценок, что равносильно выполнению пяти заданий, заявленных в программе курса.
Домашнее задание | Файл | Дедлайн |
---|---|---|
Домашнее задание 1 | ipynb | 17.01 23:59 |
Домашнее задание 2 | ipynb | 23.01 23:59 |
Домашнее задание 3 | ipynb | 25.02 23:59 |
Домашнее задание 4 | ipynb |