Программирование для всех: продолжение
Перейти к навигации
Перейти к поиску
Дорогие студенты!
Это страница продолжения курса «Программирование для всех (основы Python)», неофициального «кружка» по программированию для желающих.
Занятия посвящены веб-скреппингу, обработке, визуализации и разведывательному анализу данных.
Преподаватель: Тамбовцева Алла Андреевна.
Содержание
- 1 Материалы занятий
- 1.1 Занятие 1. Введение в управление браузером с Selenium (11.04)
- 1.2 Занятие 2. Управление браузером с Selenium и скачивание файлов (18.04)
- 1.3 Занятие 3. Поиск и обработка динамических таблиц с Selenium, bs4 и pandas (25.04)
- 1.4 Занятие 4. Введение в геоданные и библиотеку geopandas (16.05)
- 1.5 Занятие 5. Работа с геоданными: продолжение (30.05)
- 1.6 Занятие 6. Введение в регулярные выражения (13.06)
Материалы занятий
Занятие 1. Введение в управление браузером с Selenium (11.04)
- Видеозаписи занятия и «сырой» ipynb-файл с занятия.
- Управление браузером с Selenium: поиск элементов на странице (ipynb, итоговый xlsx).
Занятие 2. Управление браузером с Selenium и скачивание файлов (18.04)
- Скачивание файлов с Selenium и знакомство с XPATH (ipynb).
- Тьюториал по XPATH от w3schools.
Дополнительно:
- Про HTML: слайды, Тьюториал по HTML от w3schools, учебник от html5book.ru.
- Вводный практикум по парсингу HTML, практикум по поиску по тэгам и атрибутам.
- Статья об ошибках запросов.
Занятие 3. Поиск и обработка динамических таблиц с Selenium, bs4 и pandas (25.04)
- Файл к занятию (selenium-03.ipynb).
- Обработка таблиц в HTML с помощью Pandas (ipynb).
Занятие 4. Введение в геоданные и библиотеку geopandas (16.05)
- Файлы json: Baltimore.geojson, KirovRegion.geojson.
Дополнительно:
- Документация библиотеки geopandas, палитры цветов.
- Репозиторий с geojson-файлами по России.
Занятие 5. Работа с геоданными: продолжение (30.05)
- Файлы с данными: KirovRegion.geojson, Kirov_elections.xlsx.
- Файл к занятию: maps_ctd.ipynb.
Занятие 6. Введение в регулярные выражения (13.06)
- Примеры для работы (ссылка), файл order_details.csv, orders.csv.