Программирование для всех: продолжение: различия между версиями
Перейти к навигации
Перейти к поиску
| (не показаны 3 промежуточные версии этого же участника) | |||
| Строка 8: | Строка 8: | ||
== Материалы занятий == | == Материалы занятий == | ||
| − | === Занятие 1. Введение в управление браузером с Selenium === | + | === Занятие 1. Введение в управление браузером с Selenium (11.04) === |
* [https://www.dropbox.com/scl/fo/n12nmaixp6rba001et6yo/AK4Q0ZgPPhmT6hLl-coRhwg?rlkey=rezd8nbzo7lwvxv3l4a4zzzxo&dl=0 Видеозаписи] занятия и «сырой» ipynb-файл с занятия. | * [https://www.dropbox.com/scl/fo/n12nmaixp6rba001et6yo/AK4Q0ZgPPhmT6hLl-coRhwg?rlkey=rezd8nbzo7lwvxv3l4a4zzzxo&dl=0 Видеозаписи] занятия и «сырой» ipynb-файл с занятия. | ||
* Управление браузером с Selenium: поиск элементов на странице ([https://github.com/allatambov/PyAllAdd/blob/main/selenium-01.ipynb ipynb], итоговый [https://github.com/allatambov/PyAllAdd/blob/main/Python_items.xlsx xlsx]). | * Управление браузером с Selenium: поиск элементов на странице ([https://github.com/allatambov/PyAllAdd/blob/main/selenium-01.ipynb ipynb], итоговый [https://github.com/allatambov/PyAllAdd/blob/main/Python_items.xlsx xlsx]). | ||
| − | === Занятие 2. Управление браузером с Selenium и скачивание файлов === | + | === Занятие 2. Управление браузером с Selenium и скачивание файлов (18.04) === |
* Скачивание файлов с Selenium и знакомство с XPATH ([https://github.com/allatambov/PyAllAdd/blob/main/selenium-02.ipynb ipynb]). | * Скачивание файлов с Selenium и знакомство с XPATH ([https://github.com/allatambov/PyAllAdd/blob/main/selenium-02.ipynb ipynb]). | ||
| Строка 25: | Строка 25: | ||
* [https://en.wikipedia.org/wiki/List_of_HTTP_status_codes Статья] об ошибках запросов. | * [https://en.wikipedia.org/wiki/List_of_HTTP_status_codes Статья] об ошибках запросов. | ||
| − | === Занятие 3. Поиск и обработка динамических таблиц с Selenium, bs4 и pandas === | + | === Занятие 3. Поиск и обработка динамических таблиц с Selenium, bs4 и pandas (25.04) === |
* Файл к занятию ([https://github.com/allatambov/PyAllAdd/blob/main/selenium-03.ipynb selenium-03.ipynb]). | * Файл к занятию ([https://github.com/allatambov/PyAllAdd/blob/main/selenium-03.ipynb selenium-03.ipynb]). | ||
* Обработка таблиц в HTML с помощью Pandas ([https://github.com/allatambov/PyAllAdd/blob/main/parse-tables-01.ipynb ipynb]). | * Обработка таблиц в HTML с помощью Pandas ([https://github.com/allatambov/PyAllAdd/blob/main/parse-tables-01.ipynb ipynb]). | ||
| − | === Занятие 4. Введение в геоданные и библиотеку geopandas === | + | === Занятие 4. Введение в геоданные и библиотеку geopandas (16.05) === |
* Файлы json: [https://github.com/allatambov/PyAllAdd/blob/main/Percent_of_Area_Covered_by_Trees.geojson Baltimore.geojson], [https://github.com/allatambov/PyAllAdd/blob/main/%D0%9A%D0%B8%D1%80%D0%BE%D0%B2%D1%81%D0%BA%D0%B0%D1%8F%20%D0%BE%D0%B1%D0%BB%D0%B0%D1%81%D1%82%D1%8C_Kirov%20Region.geojson KirovRegion.geojson]. | * Файлы json: [https://github.com/allatambov/PyAllAdd/blob/main/Percent_of_Area_Covered_by_Trees.geojson Baltimore.geojson], [https://github.com/allatambov/PyAllAdd/blob/main/%D0%9A%D0%B8%D1%80%D0%BE%D0%B2%D1%81%D0%BA%D0%B0%D1%8F%20%D0%BE%D0%B1%D0%BB%D0%B0%D1%81%D1%82%D1%8C_Kirov%20Region.geojson KirovRegion.geojson]. | ||
| + | |||
| + | Дополнительно: | ||
| + | |||
| + | * Документация библиотеки [https://geopandas.org/en/stable/index.html geopandas], [https://matplotlib.org/stable/users/explain/colors/colormaps.html палитры] цветов. | ||
| + | * [https://github.com/timurkanaz/Russia_geojson_OSM Репозиторий] с geojson-файлами по России. | ||
| + | |||
| + | === Занятие 5. Работа с геоданными: продолжение (30.05) === | ||
| + | |||
| + | * Файлы с данными: [https://github.com/allatambov/PyAllAdd/blob/main/%D0%9A%D0%B8%D1%80%D0%BE%D0%B2%D1%81%D0%BA%D0%B0%D1%8F%20%D0%BE%D0%B1%D0%BB%D0%B0%D1%81%D1%82%D1%8C_Kirov%20Region.geojson KirovRegion.geojson], [https://github.com/allatambov/PyAllAdd/blob/main/Kirov_elections.xlsx Kirov_elections.xlsx]. | ||
| + | |||
| + | * Файл к занятию: [https://github.com/allatambov/PyAllAdd/blob/main/maps_ctd.ipynb maps_ctd.ipynb]. | ||
| + | |||
| + | === Занятие 6. Введение в регулярные выражения (13.06) === | ||
| + | |||
| + | * Примеры для работы ([https://github.com/allatambov/PyAllAdd/blob/main/for-re.txt ссылка]), файл [https://github.com/allatambov/PyAllAdd/blob/main/order_details.csv order_details.csv], [https://github.com/allatambov/PyAllAdd/blob/main/orders.csv orders.csv]. | ||
Текущая версия на 14:16, 13 июня 2024
Дорогие студенты!
Это страница продолжения курса «Программирование для всех (основы Python)», неофициального «кружка» по программированию для желающих.
Занятия посвящены веб-скреппингу, обработке, визуализации и разведывательному анализу данных.
Преподаватель: Тамбовцева Алла Андреевна.
Содержание
- 1 Материалы занятий
- 1.1 Занятие 1. Введение в управление браузером с Selenium (11.04)
- 1.2 Занятие 2. Управление браузером с Selenium и скачивание файлов (18.04)
- 1.3 Занятие 3. Поиск и обработка динамических таблиц с Selenium, bs4 и pandas (25.04)
- 1.4 Занятие 4. Введение в геоданные и библиотеку geopandas (16.05)
- 1.5 Занятие 5. Работа с геоданными: продолжение (30.05)
- 1.6 Занятие 6. Введение в регулярные выражения (13.06)
Материалы занятий
Занятие 1. Введение в управление браузером с Selenium (11.04)
- Видеозаписи занятия и «сырой» ipynb-файл с занятия.
- Управление браузером с Selenium: поиск элементов на странице (ipynb, итоговый xlsx).
Занятие 2. Управление браузером с Selenium и скачивание файлов (18.04)
- Скачивание файлов с Selenium и знакомство с XPATH (ipynb).
- Тьюториал по XPATH от w3schools.
Дополнительно:
- Про HTML: слайды, Тьюториал по HTML от w3schools, учебник от html5book.ru.
- Вводный практикум по парсингу HTML, практикум по поиску по тэгам и атрибутам.
- Статья об ошибках запросов.
Занятие 3. Поиск и обработка динамических таблиц с Selenium, bs4 и pandas (25.04)
- Файл к занятию (selenium-03.ipynb).
- Обработка таблиц в HTML с помощью Pandas (ipynb).
Занятие 4. Введение в геоданные и библиотеку geopandas (16.05)
- Файлы json: Baltimore.geojson, KirovRegion.geojson.
Дополнительно:
- Документация библиотеки geopandas, палитры цветов.
- Репозиторий с geojson-файлами по России.
Занятие 5. Работа с геоданными: продолжение (30.05)
- Файлы с данными: KirovRegion.geojson, Kirov_elections.xlsx.
- Файл к занятию: maps_ctd.ipynb.
Занятие 6. Введение в регулярные выражения (13.06)
- Примеры для работы (ссылка), файл order_details.csv, orders.csv.
