Программирование для всех: продолжение: различия между версиями

Материал из MathINFO
Перейти к навигации Перейти к поиску
(не показано 8 промежуточных версий этого же участника)
Строка 12: Строка 12:
 
* [https://www.dropbox.com/scl/fo/n12nmaixp6rba001et6yo/AK4Q0ZgPPhmT6hLl-coRhwg?rlkey=rezd8nbzo7lwvxv3l4a4zzzxo&dl=0 Видеозаписи] занятия и «сырой» ipynb-файл с занятия.
 
* [https://www.dropbox.com/scl/fo/n12nmaixp6rba001et6yo/AK4Q0ZgPPhmT6hLl-coRhwg?rlkey=rezd8nbzo7lwvxv3l4a4zzzxo&dl=0 Видеозаписи] занятия и «сырой» ipynb-файл с занятия.
 
* Управление браузером с Selenium: поиск элементов на странице ([https://github.com/allatambov/PyAllAdd/blob/main/selenium-01.ipynb ipynb], итоговый [https://github.com/allatambov/PyAllAdd/blob/main/Python_items.xlsx xlsx]).
 
* Управление браузером с Selenium: поиск элементов на странице ([https://github.com/allatambov/PyAllAdd/blob/main/selenium-01.ipynb ipynb], итоговый [https://github.com/allatambov/PyAllAdd/blob/main/Python_items.xlsx xlsx]).
* Обработка и визуализация результатов (появится на выходных).
+
 
 +
=== Занятие 2. Управление браузером с Selenium и скачивание файлов ===
 +
 
 +
* Скачивание файлов с Selenium и знакомство с XPATH ([https://github.com/allatambov/PyAllAdd/blob/main/selenium-02.ipynb ipynb]).
 +
 
 +
* [https://www.w3schools.com/xml/xpath_syntax.asp Тьюториал] по XPATH от w3schools.
 +
 
 +
Дополнительно:
 +
 
 +
* Про HTML: [https://www.dropbox.com/scl/fi/59199zfqsrl556aym1l31/Intro_HTML.pdf?rlkey=ezzjmf5g9i5fpay565abfjm4e&dl=0 слайды], [https://www.w3schools.com/html/ Тьюториал] по HTML от w3schools, [https://html5book.ru/html-tags/ учебник] от html5book.ru.
 +
* Вводный [https://github.com/allatambov/WebScrape24/blob/main/psy_practice01_solutions.ipynb практикум] по парсингу HTML, [https://github.com/allatambov/WebScrape24/blob/main/psy_practice02_solutions_upd.ipynb практикум] по поиску по тэгам и атрибутам.
 +
* [https://en.wikipedia.org/wiki/List_of_HTTP_status_codes Статья] об ошибках запросов.
 +
 
 +
=== Занятие 3. Поиск и обработка динамических таблиц с Selenium, bs4 и pandas ===
 +
 
 +
* Файл к занятию ([https://github.com/allatambov/PyAllAdd/blob/main/selenium-03.ipynb selenium-03.ipynb]).
 +
* Обработка таблиц в HTML с помощью Pandas ([https://github.com/allatambov/PyAllAdd/blob/main/parse-tables-01.ipynb ipynb]).
 +
 
 +
=== Занятие 4. Введение в геоданные и библиотеку geopandas ===
 +
 
 +
* Файлы json: [https://github.com/allatambov/PyAllAdd/blob/main/Percent_of_Area_Covered_by_Trees.geojson Baltimore.geojson], [https://github.com/allatambov/PyAllAdd/blob/main/%D0%9A%D0%B8%D1%80%D0%BE%D0%B2%D1%81%D0%BA%D0%B0%D1%8F%20%D0%BE%D0%B1%D0%BB%D0%B0%D1%81%D1%82%D1%8C_Kirov%20Region.geojson KirovRegion.geojson].
 +
 
 +
Дополнительно:
 +
 
 +
* Документация библиотеки [https://geopandas.org/en/stable/index.html geopandas], [https://matplotlib.org/stable/users/explain/colors/colormaps.html палитры] цветов.
 +
* [https://github.com/timurkanaz/Russia_geojson_OSM Репозиторий] с geojson-файлами по России.

Версия 15:12, 16 мая 2024

Дорогие студенты!

Это страница продолжения курса «Программирование для всех (основы Python)», неофициального «кружка» по программированию для желающих.
Занятия посвящены веб-скреппингу, обработке, визуализации и разведывательному анализу данных.

Преподаватель: Тамбовцева Алла Андреевна.

Материалы занятий

Занятие 1. Введение в управление браузером с Selenium

  • Видеозаписи занятия и «сырой» ipynb-файл с занятия.
  • Управление браузером с Selenium: поиск элементов на странице (ipynb, итоговый xlsx).

Занятие 2. Управление браузером с Selenium и скачивание файлов

  • Скачивание файлов с Selenium и знакомство с XPATH (ipynb).

Дополнительно:

Занятие 3. Поиск и обработка динамических таблиц с Selenium, bs4 и pandas

  • Файл к занятию (selenium-03.ipynb).
  • Обработка таблиц в HTML с помощью Pandas (ipynb).

Занятие 4. Введение в геоданные и библиотеку geopandas

Дополнительно: