Компьютерные инструменты обработки данных

Инструменты

Python

• Язык: Python 2.7.

• Интерактивная оболочка: IPython Notebook.

• Для установки Python, IPython Notebook и необходимых библиотек проще всего использовать свободный пакет Anaconda. Другой вариант: использовать сервис cloud.sagemath.com. После регистрации нужно будет создать новый проект, а в этом новом проекте создать новый IPython Notebook.

R

• Язык: R

• Интерактивная оболочка: RStudio

Материалы

• Занятие 1: Первое знакомство c Python. Типы данных (pdf) (ipynb) Python как калькулятор. Переменные. Числа Фибоначчи. Типы данных. Списки

• Занятие 2: Управляющие конструкции (pdf) (ipynb) if, for и while.

• Занятие 3: часть 1: кортежи и строки (pdf) (ipynb), часть 2: словари (pdf) (ipynb).

• Занятие 4: Задачи (pdf) (ipynb)

• Занятие 5: Функции (pdf) (ipynb)

• Занятие 6: Ещё о функциях и list comprehensions (pdf) (ipynb)

• Занятие 7: Работа с файлами: txt и csv (pdf) (ipynb)

• Занятие 8: Работа с файлами: HTML (pdf) (ipynb)

• Занятие 9: API, XML и JSON (pdf) (ipynb)

• Занятие 10: numpy и scipy (pdf) (ipynb)

• Занятие 11 и 12: pandas, часть 1 (pdf) (ipynb): базовые возможности dataframes

• Занятие 13: pandas, часть 2 (pdf) (ipynb): pandas и регрессии

• Занятие 14: pandas, часть 3 (pdf) (ipynb): ещё про регрессии и работа с различными источниками данных (а также offtopic про символьные вычисления)

• Занятие 15: pandas, часть 4 (pdf) (ipynb): прогноз погоды и климата

• Занятия 16-17: немного про R (см. также [1], [2]).

Данные

• Файлы для обработки

• Cсылка на API Geocoder от Яндекс-Карт.

• Тарифы ЖКХ

• Статистика успеваемости

• Погода в Москве источник

Домашние работы

• ДЗ№1 (pdf) (ipynb): срок сдачи 7 февраля, 22:00.

• ДЗ№2 (pdf) (ipynb): срок сдачи 3 марта, 22:00.

• ДЗ№3 (pdf) (ipynb): срок сдачи 30 марта, 22:00.

Упражнения

Разные

• CodingBat: разные упражнения с автоматической проверкой.

Продвинутые

• Найти участковую избирательную комиссию на выборах в Мосгордуму 2014, имеющую минимальную явку. См. тут.

Ссылки

Руководства и справочники

• Python Tutorial.

• Code Like a Pythonista: Idiomatic Python by David Goodger.

• Python in Education

Интерактивные сервисы

• Online Python Tutor позволяет шаг за шагом выполнять код и смотреть, что при этом происходит с переменными.

Полезные программы

• PyCharm Educational: образовательная версия IDE PyCharm.