Программирование [Stepik, Павел Хошев] Парсинг API на Python (2026)

[Cuddlies]

Автор: Stepik, Павел Хошев
Название: Парсинг API на Python (2026)

Описание:

В основе курса лежит stepstat.ru - учебный сайт-тренажёр и одновременно живое веб-приложение, которое

собирает данные о курсах Stepik. На протяжении курса вы будете работать с его API: получать карточки курсов, рейтинги, отзывы, промокоды, статистику, команды авторов, поисковые логи и другие данные.

Мы сделали курс максимально практическим. Теория здесь нужна не для галочки, а чтобы вы не тыкались в API вслепую. Квизы тоже будут, но без фанатизма: ровно столько, чтобы закрепить важные идеи и не дать теории улететь из головы сразу после прочтения.

Чему вы научитесь:

уверенно читать документацию API и понимать, какие эндпоинты, параметры и форматы ответов вам нужны;
отправлять GET и POST запросы через requests, передавать params, headers, cookies и таймауты;
работать с объектом Response: проверять статус-коды, заголовки, тело ответа и Content-Type;
разбирать JSON-ответы, ходить по вложенным структурам и не падать на null, пустых списках и неожиданных типах;
приводить данные API к нормальному виду: даты, цены, рейтинги, списки, вложенные поля;
сохранять результат в JSON и CSV так, чтобы его можно было использовать дальше;
строить запросы с query- и path-параметрами, проходить пагинацию, делать batch-запросы и учитывать rate limiting;
использовать Session, ретраи и HTTP-адаптеры для более устойчивого парсинга;
работать с API Key, Bearer Token, JWT, Basic Auth и cookie-сессиями;
понимать, как работает сжатие HTTP-ответов: gzip, deflate, br, zstd;
подключать прокси к requests, проверять их и понимать базовые стратегии ротации.
В курсе есть:

вводный модуль про API, REST и документацию;
модуль по requests: установка, первый запрос, Response, коды ответов, заголовки, cookies;
большой модуль по JSON: вложенные структуры, даты, деньги, ошибки .json(), нормализация, JSON/CSV, flatten;
модуль про точную настройку запроса: query/path-параметры, пагинация, batch, rate limiting, сессии и адаптеры;
модуль про авторизацию API: API Key, Bearer/JWT, Basic Auth, cookies, OAuth и хранение токенов;
модуль про сжатие HTTP-ответов;
модуль про прокси и ротацию(в разработке).
Программа:

Введение

Введение
Содержание
Что такое API
Как работает современный API
Что такое RESTful API и чем он нам полезен
Изучение документации /docs
Основы requests.

API на пальцах: что это и зачем
Установка и импорт
Сигнатура метода GET и POST
Объект Response
Коды ответов HTTP
Точка входа в API
Фильтруем выдачу
Договариваемся с сервером
Предъяви своё печенье
Работа с JSON-ответами API.

Введение
Синтаксис JSON и маппинг типов
Навигация по структуре JSON
Типы данных API: даты, цены, числа и null
response.json() и ошибки
Нормализация ответа
Сохраняем результат в JSON
Сохраняем результат в CSV
Flatten: расплющиваем вложенные структуры
Точная настройка запроса.

Query-параметры
Path-параметры
Комбинированные запросы
Пагинация в API
Batch-запросы
Rate limiting - ограничение на количество запросов
Работа с сессиями
HTTP Адаптеры
Авторизация API.

Введение в авторизацию API
Bearer, API key, Basic Auth
API Key
Bearer Token и JWT
Basic Auth
Cookie и сессии
OAuth 2.0
Безопасное хранение ключей и токенов

Сжатие HTTP-ответов.
Введение: зачем сжатие и когда оно важно
Зачем использовать сжатие?
deflate базовый алгоритм
gzip проверенная классика
br современный выбор
zstd новейший алгоритм
Обратная сторона: CPU vs сеть
Сравнение алгоритмов: когда что выбрать
Прокси.

Введение 2.0
Введение
Proxies
Используем прокси
Серверные прокси
Резидентские прокси
Мобильные прокси
Стратегии ротации прокси
Это конец.

Куда дальше?

Скачать: