Requests VS Aiohttp | Ускоряем HTTP запросы на максимум

Опубликовано: 30 Сентябрь 2024
на канале: ZProger [ IT ]

34,027

2.1k

⭐ Какие прокси я использую: https://asocks.com/ru
⬆️ Промокод на первые 5 GB бесплатно: GTHDSQ1

⭐ Курс ООП и Приват канал: https://www.zproger-school.com/?utm_s...

⭐ Телеграм канал: https://t.me/codeblog8
⭐ Исходный код: https://t.me/codeblog8/169

В данном видео мы напишем парсер изображений с сайта Nvidia и сделаем синхронную и асинхронную версию с использованием прокси. Наша задача сделать парсинг данных с сайта и сохранить итоговые изображения.

Мы сделаем тесты производительности обычных requests запросов и асинхронной версии, с использованием: aiohttp, asyncio и aiofiles.
Также узнаем, почему синхронность работает медленней асинхронности, и узнаем как ускорить все эти процессы на максимум.

Асинхронный парсинг сайтов, позволяет в разы ускорить запросы Python и завершить процесс намного быстрее.

📁 Github: https://github.com/Zproger
📁 Все плейлисты с уроками: https://bit.ly/39GaY89
📁 Связаться со мной: [email protected]
📁 Поддержать канал: https://github.com/Zproger/donate

Тайм-коды:
0:00 - Делать ли видео о aiofiles?
0:48 - Извлекаем запросы из сайта Nvidia
2:12 - Какие прокси будем использовать?
2:39 - Генерируем названия файлов через время Unix
3:18 - Извлекаем расширение файла из content-type
4:08 - Сохраняем изображения в папку images
4:35 - Скорость синхронной версии без прокси
4:52 - Скорость синхронной версии с прокси
5:20 - Почему синхронность медленней асинхронности?
5:57 - Запускаем асинхронные задания параллельно
7:07 - Делаем запросы полностью асинхронными
7:23 - Делаем запись в файл асинхронно, с помощью aiofiles и chunks
8:07 - Скорость асинхронной версии (прирост в 8 раз)
8:17 - Скорость асинхронной версии с прокси (прирост в 2 раза)
8:30 - 1000 лайков == видео с aiofiles
8:45 - Исходный код в описании. Полезные видео в подсказках