Разработка ПО на языке Python (онлайн лекция 6, скрапинг данных из интернета, VK api, rbc.ru)
1. Вводная лекция -
2. Работа с циклами -
3. Генерация паролей, частотный анализ текста, словари -
4. Работа с файлами, txt, csv, xlsx (excel), docx (word) -
5. Функции, создание консольного меню, телеграмм-бот -
6. Cкрапинг данных из интернета, VK api, rbc.ru -
7. Cоздание интерфейсов на PySide6 --
00:00:00 Введение
00:02:25 Ставим пакеты requests и BeautifulSoup4
00:03:25 Стягиваем html страницу с помощью requests
00:06:07 Сохраняем html страница в файл
00:07:20 Скачиваем картинку
00:10:58 Об API
00:12:25 Создаем VK приложение для работы с vk api
00:13:46 Копируем сервисный ключ доступа и создаем python файл
00:14:45 Смотрим документацию vk api
00:15:05 Разбираем URL адрес
00:16:55 Тестируем vk api запрос из документации
00:19:35 Пишем запросы красивее
00:23:30 Снова смотрим документацию vk api
00:24:06 Вызываем метод для получения списка юзеров состоящих в группе
00:27:50 Сохраняем список юзеров в json-файлик
00:29:30 Скачиваем изображения пользователей
00:34:25 О парсинге html-разметки сайтов
00:36:05 Стягиваем html страницу istu.edu
00:36:50 О копировании заголовков запроса
00:42:50 Плачусь над защитой от DDOS
00:44:31 Идем скрапить новости с rbc.ru
00:45:21 Анализируем структуру страницы
00:45:55 Подключаем BeautifulSoup4 к html разметке страницы
00:47:45 Вытаскиваем список новостей
00:52:20 Вытаскиваем ссылки на новости
00:58:10 Обрабатываем каждую статью отдельно
01:00:05 Вытаскиваем текст статьи
01:01:20 Вытаскиваем картинку статьи
01:06:30 Сохраняем инфу о статьях в файл
01:08:35 Перехватываем ошибку
01:10:15 Завершение
