Инструменты пользователя

Инструменты сайта


парсинг_данных_подгружаемых_с_помощью_jquery

Парсинг данных, подгружаемых с помощью JQuery

Изменение User-Agent

Начнем с того, что очень часто, при парсинге веб-ресурсов, нужно подставлять правильный заголовок. Иначе получаем ошибку 403 – Доступ Запрещен. Возьмем к примеру такой сайт как alternativeto и попробуем получить GET запрос.

>>> import requests
>>> url = 'https://alternativeto.net/'
>>> r = requests.get(url)
>>> r
<Response [403]>

Но так как через браузер вполне себе шлются GET запросы, то стоит посмотреть, какие заголовки отправляет браузер сайту. Идем в DevTools, раздел Network и смотрим на отправленный заголовок


Теперь попробуем подставить заголовок

>>> header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36'}
>>> r = requests.get(url, headers=header)
>>> r
<Response [200]>

Жожоба!

 
 
 
 
 
 








парсинг_данных_подгружаемых_с_помощью_jquery.txt · Последнее изменение: 2021/05/18 10:44 — admin