Skip to content

блокировки при парсинге просмотров #240

@Duff89

Description

@Duff89

2026-02-13 17:45:38.128 | INFO | main:start_parser:195 - Старт
2026-02-13 17:45:38.138 | DEBUG | main:save_config:107 - Настройки сохранены в config.toml
2026-02-13 17:45:38.146 | INFO | parser.cookies.external_api:_load_from_disk:231 - Нет сохраненных cookies
2026-02-13 17:45:38.183 | INFO | hide_private_data:log_config:64 - Запуск AvitoParse v3.2.1 с настройками:
AvitoConfig(urls=['https://www.avito.ru/all/predlozheniya_uslug/delovye_uslugi/marketing_i_prodvizhenie-ASgBAgICAkSYC7KfAZ4LwriYAw?cd=1&q=smm+специалист'], proxy_string='', proxy_change_url='', keys_word_white_list=[], keys_word_black_list=[], seller_black_list=[], count=5, tg_token='', tg_chat_id=[''], vk_token='', vk_user_id=[], max_price=99999999, min_price=0, geo='', max_age=0, debug_mode=0, pause_general=30, pause_between_links=5, max_count_of_retry=3, ignore_reserv=True, ignore_promotion=False, one_time_start=False, one_file_for_link=False, parse_views=True, save_xlsx=True, use_webdriver=False, cookies_api_key='', output_dir=WindowsPath('result'))
2026-02-13 17:45:38.188 | INFO | parser_cls:parse:96 - page=1
2026-02-13 17:45:38.765 | INFO | parser.cookies.external_api:_get_new_cookies:158 - 🛒 Запрашиваем покупку новых cookies у сервиса
2026-02-13 17:45:40.063 | INFO | parser.cookies.external_api:_get_new_cookies:216 - ✅ Cookies успешно получены | id=2645
2026-02-13 17:45:40.082 | INFO | parser.cookies.external_api:_save_to_disk:260 - Cookies успешно сохранены
2026-02-13 17:45:40.091 | DEBUG | parser.cookies.external_api:_get_new_cookies:221 - 💾 Cookies сохранены на диск
2026-02-13 17:45:40.834 | WARNING | parser.http.client:request:62 - Blocked request (429), attempt 1
2026-02-13 17:45:44.074 | WARNING | parser.http.client:request:62 - Blocked request (429), attempt 1
2026-02-13 17:45:49.407 | INFO | filters.ads_filter:apply:30 - После фильтрации _filter_viewed осталось 50
2026-02-13 17:45:49.410 | INFO | filters.ads_filter:apply:30 - После фильтрации _filter_by_price_range осталось 50
2026-02-13 17:45:49.413 | INFO | filters.ads_filter:apply:30 - После фильтрации _filter_by_black_keywords осталось 50
2026-02-13 17:45:49.415 | INFO | filters.ads_filter:apply:30 - После фильтрации _filter_by_white_keyword осталось 50
2026-02-13 17:45:49.417 | INFO | filters.ads_filter:apply:30 - После фильтрации _filter_by_address осталось 50
2026-02-13 17:45:49.420 | INFO | filters.ads_filter:apply:30 - После фильтрации _filter_by_seller осталось 50
2026-02-13 17:45:49.423 | INFO | filters.ads_filter:apply:30 - После фильтрации _filter_by_recent_time осталось 50
2026-02-13 17:45:49.425 | INFO | filters.ads_filter:apply:30 - После фильтрации _filter_by_reserve осталось 50
2026-02-13 17:45:49.429 | INFO | filters.ads_filter:apply:30 - После фильтрации _filter_by_promotion осталось 50
2026-02-13 17:45:49.432 | INFO | parser_cls:parse_views:205 - Начинаю парсинг просмотров
2026-02-13 17:45:59.852 | WARNING | parser.http.client:request:62 - Blocked request (429), attempt 1
2026-02-13 17:46:11.390 | WARNING | parser.http.client:request:62 - Blocked request (429), attempt 1
2026-02-13 17:46:31.179 | INFO | parser_cls:parse:138 - Пауза 5 сек.
2026-02-13 17:46:36.188 | INFO | parser_cls:parse:96 - page=3
2026-02-13 17:46:39.695 | INFO | filters.ads_filter:apply:30 - После фильтрации _filter_viewed осталось 44
2026-02-13 17:46:39.701 | INFO | filters.ads_filter:apply:30 - После фильтрации _filter_by_price_range осталось 44
2026-02-13 17:46:39.704 | INFO | filters.ads_filter:apply:30 - После фильтрации _filter_by_black_keywords осталось 44
2026-02-13 17:46:39.706 | INFO | filters.ads_filter:apply:30 - После фильтрации _filter_by_white_keyword осталось 44
2026-02-13 17:46:39.709 | INFO | filters.ads_filter:apply:30 - После фильтрации _filter_by_address осталось 44
2026-02-13 17:46:39.712 | INFO | filters.ads_filter:apply:30 - После фильтрации _filter_by_seller осталось 44
2026-02-13 17:46:39.714 | INFO | filters.ads_filter:apply:30 - После фильтрации _filter_by_recent_time осталось 44
2026-02-13 17:46:39.717 | INFO | filters.ads_filter:apply:30 - После фильтрации _filter_by_reserve осталось 44
2026-02-13 17:46:39.720 | INFO | filters.ads_filter:apply:30 - После фильтрации _filter_by_promotion осталось 44
2026-02-13 17:46:39.722 | INFO | parser_cls:parse_views:205 - Начинаю парсинг просмотров
2026-02-13 17:47:32.743 | WARNING | parser.http.client:request:62 - Blocked request (429), attempt 1
2026-02-13 17:47:40.639 | WARNING | parser.http.client:request:62 - Blocked request (429), attempt 1
2026-02-13 17:47:49.137 | WARNING | parser.http.client:request:62 - Blocked request (429), attempt 1

[avito]
tg_token = ""
tg_chat_id = []
vk_token = ""
vk_user_id = []
urls = [
"https://www.avito.ru/all/predlozheniya_uslug/delovye_uslugi/marketing_i_prodvizhenie-ASgBAgICAkSYC7KfAZ4LwriYAw?cd=1&q=smm+специалист",
]
count = 5
keys_word_white_list = []
keys_word_black_list = []
seller_black_list = []
max_price = 99999999
min_price = 0
geo = ""
proxy_string = ""
proxy_change_url = ""
pause_general = 30
pause_between_links = 5
max_age = 0
max_count_of_retry = 3
ignore_reserv = true
ignore_promotion = false
one_time_start = false
one_file_for_link = false
parse_views = true
save_xlsx = true
use_webdriver = false
cookies_api_key = "sk_live_v2bYuYVnuv53fjSNGTNjwVsF2*****smWxj0LVCeeXI"

Дорогой, уважаемый, всемогущий, разработчик. Откликнись на зов мой, пожалуйста! Столкнулся с проблемой в вашем парсере: при включении тумблера «Парсить просмотры» парсер перестаёт корректно собирать данные.

Что пробовал:

  1. Мобильный прокси + ссылка смены IP
    — Без «парсить просмотры» парсер работает стабильно (страницы выдачи обрабатывает, объявления сохраняет).
    — Как только включаю «парсить просмотры», начинается серия блокировок/ошибок и просмотры не собираются.
  2. Сервис cookies spfa.ru (cookies_api_key), без мобильного прокси
    — В логах появляется Blocked request (429) и дальше ошибки при запросах карточек, включая 404 на ссылки объявлений вида: https://www.avito.ru/.../targetolog_smm-spetsialist_... ?context=...
  3. Пробовал «очистку»:
    — удалял cookies ,
    — удалял database.db,
    — перезапускал с нуля.
    Результат один: функция “парсить просмотры” не работает (просмотры не заполняются, появляются 429/404, сбор ломается).

Что я делаю не так, уважаемый?

Originally posted by @taziganshin-ops in #238

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions