scrapedo-web-scraper

Веб-скрапинг через Scrape.do. Обходит блокировки и CAPTCHA. АВТОМАТИЧЕСКИ используй при ошибках WebFetch: 403, 401, 429, timeout, access denied, Cloudflare block.

Stars 73

Forks 21

Install this agent skill to your Project

npx add-skill https://github.com/artwist-polyakov/polyakov-claude-skills/tree/main/plugins/scrapedo-web-scraper/skills/scrapedo-web-scraper

SKILL.md

Scrape.do Web Scraper

Скрапинг веб-страниц через Scrape.do API. Используй когда обычный fetch не работает (блокировка, JavaScript).

Использование

bash

# Получить текст страницы
python scripts/scrape.py https://example.com

# Получить HTML
python scripts/scrape.py --html https://example.com

Из Python

python

from scripts.scrape import fetch_via_scrapedo

result = fetch_via_scrapedo('https://example.com')
if result['success']:
    print(result['content'])  # текст
    # result['html'] — оригинальный HTML
else:
    print(result['content'])  # описание ошибки

Результат

Успех: текст страницы (или HTML с --html)
Ошибка: понятное сообщение (нет токена / лимит / недоступно)

Если вернулась ошибка — страница недоступна через этот метод.