Agent skill
scrapedo-web-scraper
Веб-скрапинг через Scrape.do. Обходит блокировки и CAPTCHA. АВТОМАТИЧЕСКИ используй при ошибках WebFetch: 403, 401, 429, timeout, access denied, Cloudflare block.
Install this agent skill to your Project
npx add-skill https://github.com/artwist-polyakov/polyakov-claude-skills/tree/main/plugins/scrapedo-web-scraper/skills/scrapedo-web-scraper
SKILL.md
Scrape.do Web Scraper
Скрапинг веб-страниц через Scrape.do API. Используй когда обычный fetch не работает (блокировка, JavaScript).
Использование
# Получить текст страницы
python scripts/scrape.py https://example.com
# Получить HTML
python scripts/scrape.py --html https://example.com
Из Python
from scripts.scrape import fetch_via_scrapedo
result = fetch_via_scrapedo('https://example.com')
if result['success']:
print(result['content']) # текст
# result['html'] — оригинальный HTML
else:
print(result['content']) # описание ошибки
Результат
- Успех: текст страницы (или HTML с
--html) - Ошибка: понятное сообщение (нет токена / лимит / недоступно)
Если вернулась ошибка — страница недоступна через этот метод.
Recommended Agent Skills
Expand your agent's capabilities with these related and highly-rated skills.
artwist-polyakov/polyakov-claude-skills
genome-analizer
artwist-polyakov/polyakov-claude-skills
scrapedo-web-scraper
artwist-polyakov/polyakov-claude-skills
docx-contracts
artwist-polyakov/polyakov-claude-skills
telegraph-publisher
Publish pages to Telegraph with images, YouTube embeds, and diagrams. Supports auto-split for long articles. ALWAYS read SKILL.md before first use.
artwist-polyakov/polyakov-claude-skills
ssh-remote-connection
SSH connection to remote servers. Use when you need to execute commands on a remote server, check logs, restart services, or manage Docker containers.
artwist-polyakov/polyakov-claude-skills
crawl4ai-seo
SEO-краулер сайтов на базе Crawl4AI. Полный аудит страниц: title, meta, H1, canonical, breadcrumbs, навигация, внутренние ссылки. Инвентаризация сайта, навигационный аудит, сравнение лендингов, анализ конкурентов. Работает для Google и Яндекс SEO (Cyrillic URL, коммерческие факторы, региональность). Связка с yandex-search-api, yandex-metrika, yandex-webmaster, scrapedo-web-scraper. Triggers: crawl4ai, seo crawl, site audit, page inventory, site inventory, on-page audit, internal links, internal linking audit, navigation audit, landing comparison, competitor analysis, competitor pages, orphan pages, technical seo, аудит сайта, краулер, перелинковка, навигационный аудит.
Didn't find tool you were looking for?