SEO-платформа с AI-помощником и поисковой аналитикой
- Русский
- API
- Бесплатный тариф
crawler.sh
Локальный обход сайтов и Markdown для ИИ-пайплайнов
- Бесплатный тариф
Обновлено
Коротко о сервисе
- Модель оплаты
- Freemium
- Цена
- от 99 $
- Бесплатный тариф
- Да
- Поддержка русского
- Не проверено
- Русский интерфейс
- Не проверено
- Работает без VPN
- Не проверено
- Оплата картой РФ
- Не проверено
- API
- Не проверено
- Платформы
- desktop
- Языки интерфейса
- не проверено
Сведения о доступности и функциях проверены 04.10.2026 по официальному источнику.
Что такое сервис «crawler.sh»
crawler.sh — локальный сборщик веб-страниц для разработчиков и технических специалистов. Он обходит сайт, проверяет технические ошибки и извлекает основной текст в Markdown для поиска по базе знаний, контекста ИИ-агента или подготовки обучающего корпуса. В бесплатной сессии без аккаунта доступны 50 страниц, после входа — 400. Общая подписка Pro для командной строки и настольного приложения стоит $99 в год.
При обходе crawler.sh умеет обрабатывать страницы с JavaScript и выделять основной материал вместо всей разметки. В извлечении предусмотрены текст, число слов, автор, краткий фрагмент и язык, если сведения обнаружены. Готовые файлы можно передать в собственную систему поиска с дополнением ответа найденными документами. Сервис готовит содержимое для ИИ, но не описан как отдельная модель, которая сама отвечает по собранному корпусу.
Технический аудит crawler.sh отмечает, например, отсутствие заголовков, повторяющиеся метаданные, запреты индексирования и битые ссылки. Результаты можно выгружать в структурированные форматы; Markdown-архив содержимого относится к Pro. Одна подписка покрывает обе версии продукта, поэтому командная строка и визуальная панель не требуют двух отдельных лицензий. Приложения выпущены для macOS и Linux; поддержка Windows в справке обозначена как план разработки.
Политика crawler.sh говорит, что адреса обхода, полученные страницы и результаты остаются на устройстве и не отправляются поставщику, если пользователь сам их не передаёт. Для аккаунта и подписки выполняются отдельные сетевые запросы, поэтому локальная обработка не означает отсутствие любых соединений с сервисом. Регион хранения сведений аккаунта не указан. Сборщик учитывает robots.txt и задержки обхода; наличие рендеринга не даёт права игнорировать ограничения владельца сайта.
Тарифы сервиса «crawler.sh»
Free
$0 постоянно
50 страниц за сессию без входа, 400 после входа; результаты аудита и структурированные выгрузки
Небольшой сайт
Проверено 04.10.2026 · официальный источник
CLI Pro
$99 год
10 000 страниц за сессию, Markdown; общая лицензия с Desktop Pro
Автоматизация в командной строке
Проверено 04.10.2026 · официальный источник
Desktop Pro
$99 год
Визуальная панель и Markdown-архив; общая лицензия с CLI Pro
Визуальный разбор обхода
Проверено 04.10.2026 · официальный источник
Точные лимиты и состав тарифов уточняйте на сайте сервиса — цены могут меняться.
Плюсы и минусы сервиса «crawler.sh»
Плюсы
- Результаты обхода хранятся на устройстве
- Обработка страниц с JavaScript
- Извлечение основного текста в Markdown
- Одна подписка для командной строки и настольной версии
- Экспорт результатов технического аудита
Минусы
- Без входа бесплатная сессия ограничена 50 страницами
- Приложение для Windows пока не выпущено
- Markdown-архив требует подписки Pro
- Облачный обход обозначен как будущая функция
Частые вопросы
Что именно crawler.sh делает для ИИ-проектов?
crawler.sh извлекает основной текст веб-страниц и выдаёт Markdown, который можно использовать как входной материал для базы знаний, контекста агента или собственного обучающего корпуса. Это этап сбора и подготовки документов. В прочитанной документации не описан самостоятельный генератор ответов по этому корпусу. Качество дальнейшего поиска и ответов зависит также от выбранного пайплайна и исходных страниц.
Как различаются бесплатные лимиты crawler.sh с входом и без?
На главной crawler.sh бесплатный режим без аккаунта ограничен 50 страницами за сессию, а официальный FAQ указывает 400 страниц после входа. Pro расширяет сессию до 10 000 страниц. Бесплатные выгрузки результатов не означают доступность Markdown-архива содержимого: этот экспорт относится к платной подписке. Ограничение действует на отдельный обход, а не объявлено месячной квотой.
Нужно ли покупать две подписки crawler.sh для разных интерфейсов?
Нет: официальный FAQ crawler.sh прямо говорит, что одна подписка за $99 в год покрывает командную строку и настольное приложение. Две строки Pro на главной показывают разные рабочие интерфейсы общей лицензии. В карточке сохранены оба варианта без удвоения оплаты. Цена указана за год, а месячная сумма не рассчитана делением годового платежа.
Отправляет ли crawler.sh содержимое собранных страниц в облако?
Политика crawler.sh утверждает, что цели обхода, содержимое страниц и результаты остаются локально, если пользователь явно не делится ими. При этом вход и проверка подписки используют отдельные запросы, а сведения аккаунта обрабатываются сервисом. Поэтому локальный корпус и данные подписки имеют разный периметр. Регион хранения аккаунтов и точный календарный срок удаления не раскрыты в прочитанной политике.
Можно ли запускать crawler.sh в Windows и пользоваться русским меню?
Справка crawler.sh перечисляет macOS на Apple Silicon и Intel, а также Linux; Windows отнесён к планам. Конкретного подтверждения русского интерфейса и функций на русском в этих материалах нет. Локальный запуск не доказывает работу входа или платежей из России. Облачная версия обозначена как будущая, поэтому её нельзя предлагать как готовую замену неподдерживаемой системе.
Похожие сервисы
AI-помощники и агенты внутри CRM HubSpot
- Русский
- API
- Бесплатный тариф
Посты, видео и планирование социальных сетей
- Русский
- API
AI-креативы и вариации рекламы для брендов
- Русский
Конструктор чат-ботов и AI-агентов с отдельным бюджетом токенов
- API
Очередь публикаций с AI Assistant для текста и GraphQL API
- API
- Бесплатный тариф
Хотите попробовать сервис «crawler.sh»?
Перейти на сайт сервиса «crawler.sh»