Что такое RegionalCrawler?

RegionalCrawler — веб‑робот (поисковый краулер) компании Digitty.Tech (ООО «Циферка» / ИНН 4345530895), который собирает и анализирует данные с сайтов, связанных с регионом Киров и Кировская область. Краулер — часть регионального поиска «ПоВятке» и помогает жителям находить новости, компании, события и полезные ресурсы.

---

Для чего используется краулер?

• Индексирование сайтов Кирова и области;
• Сбор данных о компаниях, новостях, мероприятиях и блогах;
• Анализ метаданных (title, description, keywords) и ссылочной структуры;
• Формирование локальной поисковой базы для релевантных ответов.
• Краулер не осуществляет сбор, обработку и хранение персональных данных в понимании Федерального закона РФ от 27.07.2006 № 152-ФЗ «О персональных данных». В процессе работы обрабатывается только общедоступная информация, размещённая в сети Интернет, не позволяющая прямо или косвенно идентифицировать конкретное физическое лицо.

Как работает RegionalCrawler?

1. Обходит доступные публично страницы сайтов региона.
2. Извлекает заголовки, текст, ссылки, медиа и метаданные.
3. Сохраняет нормализованные данные в региональном индексе.
4. Следует правилам robots.txt и не обходит запрещённые разделы.

Скорость и частота обхода

Мы минимизируем нагрузку на сайты:

• Небольшое число одновременных соединений на домен;
• Регулируемая задержка между запросами;
• Адаптация повторного обхода к изменяемости контента.

Управление доступом (robots.txt)

Вы можете управлять нашим роботом файлом robots.txt в корне сайта.

Разрешить обход User-agent: RegionalCrawler Allow: /

Запретить обход User-agent: RegionalCrawler Disallow: /

Техническая информация

• Имя бота: RegionalCrawler
• Версия: 1.0.5
• Регион: Киров & Кировская область
• Проект: «ПоВятке» (повятке.рф)
• User‑Agent:
  RegionalCrawler/Digitty.Tech/Kirov/1.0.5 (+https://digitty.tech/crawler)

---

Контакты для вебмастеров

Вопросы, предложения, индивидуальные настройки обхода:

E‑mail: Email

Совет: держите robots.txt и карту сайта актуальными — это ускоряет индексацию.