Генератор robots.txt
Собирает правила обхода для поисковых роботов. Он помогает подготовить allow, disallow и sitemap-директивы перед размещением файла в корне сайта.
Создаётся в браузере. Utilio не хранит сгенерированные значения.
Генератор robots.txt
Работает локально в браузере. Данные не отправляются на сервер.
Собран robots.txt с 2 правилами Allow и 2 правилами Disallow. Файл готов для корня сайта.
Что делает Генератор robots.txt
Используйте «Генератор robots.txt», когда нужно подготовить robots.txt для нового сайта или чистки staging.
Когда использовать
- Подготовить robots.txt для нового сайта или чистки staging.
- Добавить sitemap и закрытые пути в один файл.
- Сделать читаемый черновик перед SEO-проверкой.
Как пользоваться
- Введите user-agent правила и пути.
- Добавьте sitemap URL, если он есть.
- Скопируйте robots.txt и проверьте его в webmaster-инструментах.
Что проверить
- Robots.txt сам по себе не удаляет уже проиндексированные страницы.
- Ошибочный disallow может закрыть важные страницы от обхода.
Данные, форматы и ограничения
Что остаётся на устройстве и что отправляется
Создаётся в браузере. Utilio не хранит сгенерированные значения.
Поддерживаемые форматы
Этот инструмент работает с введёнными или созданными значениями, а не с файлами для отправки.
Ограничения по размеру и браузеру
- Используйте актуальный браузер и проверяйте результат на том устройстве, где будете его применять.
Ограничения инструмента
- Сгенерированное значение нужно проверить перед использованием в рабочих системах, платежах, доступах или публичных материалах.
- Если результат влияет на безопасность, используйте требования вашей команды к длине, энтропии и хранению значения.
Если что-то не получилось
- Если результат не подходит, измените настройки и сгенерируйте новое значение.
- Если значение используется для доступа, платежей или публичных материалов, проверьте требования вашей системы перед копированием.
- Если кнопка копирования не сработала, выделите результат вручную или повторите действие в актуальном браузере.
Частые вопросы
Какие данные получает Utilio?
Создаётся в браузере. Utilio не хранит сгенерированные значения.
Для каких задач подходит?
Используйте инструмент, когда нужно подготовить robots.txt для нового сайта или чистки staging. Сначала введите user-agent правила и пути.
Нужен ли аккаунт?
Нет. Инструментом можно пользоваться без аккаунта.
Можно ли пользоваться с телефона?
Да. Инструмент работает в мобильном браузере, хотя длинный ввод и подробные результаты удобнее проверять на большом экране.
Как получить хороший результат?
Введите user-agent правила и пути. Затем добавьте sitemap URL, если он есть. Robots.txt сам по себе не удаляет уже проиндексированные страницы.
Использует ли Utilio мой ввод или результаты для обучения моделей?
Нет. Utilio не использует файлы, вставленный текст, настройки, сгенерированные значения или результаты этого инструмента для обучения моделей искусственного интеллекта.