robots.txt для сайта: как настроить и проверить без ошибок
Объясняем, что разрешает и запрещает robots.txt, создаём минимальный файл, добавляем sitemap, проверяем HTTP-ответ и не путаем управление обходом с удалением страниц из поиска.
Архив
Страница 4 из 27
Объясняем, что разрешает и запрещает robots.txt, создаём минимальный файл, добавляем sitemap, проверяем HTTP-ответ и не путаем управление обходом с удалением страниц из поиска.
Настраиваем WireGuard между рабочим компьютером и Ubuntu VPS: отдельные ключи, split tunnel только к внутренним сервисам, firewall, проверка и отзыв доступа.
Пошагово проверяем диски Linux: lsblk, findmnt, df, du, inode, удалённые открытые файлы и безопасная очистка без риска потерять данные.
Учимся находить, копировать и удалять файлы Linux, читать права доступа и понимать, почему команда получает Permission denied.
Включаем gzip в Nginx для текстовых ресурсов, проверяем Vary и Content-Encoding, не сжимаем изображения и отделяем compression от Cache-Control.
Настраиваем X-Forwarded-For, X-Forwarded-Proto и real_ip в Nginx: сохраняем адрес клиента и не доверяем поддельным заголовкам.