← Cloudflare Cache / cache / troubleshooting

Always Online

Соблюдайте следующие рекомендации при включении Always Online с интеграцией Internet Archive.

• Разрешить запросы с IP-адресов Internet Archive. Исходные серверы получают запросы с IP адресов Internet Archive. Убедитесь, что вы не блокируете запросы из диапазона IP адресов Internet Archive: 207.241.224.0/20 и 208.70.24.0/21.
• Internet Archive не учитывает заголовок cache-control вашего исходного сервера. При сканировании сайтов Internet Archive выполняет его независимо от значения cache-control, поскольку Internet Archive не кэширует ресурсы, а архивирует их.
• Учитывайте возможные конфликты с функциями Cloudflare, которые преобразуют URI. Функция Always Online с интеграцией Internet Archive может вызывать проблемы с Cache Rules и другими функциями Cloudflare, преобразующими URI, из-за особенностей сканирования страниц Internet Archive для архивирования. В частности, некоторые перенаправления, происходящие на edge, могут привести к тому, что краулер Internet Archive не заархивирует целевой URL. Перед включением Origin Cache Control ознакомьтесь с как Cloudflare по умолчанию кэширует ресурсы а также все настроенные вами Cache Rules, чтобы избежать подобных проблем. Если проблемы возникают, отключите Always Online.
• Не блокируйте Known Bots или Verified Bots с помощью пользовательского правила WAF. Если вы заблокируете любой из этих списков ботов, Internet Archive не сможет выполнять сканирование.

Не используйте Always Online с:

• Трафик API.
• Одна IP Access rule или Пользовательское правило WAF которое блокирует США или
• Правила кеша Bypass Cache. Always Online игнорирует правила кеша Bypass Cache и отдает ресурсы, кешированные Always Online.

У функции Always Online есть ряд ограничений:

1. Для недавно добавленных сайтов Always Online активируется не сразу по следующим причинам:
   • распространение DNS-записи, которое может занимать 24-72 часа
   • Always Online ещё не выполнила первичное сканирование сайта
2. Если ваш исходный веб-сервер недоступен, Cloudflare не может показывать закрытый контент, требующий входа в систему, или обрабатывать отправку форм (запросы POST).

Always Online не срабатывает для таких кодов ответа HTTP, как 404, 503, или 500 ошибки, такие как ошибки подключения к базе данных или внутренние ошибки сервера. Дело в том, что эти коды состояния означают, что источник доступен и отвечает: Always Online активируется только тогда, когда Cloudflare вообще не может подключиться к вашему источнику (в результате чего появляются сгенерированные Cloudflare 520-527 кодов состояния). Если ваш источник возвращает ошибку 5xx, он по определению считается доступным, и Always Online не вмешивается.

1. Как узнать, была ли страница просканирована?

   • Можно перейти в Internet Archive ↗ и найдите URL страницы, чтобы проверить, был ли он просканирован.
   • Это также можно проверить через Internet Archive Availability API ↗.

2. Почему страницы x, y и z не были просканированы?

   • Поскольку Cloudflare запрашивает сканирование только самых популярных страниц сайта, некоторые страницы могут отсутствовать. Если вам действительно нужно заархивировать страницу, вы можете посетить Internet Archive ↗ сохраните страницу и попросите их просканировать определённую страницу.

3. Какие IP-адреса нужно добавить в список разрешенных, чтобы сканирование работало?

   • Диапазон IP-адресов: 207.241.224.0/20 и 208.70.24.0/21. Обратите внимание, что этот диапазон IP принадлежит Internet Archive, а не Cloudflare, поскольку именно Internet Archive выполняет сканирование.

4. Какой User-Agent должен ожидать увидеть исходный сервер?

   • В настоящее время Internet Archive использует: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/605.1.15 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/605.1.15.