Использование спецсимволов
При указании частичного URL в директивах Disallow и Allow допускается использование специальных символов '*' и '$'.
Спецсимвол '*'
Этот символ означает любую (в том числе пустую) последовательность символов. В конец каждого частичного урла директив Allow и Disallow по умолчанию дописывается '*'.
Пример:
User-agent: *
Disallow: /cgi-bin/*.aspx # заблокирован '/cgi-bin/example.aspx'
Disallow: /*private # заблокированы '/private' и '/scripts/private'
Disallow: /private* # равносилен "Disallow: /private"
Disallow: /cgi-bin/*.aspx # заблокирован '/cgi-bin/example.aspx'
Disallow: /*private # заблокированы '/private' и '/scripts/private'
Disallow: /private* # равносилен "Disallow: /private"
Спецсимвол '$'
Этот символ отменяет дописанный в конец урла символ '*', точно указывая на конец строки.
Пример:
User-agent: *
Disallow: /script$ # заблокирован 'script', но открыт '/script_public.pl'
Disallow: /script$ # заблокирован 'script', но открыт '/script_public.pl'
Обновлено 15 февраля 2021 г.
Was this information helpful?