Mail.RuПочтаМой МирОдноклассникиИгрыЗнакомстваНовостиПоискВсе проекты
Использование спецсимволов

При указании частичного URL в директивах Disallow и Allow допускается использование специальных символов '*' и '$'.

Спецсимвол '*'

Этот символ означает любую (в том числе пустую) последовательность символов. В конец каждого частичного урла директив Allow и Disallow по умолчанию дописывается '*'.

Пример:

User-agent: *
Disallow: /cgi-bin/*.aspx # заблокирован '/cgi-bin/example.aspx'
Disallow: /*private       # заблокированы '/private' и '/scripts/private'
Disallow: /private*       # равносилен "Disallow: /private"

Спецсимвол '$'

Этот символ отменяет дописанный в конец урла символ '*', точно указывая на конец строки.

Пример:

User-agent: *
Disallow: /script$ # заблокирован 'script', но открыт '/script_public.pl'