Использование спецсимволов

При указании частичного URL в директивах Disallow и Allow допускается использование специальных символов '*' и '$'.

Спецсимвол '*'

Этот символ означает любую (в том числе пустую) последовательность символов. В конец каждого частичного урла директив Allow и Disallow по умолчанию дописывается '*'.

Пример:

User-agent: *Disallow: /cgi-bin/*.aspx # заблокирован '/cgi-bin/example.aspx'Disallow: /*private # заблокированы '/private' и '/scripts/private'Disallow: /private* # равносилен "Disallow: /private"

`Спецсимвол '$'`

Этот символ отменяет дописанный в конец урла символ '*', точно указывая на конец строки.

Пример:

User-agent: *Disallow: /script$ # заблокирован 'script', но открыт '/script_public.pl'