История про Disallow

…и вернувшись из-за моря-акияна Царь говорит:
— Ну, жена, показывай, что тут у нас в Царстве — много ли достатка? За 2-то месяца?
Жена на клавишу — жмак!
Пусто!
А на другу клавишу — жмак!
И тоже пусто!
Все клавиши поперепроверили — нет достатка в государстве! Вообще ноль — даже и то, что было, куда-то подевалось.

Ну, Царь в закрома полез.
Вызезает — лицо аж серое.
В руке свиток, надпись по старинному обычаю — robots.txt.
Кричит, ногами топает: это кто сделал??? Всех в Сибирь! На галеры! Ах, канальи, опустошили!
Жена в список глазами стрельнула, да так оземь и грянула.
А в списке вот что написано было:

User-agent: *
Disallow: /

Такая история, да.