FAQ
   manual.pipni.cz > Web  |  Vyhledávání  |  Problémy?

Na co použít soubor robots.txt? Jak zabránit robotům přístup do určitých částí webu?
Chcete-li zabránit některým robotům přístup na určité části webu, stačí do /www vložit soubor robots.txt. Soubor může vypadat např. takto: 
User-agent: *
Disallow: /dir1/subdir
Disallow: /dir2
Disallow: /dir3
Příkaz User-agent definuje, jakého indexovacího robota se pravidla týkají (hvězdička zastupuje "vše").
Příkaz Disallow specifikuje adresáře, které by neměli roboti indexovat.
Pozn.: Ne každý robot soubor robots.txt "poslechne".
Celkový počet rad: 141
Created by PIPNI
Powered by Firebird