taze schvalne ci mi toto bude vediet niekto vysvetlit :)
na jednom svojom servery (tam de je najvacse diskove pole) mam jednu domenu specialne len pre VIP - cize mna a par znamych - ktora nam vlastne sluzi na vzajomne zdielanie roznych dokumentov.
domena ma zapnuty directory listing a je cez .htaccess pozadovana authorizacia. v roote sa nachadza spomenuty .htaccess, potom je tam robots.txt kde ma googlebot disallowed pristup a index.php s metatagom robots=none.

takze vlastne je nemozne aby sa niekto dostal do adresarov bez autorizacie spravnym menom a heslom.
tak sa pytam, jakto ze vcela mi zacal tancovat na tej domene googlebot, precital si robots.txt, jebal na ne a preskenoval mi uplne celu adresarovu strukturu?
jak sa ju vlastne dozvedel ked bez autorizacie sa k nej nedostane?
a preco to vobec robil ked v robots.txt sa jasne dozvedel ze je disallowed a potom este na indexe mu metatag jasne hovori vypadni?