Re[2]: googlebot :: Something smarter than us is going to emerge


node:	Re[2]: googlebot
template:	4
parent:	Re: googlebot
owner:	catman
viewed by:
created:	09.11.2008 - 20:39:06

cwbe coordinatez:
101
63540
2111157
5047497
2000633
4279408
4280725
4280765

ABSOLUT
KYBERIA

permissions
you:	r,
system:	public
net:	yes

podla mna robots alebo minimalne metatag robots=none respektuje... ale takym sposobom ze to indexuje aj tak. ale nevypluva to do vysledkov vyhladavani.

google velmi dobre vie co robi, tym ze naindexuje vsetko... urcite sa budu dat tieto informacie niekedy supervyhodne predat... statnej tajnej sluzbe alebo teroristom, podla toho kto da lepsiu ponuku.

000001010006354002111157050474970200063304279408042807250428076504281175

co se týká hodnoty "none" pro meta robots vidím dnes prvně. možná se pletu, ale "noindex, noarchive" je tuším to o co tu jde.
http://googlewebmastercentral.blogspot.com/2007/03/using-robots-meta-tag.html

jinak:

-myslíš že se něco z těch dat opravdu dostalo do googlího indexu? (např. našels ten svůj server ve vyhledávání?)

- není ten tanec googlebota který asi vidíš v accesslogu jenom seznam odepřenejch přístupů na stránky, jejichž URL (ovšem nikoli obsah) googlu napráskal nějaký toolbar? (lidem s toolbarem se pokud to tak maj nastavený objeví dotyčná stránka v googlí history a pokud ji google nezná, tak ji zkusí naindexovat)

00000101000635400211115705047497020006330427940804280725042807650428117504281197

hm ale aj keby naahodou googlebot vyrazy all a none nerespektoval, tak:
If you block a page with robots.txt, Googlebot will never crawl the page and will never read any meta tags on the page.

takze aj tak sa mi nema co hrabat na tej domene po precitani robots.txt.
(a tie si podla logu precital)

0000010100063540021111570504749702000633042794080428072504280765042811750428119704281244

pokud máš v .htaccessu zaheslovaný root, nezmámená to třeba mimo jiné to, že si roboti kromě ostatního obsahu nepřečtou (tj ne že si nesáhnou, oni si tam sáhnout musí) ani ten robots.txt ?

000001010006354002111157050474970200063304279408042807250428076504281175042811970428124404281270

nanho mam vynimku.
ale keby tam aj ta vynimka nebola... ked je zaheslovany cely root, tak odkial sa moze dozvediet googlebot, ze tam napriklad existuje zlozka /users/catman/obrazky/ a preskenovat cely jej obsah?
google toolbar nemam a ak by ho aj mal nejaky s inych ludi co maju pristup na server, tak v zlozke /users sa dostane len do svojho adresara, ne do inych, takze nemohol navstivit hentu zlozku, aby si ju toolbar zaindexoval.

00000101000635400211115705047497020006330427940804280725042807650428117504281197042812440428127004293672

tak to je fakt záhada. přišels na to čím to bylo? poslední co mě napadá čim by se to dalo vysvětlit je že si některý z tvých VIP potměšile nastavil jako user agenta identifikaci googlebota a teď se baví : )
A vykoukals z těch logů jestli byl autentifikovanej a opravdu si obsah stáhnul (200) nebo jestli to jenom zkoušel a dostával 401? někdy se stává že přeci jenom prosáknou linky na secured content ven; třeba přes 'veřejný' statistiky serveru který google vyštrachá.

0000010100063540021111570504749702000633042794080428072504280765042811750428119704281244042812700429367204293774

najvacsia haluz je ze user podla logu autentifikovany nebol ale aj tak dostal 200ku...

000001010006354002111157050474970200063304279408042807250428076504281175042811970428124404281270042936720429377404294532

wow! http ninja!

00000101000635400211115705047497020006330427940804280725042807650428117504281194

standardne vyrazy podla syntaxe by mali byt:
index, follow, archive, odp
ich negacie s predponou no- (noindex, nofollow, ...)
all a none, kde all nahradza vypisanie vsetkych a none vypisanie vsetkych negacii.

0000010100063540021111570504749702000633042794080428072504280765042811750428119404281337

ajó (zas o něco chytřejší :])