cwbe coordinatez:
101
63540
2111157
5047497
2000633
4279408

ABSOLUT
KYBERIA
permissions
you: r,
system: public
net: yes

neurons

stats|by_visit|by_K
source
tiamat
K|my_K|given_K
last
commanders
polls

total descendants::
total children::4
show[ 2 | 3] flat
taze schvalne ci mi toto bude vediet niekto vysvetlit :)
na jednom svojom servery (tam de je najvacse diskove pole) mam jednu domenu specialne len pre VIP - cize mna a par znamych - ktora nam vlastne sluzi na vzajomne zdielanie roznych dokumentov.
domena ma zapnuty directory listing a je cez .htaccess pozadovana authorizacia. v roote sa nachadza spomenuty .htaccess, potom je tam robots.txt kde ma googlebot disallowed pristup a index.php s metatagom robots=none.

takze vlastne je nemozne aby sa niekto dostal do adresarov bez autorizacie spravnym menom a heslom.
tak sa pytam, jakto ze vcela mi zacal tancovat na tej domene googlebot, precital si robots.txt, jebal na ne a preskenoval mi uplne celu adresarovu strukturu?
jak sa ju vlastne dozvedel ked bez autorizacie sa k nej nedostane?
a preco to vobec robil ked v robots.txt sa jasne dozvedel ze je disallowed a potom este na indexe mu metatag jasne hovori vypadni?




00000101000635400211115705047497020006330427940804306745
chaplin
 chaplin      21.11.2008 - 12:24:34 , level: 1, UP   NEW
pri mnohych warezovych serveroch google indexuje stranky s odokrytymi linkami ktore normalne vidia iba zaregistrovani uzivatelia. go figure

00000101000635400211115705047497020006330427940804290360
Toth
 Toth      13.11.2008 - 20:13:30 , level: 1, UP   NEW
Akoze v .htaccess mas nejaky adresar na pass? Posles mi nan link?
Skusal si povolit v .htaccess pristup do toho adresara, iba z nejakej konkretnej IP (teda Tvojej)?



He stopped running.

00000101000635400211115705047497020006330427940804280725
lukΔs
 lukΔs      09.11.2008 - 20:23:21 , level: 1, UP   NEW
newem ci google niekde zarucuje ze bude respektovat obsah robots.txt ... google si vseobecne nerad nechava diktovat co ma robit, nie to este co a kedy ma indexovat...

0000010100063540021111570504749702000633042794080428072504280765
catman
 catman      09.11.2008 - 20:39:06 , level: 2, UP   NEW
podla mna robots alebo minimalne metatag robots=none respektuje... ale takym sposobom ze to indexuje aj tak. ale nevypluva to do vysledkov vyhladavani.

google velmi dobre vie co robi, tym ze naindexuje vsetko... urcite sa budu dat tieto informacie niekedy supervyhodne predat... statnej tajnej sluzbe alebo teroristom, podla toho kto da lepsiu ponuku.

000001010006354002111157050474970200063304279408042807250428076504281175
¶
       09.11.2008 - 23:06:45 (modif: 09.11.2008 - 23:33:16), level: 3, UP   NEW !!CONTENT CHANGED!!
co se týká hodnoty "none" pro meta robots vidím dnes prvně. možná se pletu, ale "noindex, noarchive" je tuším to o co tu jde.
http://googlewebmastercentral.blogspot.com/2007/03/using-robots-meta-tag.html

jinak:

-myslíš že se něco z těch dat opravdu dostalo do googlího indexu? (např. našels ten svůj server ve vyhledávání?)

- není ten tanec googlebota který asi vidíš v accesslogu jenom seznam odepřenejch přístupů na stránky, jejichž URL (ovšem nikoli obsah) googlu napráskal nějaký toolbar? (lidem s toolbarem se pokud to tak maj nastavený objeví dotyčná stránka v googlí history a pokud ji google nezná, tak ji zkusí naindexovat)

00000101000635400211115705047497020006330427940804280725042807650428117504281197
catman
 catman      09.11.2008 - 23:15:20 , level: 4, UP   NEW
hm ale aj keby naahodou googlebot vyrazy all a none nerespektoval, tak:
If you block a page with robots.txt, Googlebot will never crawl the page and will never read any meta tags on the page.

takze aj tak sa mi nema co hrabat na tej domene po precitani robots.txt.
(a tie si podla logu precital)

0000010100063540021111570504749702000633042794080428072504280765042811750428119704281244
¶
       09.11.2008 - 23:33:36 (modif: 09.11.2008 - 23:34:38), level: 5, UP   NEW !!CONTENT CHANGED!!
pokud máš v .htaccessu zaheslovaný root, nezmámená to třeba mimo jiné to, že si roboti kromě ostatního obsahu nepřečtou (tj ne že si nesáhnou, oni si tam sáhnout musí) ani ten robots.txt ?

000001010006354002111157050474970200063304279408042807250428076504281175042811970428124404281270
catman
 catman      09.11.2008 - 23:48:54 , level: 6, UP   NEW
nanho mam vynimku.
ale keby tam aj ta vynimka nebola... ked je zaheslovany cely root, tak odkial sa moze dozvediet googlebot, ze tam napriklad existuje zlozka /users/catman/obrazky/ a preskenovat cely jej obsah?
google toolbar nemam a ak by ho aj mal nejaky s inych ludi co maju pristup na server, tak v zlozke /users sa dostane len do svojho adresara, ne do inych, takze nemohol navstivit hentu zlozku, aby si ju toolbar zaindexoval.

00000101000635400211115705047497020006330427940804280725042807650428117504281197042812440428127004293672
¶
       15.11.2008 - 16:52:56 , level: 7, UP   NEW
tak to je fakt záhada. přišels na to čím to bylo? poslední co mě napadá čim by se to dalo vysvětlit je že si některý z tvých VIP potměšile nastavil jako user agenta identifikaci googlebota a teď se baví : )
A vykoukals z těch logů jestli byl autentifikovanej a opravdu si obsah stáhnul (200) nebo jestli to jenom zkoušel a dostával 401? někdy se stává že přeci jenom prosáknou linky na secured content ven; třeba přes 'veřejný' statistiky serveru který google vyštrachá.

0000010100063540021111570504749702000633042794080428072504280765042811750428119704281244042812700429367204293774
catman
 catman      15.11.2008 - 17:41:51 , level: 8, UP   NEW
najvacsia haluz je ze user podla logu autentifikovany nebol ale aj tak dostal 200ku...

000001010006354002111157050474970200063304279408042807250428076504281175042811970428124404281270042936720429377404294532
¶
       16.11.2008 - 02:01:20 , level: 9, UP   NEW
wow! http ninja!

00000101000635400211115705047497020006330427940804280725042807650428117504281194
catman
 catman      09.11.2008 - 23:13:30 , level: 4, UP   NEW
standardne vyrazy podla syntaxe by mali byt:
index, follow, archive, odp
ich negacie s predponou no- (noindex, nofollow, ...)
all a none, kde all nahradza vypisanie vsetkych a none vypisanie vsetkych negacii.

0000010100063540021111570504749702000633042794080428072504280765042811750428119404281337
¶
       10.11.2008 - 00:25:59 , level: 5, UP   NEW
ajó (zas o něco chytřejší :])

00000101000635400211115705047497020006330427940804279844
¶
       09.11.2008 - 13:55:38 , level: 1, UP   NEW
Nemá někdo z tvých VIP google toolbar se zapnutým zobrazováním pageranku?

0000010100063540021111570504749702000633042794080427984404280210
catman
 catman      09.11.2008 - 16:31:20 , level: 2, UP   NEW
mnoo teoreticky to mozne je.
teraz ma este napada v suvislosti s tym druha otazka... ked to aj googlebot vsetko preskenoval, tak by sa mal riadit podla robots.txt a metatagov a nekatalogizovat?

(btw este je sranda ze ked som pocas skenovania v htaccess zakazal jeho IPcku tak chvilu zavahal... a potom pokracoval z druhej. chytry spehovaci system maju.)