Kyberia Knowledge Extraction Contest Task 1 - Alterego Detection :: Remember, remember, the velvet November


node:	Kyberia Knowledge Extraction Contest Task 1 - Alterego Detection
template:	4
parent:	Kyberia Knowledge Extraction Contest
owner:	Prospero
viewed by:
created:	28.10.2015 - 15:40:07
updated:	21.03.2018 - 13:03:15

cwbe coordinatez:
101
63535
8025861
8025872

ABSOLUT
KYBERIA

permissions
you:	r,
system:	public
net:	yes

neurons
stats|by_visit|by_K source tiamat K|my_K|given_K last commanders polls
total descendants::53
total children::6
8 ❤️

show[ 2 | 3] flat

1) Goal of the Task: to develop and optimized methods of alterego detection

2) Submission modalities: a valid submission is to be deposed by mail with the subject "KKEC Task 1 submission" to address daniel at wizzion dot com before the deadline (28.10.2018 (AE48) 00:00 UTC)

3) Content of submission: A valid submission has to contain

The file with a name PARTICIPANT_ID_results.csv where PARTICIPANT_ID is participant's kyberia ID
The file under question is a standard CSV file of the form

ID,ALTEREGO_ID

whereby the first column (ID), contains the ID of the user and the second column the user_id of the alterego. Note that to evit confusion of the terms, ID < ALTEREGO_ID (i.e. ID is always older than his|her alterego)

C.f. here for an example results.csv file
The file method.txt containing a description of deployed methods. Ideally the description should be such that the given analysis should be reproducible.
Other files (source codes, visualizations)

4) Corpus: data relevant to this task can be downloaded here*. It is a CSV file containing following columns

visitor - id of the user who visited node X
shuffled_node_id - if of the node X visited by the user (NOTE: these values were randomly shuffled and do not represent actual node_id values stored in kyberia's database, there is, however, a 1 to 1 isomorph mapping between distinct values of actual node_ids and distinct values of shuffled ids)
owner - id of user who owned the node X in the moment of dumping
visits - number of time the user visited the node X
k - whether the user gave K to the node X
bookmark - whether X is bookmarked by the user

5) Results will be evaluated by a jury involving at least 5 members and will be published not later than 23.12.2018/AE48

Some useful keywords to start with: normalization, chi-squared test, shannon entropy, temporal sequences, stylometry

* corpus is quite huge: the gzipped version has cca 430 megabytes...given that it contains complete overview of kyberia's K "blockchain", noting down its md5 hash (b26a43cc7f8717945fa3ae0303a58f5a) can also turn out to be useful

Please do not hesitate to cite this URL ( https://kyberia.sk/id/8025872 ) in Your publications .

0000010100063535080258610802587208375869

https://wiki.ntpc.wtf/Workshops

000001010006353508025861080258720837586908382613

Workshop presunutý na budúci rok.

0000010100063535080258610802587208298365

Ospravedňujem sa ak som to prehliadol ale ako sa tu dá čokoľvek riešiť bez dobrých tréningových údajov typu "množina o ktorej naisto vieme že sú alterká/spameri", "množina o ktorej naisto vieme že nie sú alterká/spameri"?

Dopĺňam pre zaujímavosť: na wikipédii robili na toto výskum za rok 2015. Útočné komentáre triedili ručne(!), a aj to len špeciálne vymedzenú kategóriu ad hominem. Okrem iného sa zistilo že tretina útokov pochádza od užíveteľov čo mali viac ako 100 príspevkov. A iba necelých 18% útokov bolo nejako potrestaných. https://arstechnica.com/information-technology/2017/02/one-third-of-personal-attacks-on-wikipedia-come-from-active-editors/

Je namieste pýtať sa či možno čakať že nejaký tuná vágne zadaný algoritmus dosiahne lepšie výsledky ako moderácia na wikipédii, a ako to vôbec merať? Či sa to nerobí len pre dobrý pocit, že sa niečo robí...alebo žeby aj not invented here syndróm? Existuje spústa ďalších výskumov na túto tému, aj na Slovensku, námatkovo https://dennikn.sk/437931/daju-hejtom-zbohom-slovenski-studenti-vyvinuli-softver-odhalovanie-nevhodnych-komentarov/

000001010006353508025861080258720829836508298825

Ahoj,

zatiaľ také tréningové údaje niesú k dispozícii, datapointy v prípade ktorých existuje 100% istota že sa jedná o alterká by sa dali spočítať na prstoch jednej ruky.

Takže problém Tasku 1 vnímaj skôr ako UNSUPERVISED MACHINE-LEARNING problém potenciálne riešiteľný skrze clustering atď.

Keď bude k dispozícii väčšie množstvo tréningových dát (cca júl-august AE47), tak o tom bude informované tu: https://kyberia.sk/id/8025872

Tiež vďaka za link na tu ars technicu.

Čo sa týka Tvojho posledného komentáru, stylometria je relatívne nový obor ktorého metodológia ešte zďaleka nieje vycibrená, preto nevidím problém v tom že by sa tu prípadne riešilo niečo, čo sa rieši aj niekde inde.

A propos, datasety sú verejne dostupné a do súťaže sa môžu prihlásiť aj tímy ktoré niesú na kybe.

Daniel.

0000010100063535080258610802587208296957

je nejaky konkretny dovod pre ktory sa altery povazuju za problem, alebo negativne?

aspon tak zbrklo prekuknute tuto reakcie. schopnost reagovat sam na seba... nemeni nic v spektre ja a on(a)... co by ste asi tak ziskali ked budete na mna reagovat paralelne z viacerych ID? nech sa paci, demonstrujte. Schopnost si sebe vzajomne udelovat K? K povazujem za bezcenne. Jediny vyznam je ten limit 32 sprav denne, ktore moze byt ovplyvnene vlastnictvom K vo wallete, nie som si vedomy ze by som vyprodukoval viac ako 10 postov za den? a to asi prehanam, na mna aj 5 vela. Ak je niekto schopny davat aj 100vku tak za mna mu to alterego rad doprajem ;)

tak teda aky je problem?

000001010006353508025861080258720829695708297014

hlavným problémom je že idčko dostane ban do fóra, prípadne outcasted (memfer), ale vytvorí si alterko a spammuje ďalej

00000101000635350802586108025872082969570829701408298838

nie, to je problémom zopár konkrétnych užívateľov, nie alter eg všeobecne

×÷ßßß$ˇ~[☼◙ş→☻ü84ó♀ÇüŮń§►♫☺♀♂ć☺<\ˇ

0000010100063535080258610802587208296957082970140829883808298841

takze alterega su ok, len nie ked ich maju konkretni uzivatelia?
:D

000001010006353508025861080258720829695708297014082988380829884108298858

áno, čo je na tom nezrozumiteľné? ak sa niekto vyhráža smrťou a flooduje diskusie vulgárnosťou, je to problém bez ohľadu na to či to je alter ego, alebo nie.

×÷ßßß$ˇ~[☼◙ş→☻ü84ó♀ÇüŮń§►♫☺♀♂ć☺<\ˇ

00000101000635350802586108025872082969570829701408298838082988410829885808298873

ako si predstavujes technicke riesenie v dobe VPN?
ci nijak a len si sa potreboval podelit?

0000010100063535080258610802587208296957082970140829883808298841082988580829887308298895

technické riešenie čoho?

×÷ßßß$ˇ~[☼◙ş→☻ü84ó♀ÇüŮń§►♫☺♀♂ć☺<\ˇ

000001010006353508025861080258720829695708297014082988380829884108298858082988730829889508298897

rozlisovania (nevhodnych) alteriek

00000101000635350802586108025872082969570829701408298838082988410829885808298873082988950829889708298898

wrong thread, toto sa riešilo stokrát kdesi úplne inde
ja hovorím o tom, že pri diskusií o týchto veciach je celkom jedno, či niekto je alterko, alebo nie

×÷ßßß$ˇ~[☼◙ş→☻ü84ó♀ÇüŮń§►♫☺♀♂ć☺<\ˇ

0000010100063535080258610802587208296957082970140829883808298841082988580829887308298895082988970829889808298911

wrong thread?
bavime sa pod "je nejaky konkretny dovod pre ktory sa altery povazuju za problem?"
ode napisal - obchadzanie banu/spam
ty pises ze to je problem jednotlivcov a zaroven nemas riesenie na tento problem

skusme teda konstruktivne -
1. comu konkretne podla teba prispievaju alterka ak vobec?
2. ako by si riesil nevhodnych jednotlivcov?

000001010006353508025861080258720829695708297014082988380829884108298858082988730829889508298897082988980829891108298919

1) táto otázka nemá odpoveď ani zmysel, hovoríme o množine vzájomne veľmi odlišných id, ktoré nemáš na základe čoho zovšeobecniť. čo je vec, ktorú sa celý čas snažím povedať, ale niekto sa tu hrá na nechápavého.
2) oftopik, a keďže sa to na kyb. stokrát riešilo, osobne sa tomuto zrovna v tejto chvíli nepotrebujem venovať

×÷ßßß$ˇ~[☼◙ş→☻ü84ó♀ÇüŮń§►♫☺♀♂ć☺<\ˇ

00000101000635350802586108025872082969570829701408298838082988410829885808298873082988950829889708298898082989110829891908298925

takze k teme nic a len si sa potreboval podelit, chapem

0000010100063535080258610802587208296957082970140829883808298841082988580829887308298895082988970829889808298911082989190829892508298931

k téme, čo si chcel riešiť ty, bohužiaľ nie. je to smutné keď si niekto nechce písať k téme do ktorej ho nasilu tlačíš. komunikácia je ťažká vec veruže.

×÷ßßß$ˇ~[☼◙ş→☻ü84ó♀ÇüŮń§►♫☺♀♂ć☺<ˇ

000001010006353508025861080258720829695708297014082988380829884108298858082988730829889508298897082988980829891108298919082989250829893108298940

k teme ktoru zacal riesit innermostsanctum 10+ nod vyssie
citat s porozumenim zjavne tiez

00000101000635350802586108025872082969570829701408298838082988410829885808298873082988950829889708298898082989110829891908298925082989310829894008298943

jj úplne rozumiem. to škrie, keď niekto v threade "čo je vlastne zlé na alterkách?", nechce silou mocou diskutovať na tému "čo robiť s vadnými používateľmi?".

×÷ßßß$ˇ~[☼◙ş→☻ü84ó♀ÇüŮń§►♫☺♀♂ć☺<\ˇ

0000010100063535080258610802587208296957082970140829883808298841082988580829887308298895082988970829889808298911082989190829892508298931082989400829894308298972

z mentalnej gymnastiky by si mal za A.
odignorovat ze alterka vznikaju primarne kvoli vadnym vlastnostiam chce bud hlboke presvedcenie alebo disconnect z reality

000001010006353508025861080258720829695708297014082988380829884108298858082988730829889508298897082988980829891108298919082989250829893108298940082989430829897208299070

ee, na to je pestré spektrum ďalších dôvodov, od praktických cez osobné, kreatívne až po podvratné.

×÷ßßß$ˇ~[☼◙ş→☻ü84ó♀ÇüŮń§►♫☺♀♂ć☺<\ˇ

00000101000635350802586108025872082969570829701408298838082988410829885808298873082988950829889708298898082989110829891908298925082989310829894008298943082989720829907008299145

noze, daj nejake 2-3 prakticke a osobne

0000010100063535080258610802587208296957082970140829883808298841082988580829887308298895082988970829889808298911082989190829892508298931082989400829894308298972082990700829914508299652

dakujem za ľahký uvod :) chvíľu som mal pocit ze problematika sa tyka aj vasich uctov :P

nevermind, myslel som ze registracie su uz zablokovane, respektive nie je tak jednoduche ziskat novy ucet, cize casom sa aj vsetky ucty, aj dotycnej zlej osoby vypotrebuju, vybanuju po vsetkych moznych forach, a raz sa dospeje do bodu ked uz bude zase vsetko v normale :) alebo uz nie som aktualny a alter ucty si ludia vyrabaju ako na beziacom pase?

tiez by ma zaujimalo, ci ti ludia naozaj maju nejaky realny dopad ako to naznacujete, ja som si ani nic zvlastne jednak nevsimol, ale určo nechodim na tie spravne fora, na druhej strane su to mozno presne fora toho typu kde sa to da predpokladat, nejake to divokejsie spravanie, mozno sa to tam da brat aj ako za normu :)

a ešte povedzme ze niekto je fakt "reťo", nie je najidealnejšia forma obrany naucit sa s nim komunikovat tak ze na vas nema ziadny vplyv? cvicit to, kym sa to vo vas vyvinie? napriklad ze ked vidno ze on nazor nemeni tak to jednoducho akceptovat ze ma iny nazor a tym to uzavriet? ako to volaju ze agree2disagree

000001010006353508025861080258720829695708297014082988380829884108298858082988730829889508298897082988980829891108298919082989250829893108298940082989430829897208299070082991450829965208299665

Registracie funguju a okrem novych alteriek existuje x nepouzivanych. Ono cakat ze sa niekedy minu ked vyhodia max. tie agresivne je imo naivne. S tym agree2disagree ja nemam problem a nepouzivam preto ani ignore.
Safespace hladaju ini.. len mi pride tupe uvazovat v rovine alterka su ok pokial nenadavaju.

00000101000635350802586108025872082969570829701408298838082988410829885808298873082988950829889708298898082989110829891908298925082989310829894008298943082989720829907008299145082996520829966508299931

heh no mne pride naivne davat ban vobec nejakemu uctu, na vyssej urovni ako nejakej lokalnej bublačke

0000010100063535080258610802587208296957082970140829883808298841082988580829887308298895082988970829889808298911082989190829892508298931082989400829894308298972082990700829914508299652082996650829993108300026

no a pre toto by sa alterka mali riesit ..
takto si clovek s kludom poflejmi a prinajhorsom zalozi nove

0000010100063535080258610802587208296957082970140829883808298841082988580829887308298895082988970829889808298911082989190829892508298931082989400829894308298972082990700829914508299652082996650829993108299964

Ty musis vzdy porovnavat migrošos s nackami ty kokot?
To je ake porovanie? Mam v piči nackov, no tak maju protest a idu po meste.
Ohlasena akcia ako akykolvek protest. Migroši sa ale jebu na dialnicu a ohrozuju majetok a ludi na zivote. To nie je zrovna akcia na jeden den.
Tak tu laskavo nepiš pičoviny a vyjadri sa jasne k danemu problemu.
Migrošska papula poslucha jedine ked je pod kontrolou vyssej triedy.
Tak ako to bolo v USA ked dojebali negrov z afriky. Chvilu pičovali, ked bol problem policajti ich par odjebali a vidiš co maš dnes.. vyvinutu vsrtvu domestikovanych negrov, ktori mozu hrdo spolupracovat s bielimi. Aj ked stale ostala low class vrstva.
Rovnake opraty potrebuju aj dnesni migroši a ne teple reči a slniečkarske kecy.
Bud prisny režim alebo gulka do hlavy! Zapametaj si že že whites only a potom zbytok sveta ktory je primitivny. Vsimni si že afrika sa neposunula vo vyvoji nikam už dobrych tisic rokov, pretože im tam chyba nadvlada royal triedy. Okrem kolonizovanych oblasti a juhu kde prišli mudri ludia z Europy.

0000010100063535080258610802587208026690

co tak skusit porovnavat ipcky z ktorych sa postupu posty?

0000010100063535080258610802587208026670

Cvicenie je to pekne, no pouziva velke kladivo na stredne komplikovany task;)
co takto
1;) predpoklad ze ludia su lenivy, extremne lenivy. t.j existuje predpoklad ze pouzili rovnaky registracny e-mail
2;) alterego je fun ale vela ludi sa inym ludom skor ci neskor prizna - scan tabuliek posty na content like 'ahoj, ja som %' (**disclaimer: posta sa citat nema! ale scanovat moze;)
3;) metoda spolocneho "storage". je ista pravdepodobnost ze ak ID ma private forum (skladisko bordelu), ak je tato teoria spravna je predpoklad ze alterego tam bude mat minimalne access ( ak ma mastra je to plus ;)
4;) logovat IPcky, vyfiltrovat NAT a pozerat ktore rovnake ID sa prihlasuju z rovnakej IP (**disclaimer: jojo, logovat IP je zlezlezle, ale bol tu uz aj vacsi bordel )
5;) vyuzit kolektivnu pamet/kolektivnu paranoiu. ludia maju tusaka. cize vyselectovat count na reply na prispevky kde sa vyskytuje string alterego,alterko a pod. Inymi slovami: ziskat zoznam kto reaguje najcastejsie na obvinenie ze je alterego. A potom? napriklad kto ma v prilahlych nodach vela visitz )
6;) predpokladam ze alterega budu mat dramaticky maly oblem posty...
7;) rovnake bookmarky ( ale to uz mas podchytene )
8;) je predpoklad ze alterego nebude mat ignore na usera na ktoreho povodne ID ma ( pretoze vsetci sme v kutiku duse kryptopokrytci:)
9;) je predpoklad ze alterego stalkuje povodne ID, da sa to vidiet v node_visits
10;) je predpoklad, ze trollovacie alterego bude prihlaseny v rovnaky cas ako povodne ID.

nuz v ramci ze istym sposobom je "sutaz" (nebo li outsourcing ) zalozena na non-private datach je pochopitelny tvoj approach nebo li "gameska" ci jak to chces/chceme nazvat..

000001010006353508025861080258720802667008027144

Dobre davas, ja by som to ale este vytunil do doknalosti. A celkom sa mi paci, ze autor tu hlada K-ckovacie ID-cka, pritom sam to robi :), K-svojim prispevkom z viac ID a zvysovanie rankingu neustalym ostavanim v jeho nodach /tym padom sa dviha exponencialne jeho ego & K-cka/.

A posta sa cita stale. A logy podobne tomuto:

fuckerLog(1859269, ...)

// prepare log message
$tothlog .= sprintf('USERID: %s', $_SESSION['user_id']) . "n";
$tothlog .= sprintf('HTTP_USER_AGENT: %s', $_SERVER['HTTP_USER_AGENT']) . "n";

Tu bezia stale tiez ;), NIEKTO by sa uz k tomu mohol vyjadrit. Ale celkovo mi je to smiesne.

Ved vies, lásko má ;)

0000010100063535080258610802587208026428

TTčka (trdielka tunelárske) sú alteregá primárne vytvorené za účelom Kčkovania (pripadne likeovania ci retweetovania) príspevkov ktorých autorom je pôvodné id.

Da sa ockavat ze najnaivnejsie trdielka by mohli byt detekovane skriptom ako je napr. tento:

my %h;
while (<>) {
if (/(d+)td+t(d+).*yes$/) {
exists $h{$2}{$1} ? ($h{$2}{$1}++) : ($h{$2}{$1}=1);
}
}

for my $v (keys %h) {
my @r=keys %{$h{$v}};
if (@r<=2) {
print "$v,".$r[0].",".$h{$v}{$r[0]}."n";
print "$v,".$r[1].",".$h{$v}{$r[1]}."n";
}
}

Inac povedane: skript v jednom priebehu natiahne do hashu informaciu o tom kto komu dal Kcka a nasledne vytriedi iba tie pripady kedy DONOR (mozne alterko) za celu svoju existenciu na kybci kckoval prispevky maximalne dvoch* PRIJEMCOV

Vypadne z toho zoznam ktory po zosortovani podla "intenzity podpory" (i.e. podla poctu udelenych K) obsahuje na najvyssich prieckach nasledovne dvojice:

DONOR,PRIJEMCA,GIVEN_Ks
3462628,3393029,21
1908044,1788167,10
2167,415,10

(vsimni si ze prvi dvaja donori maju zatvoreny profil)

Celkovo je možno potešujúcim zistením že na kyberii TTčka niesú tak aktívne ako napr. schránkové firmy v slovenskej politike

Khoda Hafez

* 2 je samozrejme prahova hodnota ktora sa da vytunit na 12om riadku skriptu...jej navysenim sa rozsiruje mnozina moznych kandidatov, napr.

4239045,1240550,19

ale tiez sa aj zvysuje pravdepodobnost detekcie false positives, e.g. "oddanych fandov", ako je tomu, dufam, napr. v tretom riadku vyssie uvedeneho zoznamu, resp. v nasledovnom pripade:

4392390,656962,11

ehm ;)

000001010006353508025861080258720802642808027669

btw ake bude overovanie vysledkov?

ci vsetci nageneruju nejake pary IDciek a potom sa budu zasa viest siahodlhe flamy koho ostrakizovat? (nie ze by som vedel co to slovo znamena ale ocividne je trendy)

don't take my kindness as a sign of weakness