13.10.2015-23:56:45 :: Something smarter than us is going to emerge


node:	13.10.2015-23:56:45
template:	4
parent:	deep dreamz are made of silk
owner:	Thunder Perfect Mind
viewed by:
created:	13.10.2015 - 23:56:45

cwbe coordinatez:
101
63529
7956078
8016355

ABSOLUT
KYBERIA

permissions
you:	r,
system:	public
net:	yes

Takuto vec som spravil. Zvuk vln na plazi (3 hodiny) som dal dole do mono 8000Hz / 8bit pcm RAW streamu (86MB) a nakrmil som nim char-rnn (seq_length 250 rnn_size 512). 52 hodin trenovania na 980ti a vysledok je cca toto (2MB wav). Ma rovnake kodovanie ako vstup a je to pocut ale inak ma to zaujalo - skusim to nejak vylepsit a nakrmit inou hudbou. Skusal som predtym nejake disko ale to takmer vobec nekonvergovalo.

0000010100063529079560780801635508019287

do char-rnn je asi zaujimavejsie napchat midi. ale tiez som rozmyslal nakrmit to wavkom.

co sa tyka toho feedbacku. mno napada ma hodnotit to ludmi, a potom mu rvat spiatky data.
Pisal som Karpathymu ze ako to bude fungovat ked tomu das novy set dat (tie ohodnotene ludmi) a ako init_from mu podsunies uz natrenovany model na starsich datach. vysledkom by mal byt novy "zmergovany" model. Zaroven vsak data ktore bude generovat budu viac based na tych novych datach a tie stare bude priebezne "zabudat"

"it will do a merge, but will pay more attention to more recent things. the old stuff doesn't fully go away, just like with people, but is gradually forgotten."

000001010006352907956078080163550801928708019677

pchat tam midi je logicke, toto mi prislo zaujimavejsie :)

0000010100063529079560780801635508019252

dal som mu vyzrat techno a vyrobil drone. Teda, 0:00-5:20 je drone, potom vysamploval nejake beaty a dalej uz len ticho. vtipne.
Tentoraz to bolo namiesto 8kHz iba 2kHz, mensia siet (384 namiesto 512) a vacsia seq_length (350 namiesto 250). Cim nizsia samplovacia frekvencia, tym ma pri obmedzenych zdrojoch (hlavne RAM grafickej karty) vacsiu sancu naucit sa dlhsiu postupnost. Aspon myslim :)

Rozmyslam ako by sa dal dat sampleru feedback toto ano - toto nie a ako by sa z toho mohol poucit.

000001010006352907956078080163550801925208019273

Podla mna data predzute Fourierovou transformaciou (pri tak nizkom sample rate by iste stacilo aj 1024 binov, ak nie menej) by boli o dost lepsi material na ucenie sa, ak ma byt vysledok pocuvany clovekom / s ohladom na to, akym sposobom vnimame zvuky/hudbu. (+ vysledky z toho potom samozrejme inverznou transformaciou do RAW dat, nech sa to da pocuvat)

Aj ked asi vypoctovo narocnejsie + neviem ci sa to da krmit 2D spektrogramom namiest 1D streamu.

00000101000635290795607808016355080192520801927308019335

char-rnn nevie nic o tom co sa komu paci, iba sa uci sekvencie. Idealny vstup pren je text, alebo hudobne notacie, lebo v tejto podobe sa mu dobre ucia hlavne kratke sekvencie. Existuju aj ine verzie.
Co je vysledkom FT nejakej skladby? frekvencie, amplitudy a fazy zloziek? To mi skor znie ako strava pre ine feature learning algoritmy. tu napriklad robia s DBN+SVM klasifikaciu zanrov - otazka je ako by sa z toho dalo potom nieco generovat.

Resp. tu robia nieco podobne s LSTM (co pouziva aj char-rnn), ale rozdelia skladbu na N blokov a z kazdeho robia FT samostatne. To znie zaujimavo, otazka je ake velke spravit tie bloky.

0000010100063529079560780801635508019252080192730801933508019584

som nemal na mysli paci/nepaci, skor ze fourierova transformacia v podstate rozklada zvuk (alebo ine data) na jednotlive frekvencie, co je dost podobne tomu, ako funguje sluch (akurat tam rozklad vyzera, ze neprebieha algoritmom, ale mechanicky/akusticky pomocou rezonancii a mozog uz dostava zvuk rozlozeny na vela zloziek).

s tymi blokmi je to tak, ze sa pouziva vela kratsich, prekryvajucich sa blokov a pre kazdy z nich dostanes seriu amplitud k napevno danym frekvenciam - napevno dane su sample rateom deleno dlzkou bloku, na akom tie vypocty robis. ak to pocitas na blokoch dlhych 100 samplov, tak ti to bude rozkladat spektrum (po nyquist frekvenciu) na 100 "binov" zodpovedajucich 100 frekvenciam (akurat cokolvek co nesadne presne do nejakeho binu sa zobrazi nielen v dvoch najblizsich, ale aj kade tade. tomu sa da zamedzit tym, ze kazdy blok sa nie iba vystrihne a pouzije cely ako je, ale sa este prenasobi nejakou window funkction... no tym sa asi netreba zaoberat / hadam, ze v akomkolvek jazyku na to existuju hotove kniznice, ktore toto vsetko riesia

000001010006352907956078080163550801925208019273080193350801958408019591

no je to potencialne zaujimave, problem moze byt s velkostou jedneho binu, resp. nemusel by sa kopirovat cely, stacil by identifikator binu, ale dolezite je aby pocet roznych binov (velkost slovnika) nebola prilis velka, lebo od toho zavisi mnozstvo potrebnej pamate dost vyrazne.

prip. ak vies doporucit nejaku kniznicu/program pre linux tak sa na to pozriem, pozeram ze v perle nic moc :).

00000101000635290795607808016355080192520801927308019335080195840801959108019627

tych binov (tj dlzka blokov) sa pri na pocutelnom spektre zvykne pouzivat 2048 a vyssie... no tu ked je sample rate nizsi, nejde o to aby to bolo hifi, tak hadam, ze by mohlo postacit aj 256 napriklad...

potom este trochu zalezi aj na overlappingu blokov. ak su na seba nasekane tak, ze az od polky jedneho zacina dalsi, tak to tiez nieje moc hifi, no mozno by mohlo stacit.

program pre linux - napr pure data vie taketo veci urcite. su tam na to [fft~] a [ifft~] objekty.

0000010100063529079560780801635508019252080192730801933508019584080195910801962708019669

sorry, pozeram ze som zamenil biny a bloky, no ale aspon je mi to uz jasnejsie. skusim sa s tym pohrat ked bude cas.

00000101000635290795607808016355080192520801927308019291

krmit to mozes principialne cimikolvek, ono sa to uci postupnost znakov ako idu za sebou

0000010100063529079560780801635508017983

prdni do toho Bacha :)

000001010006352907956078080163550801798308019289

to uz spravili.
nakrmili to 1GB archivom midifajlov klasiky
https://kyberia.sk/id/7954400