15.12.2016-5:26:35 :: Something smarter than us is going to emerge


node:	15.12.2016-5:26:35
template:	4
parent:	deep dreamz are made of silk
owner:	kyberbubus
viewed by:
created:	15.12.2016 - 05:26:35

cwbe coordinatez:
101
63529
7956078
8266514

ABSOLUT
KYBERIA

permissions
you:	r,
system:	public
net:	yes

timko

čo v prípade, že chcem riešiť neurálne siete, ale nemám dostačujúci hardvér? existujú nejaké prenajateľné servery, ktoré sú dostatočne rýchle, a šlo by to na nich nahodiť? či ako sa to rieši?

×÷ßßß$ˇ~[☼◙ş→☻ü84ó♀ÇüŮń§►♫☺♀♂ć☺<\ˇ

0000010100063529079560780826651408280046

https://kyberia.sk/id/8112496

tunak je pre zaciatok taky nastrel dostupnych sluzieb.

0000010100063529079560780826651408279923

ano, dokonca predxvicene siete. zajtra ti poslem linky v ramci kyberie, co som zozbieral, teraz som na mobile nechce sa mi to kopirovat.
v principe pohladaj microaoft cognitive services, dokonca ponukaju standarsnu nn ako hw nauceny usb kluc za pajcku,mrte.

000001010006352907956078082665140827992308280053

http://electronics360.globalspec.com/article/6635/here-is-the-first-embedded-neural-network-on-a-usb-stick

0000010100063529079560780826651408266949

Ano, existuju. Zavisi co presne chces s tym robit. Nemam ale presny navod ako na to. Ak to budes riesit viac ako len trochu, tak to bude aj drahsie ako lokalne riesenie. Plus budes musiet kopirovat kvantum dat po sieti, ak mas vela vstupnych dat.
Podstatne je, ze vacsina deep learning veci dnes v podstate vyzaduje silne GPU, takze nestaci aby bol vps rychly, ale musi mat GPU (aws, gce a predpokladam zopar dalsich providerov ma take veci).

000001010006352907956078082665140826694908267040

niečo, kde by šlo nahodiť potrebný softvér a knižnice / čiže asi ideálne niečo čo frčí na linuxe a mohol by som si to tam nahodiť. dát nebude treba veľa, veď väčšinou veľkosť sady dát, ktorú procesuješ, sa pohybuje v megabajtoch. iba netuším, koľko to môže stáť atď.

×÷ßßß$ˇ~[☼◙ş→☻ü84ó♀ÇüŮń§►♫☺♀♂ć☺<\ˇ

00000101000635290795607808266514082669490826704008267058

Hej, neviem o tom ze by niekto robil cloud deep learning na inom ako na linuxe.
Dospele systemy su vacsinou take co spracovavaju obrazky/videa/zvuky, tam ide skor o desiatky GB a viac :)... ak mas naozaj len zopar (desiatok, stoviek) MB tak predpokladam ze ide o textove data a snad ani nebudes potrebovat GPU, cim sa ti dost zvacsi vyber (CPU-only VPS sa najdu aj za 10-20 dolarov mesacne, aj ked ktovie aky tam bude vykon vzhladom na provisioning).

0000010100063529079560780826651408266949082670400826705808274927

no tým by som si tak istý nebol - ja robím cez CPU, a teraz skúšam wavenet implementovaný cez tensorflow. napchal som tam iba pár desiatok MB audia, ale už teraz mi jeden step trvá takmer 2 minúty, a z toho čo som pochopil, tak väčšinou pre nejaké ako-tak použiteľné výsledky musí pobežať aspoň pár desaťtisíc krokov. čiže podľa tejto matematiky by to muselo bežať asi mesiac nonstop. aj v prípade textov cez char-rnn - pár mega textu takýmto tempom trvá pár dní, kým to sieť celé prejde, čo tiež nie je práve najkratšie. s videom som radšej zatiaľ ani neskúšal začínať:)

×÷ßßß$ˇ~[☼◙ş→☻ü84ó♀ÇüŮń§►♫☺♀♂ć☺<\ˇ

000001010006352907956078082665140826694908267040082670580827492708274936

Na wavenet na cpu mozes rovno zabudnut, je to pomale aj na gpu, referencna implementacia bezala na stovkach gpu (ale tam aj naozaj mali vela dat, ako som pisal).

00000101000635290795607808266514082669490826704008267058082749270827493608274941

jo, a dátová sada na ktorej to trénovali, mala pár desiatok giga. akurát asi cielili k sofistikovanejším výsledkom (syntéza prirodzene znejúcej ľudskej reči včítane text-to-speech). afaik s GPU môže rýchlosť narásť približne desaťnásobne - čiže z napr. tých 30 dní by boli 3 dni, čo už nie je nič hrozné. ale práve kvôli tomuto sa pýtam na možnosť prenajatia strojového času, či by to potenciálne nebolo lacnejšie, ako kupovať výkonné GPU iba kvôli tomuto...

×÷ßßß$ˇ~[☼◙ş→☻ü84ó♀ÇüŮń§►♫☺♀♂ć☺<\ˇ

0000010100063529079560780826651408266949082670400826705808274927082749360827494108274947

V Azure mozes vyuzit N Series (NC bezia aj na Ubuntu). Stoja od cca 800 USD za mesiac a su uctovane na minutu prevadzky, takze mozno by sa ti to hodilo.

Tu je viac info o setupe prostredia.