co sa tyka tych "nenural" features plati ze cim viac jadier a cim viac VRAM tym lepsie. Hlavne by som sa zameral na tu VRAM.

Ked som si robil lokalny test stable diffusion lokalne tak som sa dostal max na 512x512px, do VRAM sa musi zmesit model, vysledny obrazok a este nejake chujoviny navyse. Takze zavisi aj od velkosti toho modelu, ze kolko VRAM budes potrebovat. s vyhladom do buducnosti teda grafiku s co najviac VRAM.

Ak sa bezi nejaky ML na cpu tak to bezi sakra pomalsie - lebo vsak nemozes porovnavat pocet jadier CPU a GPU, ale tak pri CPU nie si limitovany tou VRAM ale iba tym kolko mas RAM.

Co sa tyka toho co spomina ulkas, tak tie TPU su zaujimave hlavne pre trening, aku su to low energy cores tak samozrejme to znizuje naklady na trenovanie modelu cez cutovanie costs na energie.
Okrem toho tie specializovane grafiky maju podstatne viac VRAM, trenovanie je viac narocne na pamat ako len "samplovanie" z modelu, kedze na efektivne trenovanie okrem modelu do vram chces vtesnat aj trenovacie data, idealne co najviac nech sa nestraca rychlost pri kopirovani z RAM do VRAM atd. Ked vsak porovnas tieto speci grafiky, tak v hrubej sile su slabsie ako herne grafiky, ale su stavane prave na dlhodobu kontinualnu zataz s nizkou spotrebou energie.

Tu to Linus pekne ukazuje