co sa tyka tych "nenural" features plati ze cim viac jadier a cim viac VRAM tym lepsie. Hlavne by som sa zameral na tu VRAM.

Ked som si robil lokalny test stable diffusion lokalne tak som sa dostal max na 512x512px, do VRAM sa musi zmesit model, vysledny obrazok a este nejake chujoviny navyse. Takze zavisi aj od velkosti toho modelu, ze kolko VRAM budes potrebovat. s vyhladom do buducnosti teda grafiku s co najviac VRAM.

Ak sa bezi nejaky ML na cpu tak to bezi sakra pomalsie - lebo vsak nemozes porovnavat pocet jadier CPU a GPU, ale tak pri CPU nie si limitovany tou VRAM ale iba tym kolko mas RAM.

Co sa tyka toho co spomina ulkas, tak tie TPU su zaujimave hlavne pre trening, aku su to low energy cores tak samozrejme to znizuje naklady na trenovanie modelu cez cutovanie costs na energie.
Okrem toho tie specializovane grafiky maju podstatne viac VRAM, trenovanie je viac narocne na pamat ako len "samplovanie" z modelu, kedze na efektivne trenovanie okrem modelu do vram chces vtesnat aj trenovacie data, idealne co najviac nech sa nestraca rychlost pri kopirovani z RAM do VRAM atd. Ked vsak porovnas tieto speci grafiky, tak v hrubej sile su slabsie ako herne grafiky, ale su stavane prave na dlhodobu kontinualnu zataz s nizkou spotrebou energie.

Tu to Linus pekne ukazuje

praveze sa posledne roky specializuju na to cipy, vola sa to tensor core u nvidie, ale vo vseobecnosti sa to nazyva TPU:
https://openmetal.io/docs/product-guides/private-cloud/tpu-vs-gpu-pros-and-cons/

cize su to samostatna kategoria vykonnych cipov optimalizovanych na AI ulohy, specialne neuronove siete akymi GPT veci su. nemam ale prehlad, ci existuje aj hybridna consumer grafika, ktora by pokryvala aj GPU sektor aj TPU sektor, alebo na to treba vzdy speci kartu. toto som ti chcel poradit, aby si aspon preskumal, ci je to nejakym sposobom dostupne a vhodne pre teba