total descendants::3 total children::1 2 ❤️ |
myslim, ze hlavna linia jeho argumentu je, ze akonahle bude nejaky tych systemov superinteligentny, nebude mozne kontrolovat jeho alignment a bude si robit co chce/optimalizovat svoju vlastnu vec (to mi inak sedi)... a nech je to uz cokolvek, pravdepodobne nieco, comu budeme rozumiet asi tak ako rozumeju simpanzy nasim elektrarnam a poda Judkowskeho statisticky v drvivej vacsine tych optimalizacnych senarov nefiguruje ludstvo ako prezivsie, nie z nejakych antropomorfnych "snah o nadvladu nad X/porazku X a pod." ale proste "math of the situation checks out that way". konkretne tento "statisticky" argument je dost pritiahnuty za vlasy a hystericky, ak by som si mal tipnut, vo vacsine tych optimalizacnych scenraov je ludstvo non-faktor, ak ta superinteligencia vznikne, do par dni nas bude mat na haku a transcenduje do pice prec od nasich grotesknych survival games (nieco ako koniec Her mi pride pravdepodobnejsie ako ranty na lesswrong). |
| |||||||||||||||||||||||