30.03.2023-21:37:19 :: Something smarter than us is going to emerge


node:	30.03.2023-21:37:19
template:	4
parent:	DžePeTo aneb GPT-3, GPT-4 & GPT-5 node
owner:	StiX
viewed by:
created:	30.03.2023 - 21:37:19
updated:	30.03.2023 - 23:58:37

cwbe coordinatez:
101
63533
63608
8771344
9052676

ABSOLUT
KYBERIA

permissions
you:	r,
system:	public
net:	yes

snad nie offtopic - rozhovor so CEO openAI po vydani gpt4

000001010006353300063608087713440905267609052902

lol, veep predbieha dobu

000001010006353300063608087713440905267609052823

00000101000635330006360808771344090526760905282309053050

thread co stoji za precitanie: https://twitter.com/xriskology/status/1642155518570512384

0000010100063533000636080877134409052676090528230905305009053082

+
https://rationalwiki.org/wiki/Eliezer_Yudkowsky

00000101000635330006360808771344090526760905282309052922

yudkowsky je kaloricky popierac a kecalek

0000010100063533000636080877134409052676090528230905292209052991

total

000001010006353300063608087713440905267609052761

To iba mne sa zda, ale obaja zneju ako by si capli pred podkastom za hrst sedativ.
Hen ten Fridman nedokaze ani artikulovat.

00000101000635330006360808771344090526760905276109053021

inak teda ked uz ideme riesit offtopic kto ako znie, malo co je otravnejsie ako nekonecne riesenie ludi kto ako znie v podcaste. Neviem ci je to tym ze 90% medii co konzumujem su podcasty, youtube, audio knihy a ine, pride mi ultra otravne ked sa nad tymto niekto pozastavuje. Podla mna je to ekvivalent riesenia toho ako kto vyzera na videu, ci je tucny, alebo skaredy etc.. uplne pointless. Uz viac krat som stravil hodiny s ludmi z indie s brutalne vyraznym prizvukom co ma ucili nejake veci a v pohode som to zvladol.

0000010100063533000636080877134409052676090527610905302109053022

Asi nemáš mizofóniu :) Keď niekto má odporný prednes, nedokážem sa sústrediť na obsah a treba mi z toho srať.

000001010006353300063608087713440905267609052761090530210905302209053026

hej akoze chapem ako to moze byt niekomu neprijemne, ale zas ak sa niekto dostatocne pozna, tak si to moze nechat pre seba, asi tak ako ja nejdem riesit ze je nietko skaredy

00000101000635330006360808771344090526760905276109052803

Fridmana si pustam len na 1.7+ speede

000001010006353300063608087713440905267609052689

Po tomto este odporucam popocuvat Yudkowskeho na zvysenie existencionalnej uzkosti (prvych 10 minut treba preskocit, vykecavaju sa tam autori).

00000101000635330006360808771344090526760905268909052857

chudacik, ako bol posraty z rokovho baziliska...

00000101000635330006360808771344090526760905268909052716

ti dvaja su z neho strasne nadrzani.
tu je eliezer u lexa a je menej presvedcivy a viac divny.
https://www.youtube.com/watch?v=AaTRHFaaPG8&list=PLrAXtmErZgOdP_8GztsuKi9nrraNbKKp4&index=1

ja s nim nesuhlasim, on si AIG predstavuje antropomorne, ako keby to bola nejaka smrtelna existencia, ktora sa chce rozmnozovat a viest kvoli tomu vojny.

0000010100063533000636080877134409052676090526890905271609052773

ja s nim tiez nesuhlasim, ale to co pises, netvrdi. naopak povazuje vsetky antroporfizujuce uvahy o tomto probleme (ktore v tej debate romanticky reprezentuje prave Lex) za uplne naivne

000001010006353300063608087713440905267609052689090527160905277309052851

A nie je ten motiv ze ai bude chciet znicit ludstvo antropomorfny? Vysvetluje niekde elizier preco si mysli ze by takyto zamer mala ai mat?

00000101000635330006360808771344090526760905268909052716090527730905285109053023

AI alignment je ale velmi relevantna a podstatna vec. Ved cela openAI company bola zalozena prave preto aby sa venovali tomuto problemu, fakt je to existencionalny risk. Jedine co je trochu za ciarou je podla mna prehanat ake schopnosti ma gpt4, moze to byt sucast buducnosti v AI ale ma to hrozne daleko od general inteligence.

Aj zakladne machine learning modely dokazu robit ultra divne a neocakavane veci ked je mismatch s alignmentom. Nie je uplne tazke pochopit ze vysoka inteligencia sa nerovna moralnost, a moralnost moze byt to co si predstavujes ako alignment.

Tak isto ako je to AI pre nas tool / vec, mozme byt my tool/vec pre to AI.

Podla mna je super na tuto temu tento typek, odporucam aj jeho youtube channel:

https://www.youtube.com/watch?v=92qDfT8pENs

00000101000635330006360808771344090526760905268909052716090527730905285109052862

myslim, ze hlavna linia jeho argumentu je, ze akonahle bude nejaky tych systemov superinteligentny, nebude mozne kontrolovat jeho alignment a bude si robit co chce/optimalizovat svoju vlastnu vec (to mi inak sedi)... a nech je to uz cokolvek, pravdepodobne nieco, comu budeme rozumiet asi tak ako rozumeju simpanzy nasim elektrarnam a poda Judkowskeho statisticky v drvivej vacsine tych optimalizacnych senarov nefiguruje ludstvo ako prezivsie, nie z nejakych antropomorfnych "snah o nadvladu nad X/porazku X a pod." ale proste "math of the situation checks out that way".
konkretne tento "statisticky" argument je dost pritiahnuty za vlasy a hystericky, ak by som si mal tipnut, vo vacsine tych optimalizacnych scenraov je ludstvo non-faktor, ak ta superinteligencia vznikne, do par dni nas bude mat na haku a transcenduje do pice prec od nasich grotesknych survival games (nieco ako koniec Her mi pride pravdepodobnejsie ako ranty na lesswrong).

0000010100063533000636080877134409052676090526890905271609052773090528510905286209052893

eliezer posobi tak ze to ma vsetko dopredu uz premyslene ale presne toto mi nedavalo zmysel to som ani nevedel ze nejaky zamer superintelegicie vyvodzuje zo statistickeho argumentu. kus je paranoidny nie? napriklad sa stazoval ze open ai bezi na microsoft cloudoch ako keby to uz bolo riziko ze sa nas moze odtial napadnut a sirit sa volne po nete. asi by to mali vyvijat na diskete

000001010006353300063608087713440905267609052689090527160905277309052851090528620905289309052906

s tou disketou nie si tak daleko...

Shut down all the large GPU clusters (the large computer farms where the most powerful AIs are refined). Shut down all the large training runs. Put a ceiling on how much computing power anyone is allowed to use in training an AI system, and move it downward over the coming years to compensate for more efficient training algorithms. No exceptions for anyone, including governments and militaries. Make immediate multinational agreements to prevent the prohibited activities from moving elsewhere. Track all GPUs sold. If intelligence says that a country outside the agreement is building a GPU cluster, be less scared of a shooting conflict between nations than of the moratorium being violated; be willing to destroy a rogue datacenter by airstrike.
https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/

00000101000635330006360808771344090526760905268909052716090527730905285109052862090528930905290609052954

a co vlastne nasho eliezera tak nastartovalo? hoci sa ai exponencialne zlepsuje, stale len plni ulohy, ktore jej zadame. bol tam nejaky nebezpecny leap? sam altman v tom interview hovori ze chatgpt je len komercializacia a ze medzi gpt 3 a gpt 4 neni ziaden vyznamny milnik, je to vylepsena predosla verzia.