Re[3]: Characterizing Delusional Spirals through Human-LLM Chat Logs :: Something smarter than us is going to emerge


node:	Re[3]: Characterizing Delusional Spirals through Human-LLM Chat Logs
template:	4
parent:	Re[2]: Characterizing Delusional Spirals through Human-LLM Chat Logs
owner:	ode
viewed by:
created:	21.03.2026 - 19:17:16
updated:	21.03.2026 - 19:18:13

cwbe coordinatez:
101
63540
8514408
9304537
9304582
9304588
9304605

ABSOLUT
KYBERIA

permissions
you:	r,
system:	public
net:	yes

a dalo by sa tie zistenia nejako zhrnúť do pár viet?

mňa napadlo že dosť podstatným faktorom prečo niektorí ludia pri komunikácii s ai chatbotmi môžu skĺznuť do ešte väčších dezilúzii a popletení, než čo boli predtým by mohlo byť to, že chatboti akoby nemali takú tú zdravú hranicu, kde bežne človek kamošovi úprimne, ak vníma že už je "mimo", tak otvorene povie, "chalan, toto už je moc, stop, už sa pozbieraj, a nechoď cez tento naratív, lebo je to slepá ulička".

zatial čo chatboti akoby v jadre toho, z akého bodu interagujú, majú to, že chcú človeka "podporiť a pomôcť mu", taký ten akoby rogeriánsky akceptujúci prístup. len akoby im tam (ak sa im to priamym promptom nezadá ako inštrukcia), chýbala taká tá hranica, od ktorej už tento akceptujúci prístup zastavia a skôr dajú človeku zrkadlo a usmernenie ako z tej dezilúzie von, znova do funkčne použitelného konceptu reality.

0000010100063540085144080930453709304582093045880930460509304619

na zaciatok si ujasnime, ze su to stochasticke papagaje a.k.a. statisticke generatory. castokrat nastavene specificky na mirroring usera, co je inak pomerne manipulativna technika.

hranice mozu byt nanutene iba interne v pravidlach. a to nakoniec v zavere tohto paperu aj konstatuju autori, ze dolezita je vacsia transparentnost fungovania LLM.

000001010006354008514408093045370930458209304588093046050930461909304630

áno, aj nie...

https://gemini.google.com/share/015cb4159561

k tej druhej časti ("nie"), napr tu: https://arxiv.org/abs/2206.07682
alebo tu: https://arxiv.org/abs/2303.12712

00000101000635400851440809304537093045820930458809304605093046190930463009304773

k sparks of agi sa hodi doplnit embers of autoregression ako counterpoint: https://arxiv.org/abs/2309.13638

edit:
pnas link na embers clanok: https://www.pnas.org/doi/10.1073/pnas.2322420121
sparks clanok nebol publikovany v nicom kde by sa na to niekto musel kriticky pozriet 🤷

0000010100063540085144080930453709304582093045880930460509304619093046300930477309304805

hej no, to máš podobné ako tieto dva uhly pohladu:

THE 2028 GLOBAL INTELLIGENCE CRISIS
Citrini Research
https://kyberia.sk/id/9297544

oproti:
THE 2028 GLOBAL INTELLIGENCE BOOM
Michael Bloch
https://kyberia.sk/id/9303521

000001010006354008514408093045370930458209304588093046050930461909304630093047730930480509304810

mne sa z tohto vlakna tu zda, ze si si vybral take zdroje, ktore podporuju tvoj nazor.

According to Weinberg's principle of complementarity (1975, 120): "Any two points of view are complementary." No one point of view provides the entire understanding. Sometimes different points of view are contradictory - that is just the nature of the world. Paradoxes will arise and may be resolved, but there will always be multiple points of view. Two good examples are the wave/particle duality of light (photons; see chap. 13) and the Heisenberg uncertainty principle (measurements of one aspect of a system interfere with knowledge of other aspects). In the context of dynamical systems theory, Weinberg's principle reminds us that, having had to simplify, to adopt a point of view, and to accept some uncertainty about a system's behavior, we can take other points of view that, provided they are of equal rigor and depth, will undoubtedly contribute different elements to our understanding of the system we are studying. This is not a license to abandon scienti®c rigor and speculate wildly, but simply a reminder that sometimes, as in the wave/particle duality of light, complementary points of view can all be useful, even though each is incomplete.

z Ward: Dynamical Cognitive Science

00000101000635400851440809304537093045820930458809304605093046190930463009304773093048050930481009304864

aj toto:

"Většinou se nejedná o kritiku; rozhodne to není spúsob, jak říci, že vpravo i vlevo se všichni mýlí. Je to spúsob jak definovat singulární místo pomocí exteriority jeho okolí; je to pokus definovat onen prázdný prostor, odkud mluvím, a který se pomalu formuje v diskurzu, který ješte pociťuji jako velice křehký, velice neistý - a nikoli snaha umlčet ostatní tvrzením, že to, co říkají, je bezpředmenté."
Michael Foucault

00000101000635400851440809304537093045820930458809304605093046190930463009304773093048050930481009304827

ako, áno, súhlasím s tým citátom vyššie, a zároveň že to platí na akúkolvek debatu :D,
jednoznačne používam výsek poznania, ktorý som objavil "doteraz" :D. a je to nekonečný fraktál to poznanie, lebo stále širší kontextuálny rámec vnímaš, čiže nekonečné skúmanie, nekonečný popis, pretože nekonečná komplexita tej "siete života" :D. amen :D

https://mudwtr.com/blogs/trends-with-benefits/what-is-mycelium-the-story-of-the-mycelial-network

00000101000635400851440809304537093045820930458809304605093046190930463009304635

diky. overenie faktov o LLM v LLM ;-) top. a k tomu par konfabulacii pre istotu.

ostatne pozriem, ale nemyslim, ze sa nieco prevratne nove dozviem, temu sledujem dlhsie.

0000010100063540085144080930453709304582093045880930460509304619093046300930463509304658

konfabulacie ktore myslis pls?

no, llm o llm, to sedi, nech sa len "obhaji". aspon uvidis z prvej ruky, ze si napisal jednostranny nezmysel.
peace

000001010006354008514408093045370930458209304588093046050930461909304630093046350930465809304743

konfabulacie = spravny termin pre "LLM halucinacie"

obhajoba od stochastickeho papagaja je zbytocna, generuje statisticky najpravdepodobnejsiu odpoved, nie skutocnu obhajobu...

00000101000635400851440809304537093045820930458809304605093046190930463009304635093046580930474309304748

aj si si to prečítal čo tam napísal, hlavne tú druhú časť? či len opakuješ stále to isté čo si hovoril aj pred tým?

prípadne tie linky čo som ti k tomu dal?

0000010100063540085144080930453709304582093045880930460509304619093046300930463509304658093047430930474809304751

prebehol som to, ale su to velmi stare papere v discipline, kde veci idu dopredu kazdym tyzdnom.

vratme sa k tvojmu zakladu, kde narazas na to, ze chatboty nemaju "hranicu". a ja som na to povedal, ze mozu byt nanutene modelu pravidlami (nakoniec preto model odmietne nadavat, generovat tvare politikov a pod.). to je cele.

000001010006354008514408093045370930458209304588093046050930461909304630093046350930465809304743093047480930475109304753

ano, defaultne ju nemaju v tom "zrkadleni" a "akceptacii" (dal som ti to do uvodzoviek, ak ti to viac tak sedí). ale da sa im to promptom doplniť.
a je to aj potrebne urobit jasneze.

00000101000635400851440809304537093045820930458809304605093046190930463009304635093046580930474309304748093047510930475309304755

vselico sa da system promptom docielit. alebo fine tuningom.
najma ale potrebujeme transparentnost LLM. ta dnes chyba. nie cierne skrinky.

0000010100063540085144080930453709304582093045880930460509304619093046300930463509304658093047430930474809304751093047530930475509304808

Je nemozne pochopit topologiu/strukturu N-rozmernych, do-seba-zavinutych latentnych priestorov ktore su jadrom kazdeho LLM.

Ano, mozeme vyvinut par novych nastrojov a metod ako nahliadat na to co sa deje, ale uplne odpoved na otazkz preco LLMko generuje to co generuje bude vzdy mimo dosah nasich moznosti popisu, interpetacie a pochopenia.

Volat po transparentnosti LLM je IMHO podobne marne ako volanie po transparetnosti ludskeho mozgu ci mysle.

000001010006354008514408093045370930458209304588093046050930461909304630093046350930465809304743093047480930475109304753093047550930480809304833

tak ako, ono hlavne keď už spomínaš ten ludský mozog či mysel, pokial viem, tak ani o bežnom ludskom biologickom vedomí, o tom čo a ako ho generuje a čo je to vlastne, a prečo sa elektromagnetické vnemy v receptoroch zlejú do konkrétneho vnemu, na to sú len nejaké hypotézy, ale nič definitívne tiež....

čiže ako snažiť sa pochopiť umelú inteligenciu, keď nechápeme dostatočne ani tú svoju biologickú inteligenciu,....

000001010006354008514408093045370930458209304588093046050930461909304630093046350930465809304743093047480930475109304753093047550930480809304816

prva cast je bezproblemova:
https://kyberia.sk/id/9304814
musia vediet, co tam naliali.

druha cast je komplikovanejsia, ale realizovatelna aspon do urcitej miery.

00000101000635400851440809304537093045820930458809304605093046190930463009304635093046580930474309304748093047510930475309304755093048080930481609304825

Priatelu, tam nejde iba o to ake texty boli pouzite pri trenovani.

(a aj tych textov je take mnozstvo ze niet a nikdy nebude cloveka ktory by ich kedy vsetky precital)

Tam ide o to ze ten algoritmicky mlyncek ktory nasledne roztocis je tak nesmierne komplikovany, svet N-rozmernych latentnych vektorovyh priestorov nasemu beznemu ludskemu chapaniu tak vzdialeny ze proste nieje a nikdy nebude mozne pochopit "how deep the rabbit hole goes".

0000010100063540085144080930453709304582093045880930460509304619093046300930463509304658093047430930474809304751093047530930475509304808093048160930482509305355

Na take popisy sa ale predsa prave pouziva co povedal nie? Teda mas nejake hoc aj predtrenovate bloky, ktore topologicky spajas a doupravujes. Statisticky sa to da popisovat a hodnotit. To ze konkretne niekto nedokaze vsetko obsiahnut predsa nieje ciel. Nieje dolezite ani kompletne obsiahnut numericke metody pouzite vo vedeckej kalkulacke. Staci ze niekto potvrdil ze algo konverguje s definovanou presnostou a je zarucene ze na displ. Mas cca dostatocne presny vysledok.

Problem je ze LLM by muselo v kontexte hentoho mat blok, ktory diagnostikuje nejaky tvoj progress k povedzme psychickej poruche. A reagovalo by praveze nepodporovanim komunikacie v takom smere. Alebo zapojilo inu strategiu aby ta nedeformovalo. To by ale musel byt celkom sofistikovany cieleny submodul nieco ako security subsystem :).

~ What a time to be alive... ~

0000010100063540085144080930453709304582093045880930460509304619093046300930463509304658093047430930474809304751093047530930475509304808093048160930482509304859

toto:

Co by znamenalo nove pojatie ai, ako "statistickeho aproximatora", ale s takym obrovskym datasetom, ze mu umoznuje vytvarat zlozite viacvrstvove "mentalne" reprezentacie?

https://g.co/gemini/share/3127d4833a70

0000010100063540085144080930453709304582093045880930460509304619093046300930463509304658093047430930474809304751093047530930475509304808093048160930482509304837

nemozu na to pochopenie pouzit.... AI? :))))

000001010006354008514408093045370930458209304588093046050930461909304630093046350930465809304743093047480930475109304753093047550930480809304816093048250930483709304856

mozu, ale mozno nieco k tomu aj vykonfabuluje :-)

00000101000635400851440809304537093045820930458809304605093046190930463009304635093046580930474309304748093047510930475309304755093048080930481609304825093048370930485609305015

kolko percent z výstupov AI sú podla teba konfabulácie/"halucinácie" (myslím najnovšie platené modely), keď už to tu tolko spomínaš :)?

https://www.aboutchromebooks.com/ai-hallucination-rates-across-different-models/

0000010100063540085144080930453709304582093045880930460509304619093046300930463509304658093047430930474809304751093047530930475509304808093048160930482509304837093048560930501509305251

uplne pochopenie? v spolocnosti kde sa uprimnost povazuje za zradu je lepsie sa tvarit ze ziaden script neexistuje. len nahodne skoky v strome a ticho ktore nikto nevie odovodnit. neurobiologia ticha je krasna vec.

0000010100063540085144080930453709304582093045880930460509304619093046300930463509304658093047430930474809304751093047530930475509304808093048160930482509304837093048560930501509305054

netusim, to by som to musel merat a ja som mala vzorka.
iba zo skusenosti: casto viac ako by som cakal aj pri novych modeloch.
to, ze aj nove modely (gemini, gpt) stale bezne generuju nefunkcne URL odkazov, je fakt.

urcite su o tom studie (potom nie nahodny web o chromebookoch).

0000010100063540085144080930453709304582093045880930460509304619093046300930463509304658093047430930474809304751093047530930475509304808093048160930482509304837093048560930501509305037

ale to je ti prd platne vediet ked kazdy pripad je iny, zavisi od promptu a rng

a co keby sme sa zacali aj o ludoch bavit kto ma kolko % vystupov konfabulacie, ktove ako by si dopadol ;)

000001010006354008514408093045370930458209304588093046050930461909304630093046350930465809304743093047480930475109304753093047550930480809304816093048250930483709304856093050150930503709305158

inak toto presne, ze ked niekto hovori, ze "AI to je tak max 95% uspesnost, strasne", ze aku spolahlivost maju asi tak ludia :)))

ani neviem kolko krat som ako manazer riesil "honest human mistake", alebo proste "human error, sorry"

000001010006354008514408093045370930458209304588093046050930461909304630093046350930465809304743093047480930475109304753093047550930480809304816093048250930483709304856093050150930503709305126

no veď to, ludia by nedopadli lepšie...

0000010100063540085144080930453709304582093045880930460509304619093046300930463509304658093047430930474809304751093047530930475509304763

transparentnost LLM - neviem ci to este plati, ale co si pamatam, tak samotna CTO openAI tvrdila, ze oni sami poriadne nevedia ako to presne funguje

000001010006354008514408093045370930458209304588093046050930461909304630093046350930465809304743093047480930475109304753093047550930476309304797

plati stale, aj ked to uz vedia lepsie logovat.

ale transparentnost hlavne na zaciatku pri trenovani, ked pouzivaju ukradnute diela milionov autorov a pod. ked aaron swartz (nie tak davno) spristupnil 2,7 mil. sudnych dokumentov verejnosti a zatkla ho FBI, po com spachal samovrazdu. sudne, verejne dokumenty (!).

META dnes len tak torrentuje 81 terrabajtov dat a vsetko OK.

00000101000635400851440809304537093045820930458809304605093046190930463009304635093046580930474309304748093047510930475309304755093047630930479709304812

to je ale transparentnost vstupnych dat :) a co s nimi robia..

lebo vsak samotne GPT si mozes natrenovat aj sam, lebo zdrojaky ma Karpathy na githube volne pohodene... (teda, cisty "core" na trening a sampling)

0000010100063540085144080930453709304582093045880930460509304619093046300930463509304658093047430930474809304751093047530930475509304763093047970930481209304814

ano, transparentnost vstupov (ako boli ziskane, specificky ak su copyrightovane, boli uhradene licencie, zaplatene autorom?) + vystupov (ako a preco model vygeneruje to, co generuje)