03.05.2013-15:44:52 :: Something smarter than us is going to emerge


node:	03.05.2013-15:44:52
template:	4
parent:	Python Programming Language
owner:	mimmon
viewed by:
created:	03.05.2013 - 15:44:52

cwbe coordinatez:
101
63540
2076399
856608
7162048

ABSOLUT
KYBERIA

permissions
you:	r,
system:	public
net:	yes

Mam data o polohach nejakych bodov v roznych epochach:
vyzera to asi takto
---



#!volitelna hlavicka

*STA1 X Y Z

STA1 epocha1 a b c d e f g h i

STA1 epocha2 a b c d e f g h i

..

..

*STAN X Y Z

STAN epocha1 a b c d e f g h i

..

STAN epocham a b c d e f g h i

--
tieto data nacitavam riadok po riadku do slovnika {sta1:{epoch1:{...},epoch2...},..}, teda pouzitie je: data[sta4][epoch10] = suradnice

Existuje nejaky iny pohodlny, no rychlejsi sposob ako uchovavat takto strukturovane data inak ako pomocou dictionaries? (nejake databazy a pod?)

000001010006354002076399008566080716204807162146

jasne, databazova tabulka s 11 stlpcami, jeden je cislo STA, druhy je cislo epochy a tych zvysnych 9 su suradnice

ale zas dost zalezi, co za operacie s tymi datami budes robit -- ak sa ti to cele vojde do pamate a mas to fakt strukturovane tak, ako pises, "data[sta][epoch]", tak je mozne, ze ta databaza ani nebude rychlejsia, ak jednotlive epochy budes spracovavat linearne

00000101000635400207639900856608071620480716214607165408

Mozno to nebude efektivne, ale skusit by som to mohol, nech sa nieco naucim, aby som hlupy neumrel.
Hoci vobec neviem ani kde zacat - zacne asi tu niekde: Zacnem tu niekde: http://docs.python.org/2/library/persistence.html, skusim najst nejake tutorialy, pripadne ak mas nejaky tip na nejaky konkretny pythonsky modul a pod., tak sem s nim :)

Skusal som tieto data nacitavat pomocou generatorov, islo to uzasne rychlo. Problem bol, ak som chcel tie data odlozit v pamati na neskor, bol vykon potom porovnatelny az horsi ako povodne. Nacitavanie pomocou generatorov (yield) sa mi osvedcilo na rychle nacitanie konkretnej stanice, v pripade ze je v subore vela stanic.

Rozmyslam ci by nebolo rozumne mat dve metody nacitavania - jednu povodnu na kompletny subor a druhu na nacitanie v pripade ze su nastavene nejake filtrovacie udaje - nazvy stanic, minepoch, maxepoch, pripadne rozpatie suradnic... len neviem ci to nie je uplna blbost.

Vlastne tie generatory ma priviedli k povodnej otazke (dokonca som zvazoval, iba dopisat na koniec suboru nove data, len tak vyskusat ako by to fungovalo, ale prislo mi absurdne uchovavat data ako riadok textu :))

0000010100063540020763990085660807162048071621460716540807165479

hm, generatory su sposob vystavby programu, nie datova struktura

povedz nejaky konkretnejsi scenar, co s tymi datami chces robit a mozno nieco vymyslime tuna spolocne

000001010006354002076399008566080716204807162146071654080716547907182935

standardne vyuzivam Kalmanov filter, tam tieto data nepotrebujem, no ukladam ich kvoli vykreslovaniu do grafov (a ako sa ukazalo, mozno sa mi este zidu aj na dalsi test). Takze potrebujem mat pristup k vsetkym datam a vyberat ich podla a) nazvu stanice, b) podla epoch, ktore splnaju zadane kriteria