KAJ VEMO / Solve-X blog
Andraž Hovnik

Evolucija upravljanja podatkov: od skladišč do podatkovnih mrež

V dobi, kjer postajajo podatki nepogrešljivi za vsako organizacijo, se rojeva revolucionarni pristop – data mesh. Ta evolucija odraža spremembe v načinu, kako organizacije pristopajo k obvladovanju in izkoriščanju podatkov. Sledili bomo poti, ki nas bo vodila od tradicionalnih podatkovnih skladišč do bolj prilagodljivih podatkovnih jezer, nato pa bomo raziskali koncept podatkovnih jezerišč. Na koncu pa se bomo poglobili v koncept data mesh in razmislili o tem, kaj prinaša za prihodnost obdelave podatkov.

Podatkovna skladišča

Arhitektura podatkovnega skladišča je določena s premikanjem podatkov iz operativnih sistemov in baz podatkov prve stranke v sisteme za poslovno inteligenco. Podatkovno skladišče je osrednja točka, v kateri se določi shema (shema v obliki snežinke, shema v obliki zvezde), kjer se podatki shranijo v dimenzijske tabele in tabele dejstev, kar omogoča podjetjem, da analizirajo svoje podatke iz več zornih kotov.

Podatkovna skladišča so označevala začetek analitičnega razvoja v osemdesetih oz. devetdesetih letih prejšnjega stoletja. Organizacije so v teh centraliziranih sistemih shranjevale in urejale strukturirane podatke iz različnih virov. To je omogočilo boljše poročanje in analizo poslovnih podatkov, vendar se je takšen pristop izkazal za precej omejenega zaradi nefleksibilnosti in posledično nastalih stroškov.

Podatkovna jezera

Z vzponom podatkovnih jezer so organizacije pridobile večjo prilagodljivost, kar je postalo še posebej ključno v odzivu na nove izzive, ki so se pojavili pri obvladovanju podatkov. Podatkovna jezera so predstavljala prelomnico, saj so omogočila shranjevanje ogromnih količin raznolikih podatkov v njihovi izvorni obliki. To vključuje tako strukturirane kot tudi nestrukturirane in pol-strukturirane podatke, ki so nepogrešljivi za podatkovne analitike ter proces usposabljanja modelov strojnega učenja (ML).

Arhitektura podatkovnih jezer je bila natančneje predstavljena okoli leta 2010, kot odgovor na izzive, s katerimi so se soočala tradicionalna podatkovna skladišča pri zadovoljevanju novih potreb po obdelavi podatkov. Posebej pomembno je, da so analitikom omogočila dostop do surovih podatkov za procese usposabljanja modelov strojnega učenja (ML). Analitiki za ta postopek potrebujejo podatke v njihovi izvorni obliki, pri čemer so velike količine podatkov ključnega pomena. Shranjevanje teh obsežnih podatkov v tradicionalnih podatkovnih skladiščih bi bilo izjemno zahtevno, zato so se podatkovna jezera izkazala kot bolj primerna alternativa za takšne naloge. Težava podatkovnih jezer, se je kljub temu hitro izkazala njihova kompleksnost in neobvladljivost.

Evolucija upravljanja podatkov od osemdesetih do leta 2010

Podatkovna skladišča in podatkovno jezero

Podatkovna jezerišča

Kot odgovor na izzive, povezane s hranjenjem in urejanjem podatkov v podatkovnih jezerih, se je okoli leta 2015 pojavila ideja o podatkovnih jezeriščih. Ta koncept je usmerjen v boljšo organizacijo in skrbno urejenost podatkov v jezerišču, kar omogoča boljšo uporabo in analizo. Največji spremembi med drugo in tretjo generacijo podatkovne arhitekture sta bili prehod v oblak, kar je prineslo razpoložljivost podatkov v realnem času, ter združevanje med podatkovnim skladiščem in podatkovnim jezerom. Glavne slabosti tretje generacije podatkovnih arhitektur, ki vključujejo podatkovna jezerišča, so odvisnost od ponudnikov in dejstva, da lahko podatkovna jezerišča hitro naberejo ogromne količine podatkov, kar zahteva učinkovito upravljanje in skaliranje.

Podatkovne mreže – Data mesh

Sodobna evolucija pristopa k obdelavi podatkov v obliki data mesh ni zgolj tehnična sprememba, ampak predstavlja predvsem pomemben organizacijski in strateški premik. Namesto tradicionalnega centraliziranega pristopa poudarja decentralizacijo in distribucijo odgovornosti za podatke po celotni organizaciji. Vsaka enota postane svoja lastna podatkovna domena, ki je odgovorna za urejanje, vzdrževanje in dostop do svojih podatkov.

S tem pristopom organizacije dosežejo večjo agilnost, saj se bolje prilagajajo hitro rastočim količinam podatkov. Poleg tega podatkovne mreže omogočajo boljše obvladovanje rasti podatkov, saj lahko organizacije bolj učinkovito shranjujejo, indeksirajo in analizirajo podatke. Zagotavlja tudi standardizirane vmesnike za dostop do podatkov, kar olajša sodelovanje, deljenje in uporabo podatkov v organizaciji. S tem data mesh preoblikuje način, kako organizacije razmišljajo o svojih podatkih in jih izkoriščajo za boljše poslovne odločitve.

Evolucija upravljanja podatkov od 2015 do danes

Od podatkovnih jezerišč do Data mesha

Zaključki

Evolucija analitičnih podatkovnih arhitektur jasno kaže, kako se podatkovni svet hitro spreminja, od centraliziranih podatkovnih skladišč do današnjega poudarka na decentralizaciji s konceptom data mesh. Izbira prave arhitekture je ključna za organizacije, ki želijo izkoristiti potencial podatkov. S tem pristopom smo priča pomembnemu premiku k sodelovalnemu pristopu k obvladovanju podatkov, kar odpira nove priložnosti in zahteva preoblikovanje načina upravljanja, sodelovanja in varovanja podatkov.

V kontekstu te evolucije smo priča vzponu koncepta data mesh, ki pomeni prehod od centralizirane obdelave podatkov k distribuiranemu pristopu, v sklopu katerega vsak del organizacije postane svoja lastna podatkovna enota. To nas vodi v obdobje, v katerem se podatki postavljajo v ospredje kot neprecenljiva valuta, ki organizacijam omogoča boljšo agilnost in boljše izkoriščanje podatkovnega potenciala.

Deli naprej - ali pusti komentar!

OBDELAVA OSEBNIH PODATKOV

Soglašam z obdelavo osebnih podatkov, ki sem jih posredoval/a upravljavcu Solviks, programske rešitve in poslovno svetovanje, d.o.o., (Počehova 59i, 2000 Maribor, Slovenija, e-mail: info@solve-x.net) na tej spletni strani. 

Zavedam se in soglašam, da se osebni podatki, ki sem jih posredoval/a obdelujejo za namen:

  • trženja produktov in storitev;
  • pošiljanja informacij glede produktov, storitev in drugih dejavnosti.

Osebni podatki, ki jih Solviks obdeluje so ime in priimek ter elektronska pošta.

Pravna podlaga za obdelavo osebnih podatkov je privolitev posameznika po določbi točke (a)  prvega odstavka 6. člena Uredbe (EU) 2016/679 Evropskega parlamenta in sveta z dne 27.aprila 2016 o varstvu posameznikov pri obdelavi osebnih podatkov in o prostem pretoku takih podatkov ter o razveljavitvi Direktive 95/46/ES (v nadaljevanju GDPR).

Zavedam se, da bodo osebni podatki, ki sem jih posredoval/a Solviksu, obdelani v obsegu, ki je potreben za dosego zgoraj navedenih namenov.

Izjavljam tudi, da sem bil/a obveščen/a o pravicah glede varstva osebnih podatkov. To so:

  • pravica, da lahko kadarkoli prekličem soglasje za obdelavo osebnih podatkov in zahtevam izbris osebnih podatkov (7. člen in 17. člen GDPR);
  • pravica do informacij – pravica do informacije ali se obdelujejo moji osebni podatki (13. člen GDPR);
  • pravica do dostopa do osebnih podatkov – pravica do seznanitve z lastnimi osebnimi podatki (15. Člen GDPR);
  • pravica, da se nepopolni, netočni ali nepravilni osebni podatki izbrišejo  (16. člen GDPR);
  • pravica, da se izbrišejo osebni podatki, ko niso več potrebni ali je njihova obdelava nezakonita (17. člen GDPR);
  • pravica, da lahko ugovarjam obdelavi osebnih podatkov za namene trženja ali iz razlogov, povezanih z mojim osebnim položajem (21. člen GDPR) ;
  • pravica, da v posebnih primerih zahtevam omejitev obdelave svojih osebnih podatkov (18. člen GDPR);
  • pravica prejeti svoje osebne podatke v strojno berljivi obliki in jih poslati drugemu upravljavcu (20. Člen GDPR);
  • pravica zahtevati, da odločitve, ki temeljijo na avtomatizirani obdelavi in so povezane z mano ali znatno vplivajo name ter temeljijo na mojih osebnih podatkih, sprejemajo fizične osebe in ne zgolj računalniki (22. Člen GDPR). V tem primeru imam tudi pravico do izražanja lastnega stališča in izpodbijanja odločitve.

Pritožbo lahko podate Informacijskemu pooblaščencu (Dunajska cesta 22, 1000 Ljubljana, e-naslov: gp.ip@ip-rs.si telefon: 012309730, spletna stran: www.ip-rs.si)

Vse zahteve za varstvo osebnih podatkov in vprašanja v zvezi z varstvom osebnih podatkov lahko pošljete po elektronski pošti na naslov: vesna.brlic@solve-x.net ali info@solve-x.net.

Izjavljam, da sem to soglasje natančno prebral/a in se prostovoljno in nedvoumno strinjam z vsem navedenim. 

Download Best WordPress Themes Free Download
Free Download WordPress Themes
Download WordPress Themes
Download Nulled WordPress Themes
udemy paid course free download
download coolpad firmware
Download Best WordPress Themes Free Download
udemy free download

Spletno mesto uporablja piškotke zaradi boljše uporabniške izkušnje. Z uporabo naše spletne strani potrjujete, da se z njihovo uporabo strinjate.