Kursusel oli kokku 9 moodulit, kus iga juurde anti ka ports kohustuslikku kirjandust lugeda. Loomulikult sel ajal ma seda ei jõudnud lugeda, kuid võtan nüüd eesmärgiks kuu aega järjest lugeda. Vaatame, kuhu jõuame. Lugemine suvalises järjekorras.
aws: What’s the Difference Between ETL and ELT? moodul 3: andmete integreerimine, mis vaatleb lähemalt kahte mõistet ETL (extract, transfrom, load) ja ELT (extract, load, transform).
ETL ja ELT on kaks lähenemist andmetele andmetoru/analüütik ülesehituses. Mõlemad koosnevad kolmest sammust:
- eraldamine (extract): toorandmete toomine alliksüsteemist (failist, andmebaasist, teisest tarkvarast). Tuuakse nii struktureeritud, struktureerimata kui poolstruktureeritud andmeid.
- muutmine (transformation): ETLil on see teine etapp, ELT-l aga kolmas. Selles sammus toimub andmete puhastamine, nt eemaldatakse duplikaadid.
- laadimine (load): andmed laadidtakse sihtkohta. ETL-il saab neid kohe analüütikas kasutada, ELT korral tuleb veel enne andmed puhastada või sobivasse formaati viia.
ETLi teisendamise etapp tagab, et andmed vastavad sihtandmebaasi nõuetele. Andmed laaditakse alles siis, kui andmed on teisendatud ja kasutamiseks valmis. ETL pärineb1970ndatest ja popiks muutus andmeladude tekkimisega. Iga andmeallikas nõuab oma ETL protsessi ja eelnevalt defineeritud ärireegleid, enne kui need koondatakse keskseks andmehoidlaks. Analüütikud peavad olema kaasatud algusest peale, et teha selgeks vajalikud andmetüübid ja seosed.
ELTil viiakse toorandmed andmelattu ja nende teisendamine, rikastamine toimub alles pärast laadimist. Ning neid võib korduvalt teisendada ja rikastada sõltuvalt kasutusjuhust ja analüüsi vajadustest. Varasemalt eelkõige andmeteadlastele mõeldud andmete puhul, aga täna juba üldlevinud kontseptsioon.
Peamised erinevused ETL ja ELT vahel
- transformatsiooni ja laadimise järjekord protsessis. Nagu juba öeldud ELT laadib toorandmed ja seejärel toimub andmete muutmine vastavalt vajadusele.
- andmete ühilduvus (data compability). ETL sobib struktureeritud andmetele, mida saab kasutada tabelitena, kus read ja veerud. ELT sobib lisaks struktureerimata: pildile, tesktidokumendile, mida pole võimalik tabelina esitleda.
- ELT on kiirem kui ETL, sest viimasel on enne laadimist transformeerimine, mida on keeruline skaleerida, kui maht kasvab. ELT andmetöötlus toimub pilves, kus on paralleelne töötlus ja suurem arvutuvõimsus.
- kulud. ETL nõuab põhjalikumat ettevalmistus tööd (analüütikute kaasamist) ja taristu planeerimist. ELT andmete teisendamine toimub sihtkohas, siis võib-olla vähem süsteeme, mis kasutusel ja seega vähem hooldust ja kulusid.
- turvalisus. ETL korral peab arendaja võib-olla tegema tööd selleks, et peita isikuandmeid kasutajate eest, kellel pole vajadust/õigust neid näha. ELT - lahendused juba toetavad õigust alusel andmetele ligipääsu.
Millal kasutada ETL ja millal ELT?
Kaasaegsed andmelahendustes on levinud ELT, kuid siiski leidub mõningaid olukordi, kus ETL on endiselt mõistlikum. Nendeks võivad olla:
- kui tegu vanema (legacy) andmebaasiga
- kui tegeled kolmanda osapoole andmetega, kus struktuur on ette määratud
- eksperimenteerimiseks, katsetamiseks ning uute andmeallikate uurimiseks
- keerukamate lahenduste puhul kombineerides ETLiga
- andurite andmevoogudes IoT puhul
Artikkel annab lõpus hea kokkuvõtliku tabeli ETL ja ELT erinevustest.
Allikas: https://aws.amazon.com/compare/the-difference-between-etl-and-elt/