Metadáta manažment

V prostrediach s komplexným prostredím pre vývoj a udržiavanie systémov je náročné udržať efektívnu komunikáciu dôležitých informácií naprieč organizáciou. Každé oddelenie vyžaduje odlišné informácie, hoci väčšina pochádza zo spoločných zdrojov. Vývojár potrebuje úplné inú časť informácie než analytik, biznisový používateľ, alebo tester. Spoločné majú ale jedno: ich získanie je prácne a trvá neúmerne dlho. Preto je manažment metadát a zjednodušenie práce s metadátami mimoriadne užitočné s okamžitým vplyvom na zvýšenie efektivity vývoja.

Typickými organizáciami s potrebami zjednodušenia prístupu k metadátam sú väčšie podniky s vlastným vývojom systémov, najmä však s existujúcim dátovým skladom (DWH). Zväčša ide o banky, poisťovne, telekomunikácie, ale povedzme i spoločnosti z oblasti zdravotníctva a farmácie, či postupne pribúdajúce “fintechy”.

Tieto spoločnosti používajú pri vývoji a údržbe svojich sytémov rôzne modelovacie nástroje, napr. najpoužívanejší SAP Sybase PowerDesigner, ktorý je špičkou v segmente. Do modelov jednotlivých systémov je možné zakomponovať informácie o požiadavkách, dátach a ich štruktúre, biznis pravidlách, kontrolách, mappingu, ETL, reportoch, dopadovej analýze, enterprise architektúre atď., pričom všetky sú navzájom prepojené.
Žiaľ, dostupné sú len cez prostredie nástroja, čo vyžaduje špecifické zručnosti a zaškolenie. Zároveň je vyžadovaná dostupná licencia, aby sa dal model v nástroji otvoriť a dohľadať želanú informáciu.

Ďalšími zdrojmi metadát môžu byť samotné databázy, prípadne súvisiace aplikácie prevádzkované v prostredí zákazníka (Jira, Slack, CRM, ERP, BI, PM, monitorovacie nástroje a pod.).

Hlavným cieľom pri manažmente metadát je vhodným spôsobom skombinovať informácie prichádzajúce z týchto rôznych zdrojov a sprístupniť ich v jednoduchej, zrozumiteľnej forme naprieč organizáciou.

Ďalším prínosom je možnosť zautomatizovať rôzne procesy a aktivity bežne vyžadujúce manuálne zadávanie a zmeny cez nástroj do modelu.

Nakoľko je v každej spoločnosti prostredie značne špecifické, zväčša dodávame riešenia na mieru konkrétnym potrebám zákazníka. Medzi najčastejšie nasadzované riešenia ale patria nasledujúce funkcionality:

Metadáta Portál
Komunikácia medzi SAP PowerDesigner a MS Excel
Dopadová analýza pre ETL skripty

Metadáta Portál

Sprístupňuje rôzne druhy metadát a informácii všetkým zamestnancom organizácie, ktorí ich z rôznych dôvodov potrebujú pri práci používať: Vývojari, Testeri, Analytici, ale aj Biznis používatelia. Informácie sú dostupné vždy keď ich zamestnanci potrebujú, v jednoduchej a prehľadnej samoobslužnej forme, bez potreby sa obracať na ďalších kolegov.

Metadáta Portál si na pravidelnej báze načítava informácie z modelov a ďalších zdrojov, vhodným spôsobom ich kombinuje a publikuje na intranet. Umožňuje zobrazovať a prehľadávať metadáta z rôznych zdrojov v spoločnom, intuitívnom rozhraní. Obsahuje všetky dostupné väzby medzi objektami, rýchle fulltextové vyhľadávanie naprieč celým obsahom, detailné dátové štruktúry (zdroje, stage, dwh, datamarty, ostatné), ETL mappingy, výsledky ETL púmp, exporty, validácie, zobrazenie chýb, historizácia, biznis slovník, data assessment, statusy súvisiacich systémov, bezpečnostné pravidlá, atď. Možnosti integrácie sú takmer nekonečné.
Portál je dokonca možné pripojiť aj na “Corporate directory” a previazať jednotlivých vlastníkov objektov priamo na ich kontaktné informácie – email, tel. klapka, komunikátory.

V každej organizácii prinieslo zavedenie Metadáta Portálu hneď niekoľko merateľných benefitov:

  • významné skrátenie vývoja ako takého, cez zrýchlenie plnenia čiastkových úloh na všetkých zainteresovaných pozíciách,
  • výrazné zníženie počtu potrebných licencií modelovacieho nástroja,
  • úspora ľudských zdrojov, ktoré je možné použiť na ďalšie projekty a rozvoj,
  • väčšia samostatnosť biznisových používateľov, samoobsluha im minimalizuje čas potrebný na dodanie dát,
  • otvorená, prepojená platforma zjednodušuje a zefektívňuje dennodennú komunikáciu naprieč oddeleniami.

Komunikácia medzi SAP PowerDesigner a MS Excel

Nástroj umožňuje export zvolených objektov z PowerDesignera do Excelu a po ich úpravách aj spätný, hromadný import do modelu PowerDesignera. Vzhľadom na to, že práca v Exceli je jednoduchá, je pre používateľov zmena vlastností objektov veľmi rýchla a intuitívna.

V Exceli je možné pridávať, kopírovať, editovať, alebo mazať objekty, ich vlastnosti, prípadne prispôsobiť akýmkoľvek požiadavkám organizácie. V zošite Excelu sa farebne zvýrazňujú zistené chyby v modeloch, podľa konkrétnych požiadaviek organizácie: chýbajúce komentáre, nesprávne dátové typy, chýbajúce časti objektov (dátumy od-do pre historizáciu), atď.
Excel môže byť vhodne prispôsobený pre rôzne druhy používateľov, napr. biznisových analytikov a vývojárov ETL. Výhodou je aj veľmi rýchle nasadenie a zavedenie do praxe, odpadá nutnosť školenia používateľa pre nástroj PowerDesigner a dostupnosť licencie, ale aj potreba spájania, tzv. “merge” zmien v modeloch.
Medzi cenné funkcionality nástroja patrí aj možnosť kontroly existencie historickej a chybovej tabuľky pre konkrétnu tabuľku, s prípadným spätným vytvorením týchto objektov vrátane mapovania na pôvodnú tabuľku.

Hlavný dôraz je kladený na istotu používateľa pri práci s nástrojom, všetky akcie sú dokumentované, vrátane zmeny farieb buniek podľa operácie s ich obsahom.
V niektorých finančných organizáciách používajú tento silný nástroj biznisový analytici pre zadávanie modelových metadát pre všetky úrovne DWH, vrátane prvotného návrhu štruktúr tabuliek.

Najčastejšie identifikované oblasti pre zefektívnenie práce s objektami cez MS Excel:

  • zavedenie hromadných úprav a opráv objektov v modeloch,
  • vytvorenie customizovaných výstupov pre zjednodušenie práce napr. testerov vo vzťahu voči vývojárom,
  • zjednodušenie a zrýchlenie aktualizácií biznisových komentárov pre objekty,
  • hromadné definície objektov a ich vlastností, napr. pri návrhu a tvorbe nových datamartov.

Dopadová analýza pre ETL skripty

Nástroj umožňuje vyexportovať akýkoľvek transormačný ETL skript do prehľadnej, grafickej formy reprezentujúcej tok dát medzi objektami. Tieto skripty sú používané v oblasti ETL dátových skladov, môžu mať najrôznejší obsah, väčšinou ide o plnenie cieľovej tabuľky z mnohých rôznych zdrojov – tabuliek alebo views. Výhodou nástroja je jeho jednoduchosť, variabilita a možnosť prispôsobenia pre rôzne databázy, prostredia a metodiky pre vývoj skriptov.

Základným výstupom je tok dát, pričom vo výsledku je reprezentovaný orientovaným grafom. Ten je generovaný do PDF súboru, v ktorom sú vyznačené väzby medzi objektami zo skriptu a tiež sú popísané operácie medzi objektami. Výstupy je možné použiť napríklad na doplnenie mapovania pri tvorbe a aktualizácii dátových modelov a väzieb medzi nimi. Týmto spôsobom je získaný omnoho podrobnejší obraz celého ETL.

Nástroj postupne analyzuje jednotlivé SQL príkazy prevažne z oblasti DML (data manipulation language). Je možné pridať aj DDL príkazy (data definition language). Nástroj je univerzálny, nakoľko SQL jazyky pre jednotlivé databázy sa príliš nelíšia, podstatná je syntax pre select, insert, update a delete. Do výstupu je možné voliteľne zobraziť aj dodatočné príkazy napr. pre obnovu štatistík, alebo rebuild pre tabuľku. Vo výslednom grafe je možné farebne rozlíšiť jednotlivé objekty, napr. pre uľahčenie dopadovej analýzy pri zmene štruktúr objektov. Rozsiahle grafy je možné farebne označiť aj viacerými farbami, napr. pre rozdelenie analýzy na viac častí.

Skript, ktorý obsahuje približne 100 samostatných objektov s 200 väzbami je analyzovaný za menej ako 10 sekúnd. Samozrejme je možné analyzovať aj viac skriptov jednotlivo, ale tiež ako jeden celok. Celý proces sa dá zautomatizovať, vykonávať v preddefinovanom čase a vie takisto je možné detegovať zmeny v celom ETL.

Menu