“In the world of data, everything is measurable, and everything is knowable.” — Reid Hoffman

Dette sitatet av Reid Hoffman underbygger informasjonsalderen og den moderne økonomien. Men jo mer man måler, jo flere systemer og datasett får man. Hvordan kan man da klare å holde oversikt og kontroll?

I store organisasjon bor data i titalls forskjellige systemer, og er håndtert av forskjellige team. Uten en felles oversikt blir det vanskelig å vite hva som finnes, hvem som eier det, og hva det faktisk betyr. Folk bruker tid på å lete, og beslutninger tas på ulike versjoner av datagrunnlaget.

Regelverket krever også bedre oversikt. I Norge står vi under krav til å kunne vise hvilke personopplysninger som behandles, hvorfor, hvem som får dem, og hvor lenge de lagres. En datakatalog kan ikke alene oppfylle disse kravene, men kan bidra ved å gjøre relevant metadata og ansvar synlig og tilgjengelig.

Hva er en datakatalog?

En datakatalog er en oversikt over datasettene i en organisasjon. Den gjør det mulig å søke etter, forstå og vurdere datasett, uten å måtte spørre rundt i organisasjonen eller grave i databaser på egenhånd. Selve dataen ligger fortsatt i kildesystemene. Katalogen beskriver dataen og peker til systemene der den faktisk bor.

Metadata, språket katalogen snakker

Katalogen er drevet av metadata: informasjon om data, atskilt fra selve innholdet. Metadata er grunnen til at du kan vurdere en bok uten å lese den, for eksempel tittel, forfatter, emne, utgave og plassering.

I praksis jobber en katalog med flere typer metadata:

• Teknisk metadata: skjema, kolonnetyper, lagringsformat, plattform.
• Forretningsmetadata: definisjoner, domenetilhørighet, begreper fra forretningsordlisten.
• Operasjonell metadata: ferskhet, kjørehistorikk, bruksmønstre.
• Governance-metadata: klassifiseringer (for eksempel personopplysninger), tilgangsregler, krav til lagringstid, behandlingsgrunnlag.

Når metadataen er mangelfull, blir det svært vanskelig å finne frem til riktig datasett. Da kan man sitte igjen med flere datasett som ser like ut, datasett som er mangelfull, og som ikke stemmer med dine egne antagelser om datasettet. Når metadataen er rik og oppdatert, blir det enklere å finne riktig datasett, vurdere om det kan brukes, og forstå hva tallene faktisk betyr.

GDPR og datakatalogen

GDPR-arbeid handler ofte om samtykke og sikkerhet. Men forordningen stiller også et annet krav: du må vite hva du gjør med personopplysninger, og kunne bevise det. Artikkel 30 krever at organisasjonen har en oppdatert oversikt over behandlingsaktivitetene sine: hvilke data som behandles, hvorfor, hvem som mottar dem, og hvor lenge de lagres.

En datakatalog erstatter ikke behandlingsprotokoller eller øvrig personvernarbeid. Men den kan støtte personvernarbeidet ved å samle og eksponere metadata om datasett og dataprodukter (for eksempel klassifisering, eierskap og tilgang) og dermed gjøre det enklere å knytte datasett til relevante behandlingsaktiviteter.

Fire signaler som bygger tillit til dataen

Det er viktig å dokumentere dataen godt, slik at konsumenter får tillit til data.

• Lineage, altså hvor dataen kommer fra, hva som har skjedd med den underveis, og hva som avhenger av den. Endrer et tall seg, kan du spore det tilbake til tabell X og se hvilke dashboards som ble påvirket.
• Eierskap, altså hvem som har ansvaret. Uten tydelig eierskap havner organisasjonen tilbake i kaos, hvor man bruker tid på å lete frem hvem som har ansvar, og man får svar som «noen i team X vet kanskje». Endringer blir risikable, og ingen tar ansvar for kvalitet over tid. Les gjerne mer om dette i vår artikkel om dataeierskap.
• Kvalitetssignaler, altså om dataen er god nok for den beslutningen den skal støtte. Katalogen kan vise ferskhet, testdekning, avvik og sertifiseringsstatus, slik at du slipper å gjøre den vurderingen selv hver gang.
• Datokontrakter, altså noe dataeier lover om dataen. Kontrakter spesifiserer forventninger til dataen, hvor ofte den oppdateres, og formatet på feltene. Datakatalogen er et naturlig sted å eksponere og gjøre kontrakter søkbare, fordi det er når du leter etter data at du trenger å vite hva du kan stole på. Vi har skrevet mer om dette i vår artikkel om datokontrakter.

Slik får du katalogen til å fungere i praksis

De fleste kataloginitiativer feiler fordi de prøver å dokumentere alt manuelt. Informasjonen blir utdatert svært fort. Noen prinsipper hjelper:

• Dokumentasjon som definisjon. Gjerne bygg et system slik at dataprodukter genereres ut ifra datokontrakter. Da vet du at dokumentasjonen er sannheten.
• Automatisér det maskiner kan fange. Skjemaer, lokasjoner og lineage kan hentes inn automatisk, og mange kataloger tilbyr skanning som holder teknisk metadata oppdatert. Hvis katalogen ikke holder tritt med kildene, mister folk tilliten raskt.
• Bruk menneskelig innsats der kun mennesker kan bidra. Forretningsbetydning, eierskap, behandlingsgrunnlag og sertifisering. Dette krever jevnlig gjennomgang, og eierløse produkter burde pensjoneres.
• Definer hva som hører hjemme i katalogen. Er det kun ferdige dataprodukter, eller også råkilder og interne logger? Hvordan håndterer dere duplikater og avvikling? En tydelig policy for dette sparer mye arbeid senere. De fleste organisasjoner ønsker å kun ha ferdige publiserte dataprodukter i datakatalogen, for å holde den ryddig.
• Gjør tilgang til en del av produktet. Hvis katalogen svarer på «hva finnes», men ikke «hvordan får jeg tilgang trygt», så kan det bli problematisk. En god katalog burde svare på hvordan du får tilgang, hvem du skal spørre, og hvordan du kan hente ut dataen.
• Mål om katalogen faktisk hjelper. Relevante signaler er tid fra søk til datasett, andel datasett med eier og klassifisering, og hendelser som skyldes udokumenterte endringer.

Verktøylandskapet

Markedet deles grovt i tre kategorier:

• Skyplattform-kataloger som AWS Glue Data Catalog og Google Dataplex, med tett integrasjon mot egen plattform, men begrenset fleksibilitet utenfor.
• Enterprise governance-suiter som Collibra og Alation, med fokus på forretningsordliste, arbeidsflyter og revisjonsevne.
• Open source-plattformer som DataHub og OpenMetadata, med fokus på utvidbarhet og integrasjonskontroll.

Valget avhenger av hvor sannhetskilden for metadata skal ligge. Er organisasjonen tett knyttet til Microsoft-økosystemet, er Microsoft Purview laget for å samle governance og katalog i én modell. Trenger du integrasjon på tvers av mange ulike systemer, passer DataHub godt.

Uansett hva du velger er gevinsten den samme: en felles oversikt over organisasjonens data, som folk faktisk bruker.

Er du interessert i dataplattform? Sjekk ut våre artikler om hvorfor dataplattform, datokontrakter, data pipelines og dataeierskap.

‍