Tenk deg at du åpner en salgsrapport mandag morgen, og tallene stopper forrige tirsdag. Noen må hente ferske tall fra fem forskjellige systemer, lime dem inn i et regneark og rydde opp i formatene. Det tar timer, og neste uke må jobben gjøres på nytt.

Moderne organisasjoner tar stadig flere avgjørelser basert på rapporter og analyser. Men for å kunne stole på dataene, må de være oppdaterte, ryddige og kvalitetssikret. Utfordringen er at data sjelden ligger samlet på ett sted. Den kommer fra API-er, databaser, sensorer, Excel-ark, logger, apper og skytjenester. Noen av kildene oppdateres hvert sekund, andre én gang i måneden, eller sjeldnere.

Det er her data pipelines kommer inn.

En data pipeline er kode som henter dataene, rydder dem, transformerer dem og gjør dem klare til bruk. Tenk på det som et samlebånd: råvarer inn, ferdig produkt ut. Data flyter inn fra forskjellige kilder, blir bearbeidet underveis, og leveres til slutt som en rapport, et dashboard, en KI-modell eller et API.

Hva skjer inne i en pipeline?

En pipeline består gjerne av tre steg. Først hentes data fra ett eller flere kildesystemer og lagres ubehandlet i et datalager. Så transformeres dataene inne i lagringsplattformen: formater fikses, feil fjernes, tabeller slås sammen og nye felt regnes ut. Til slutt leverves resultatet videre til dashboards, rapporter, maskinlæringsmodeller eller andre applikasjoner.

Det som gjør pipelines spesielt nyttige, er at de kan automatiseres og kjøres kontinuerlig. Når en pipeline kjører på autopilot, slipper man å hente og rydde data manuelt. Det skjer av seg selv, og de som bruker dataene har alltid ferske tall tilgjengelig.

Batch og strømming

Data pipelines kan deles inn i to hovedkategorier: batch-prosessering og strømming.

Batch-prosessering er den vanligste typen. Her samles data opp og prosesseres i klumper etter et fast intervall, for eksempel én gang i timen eller én gang i døgnet. Det er enkelt å sette opp, rimelig å drifte, og passer godt for rapporter og analyser der det ikke er kritisk at data er oppdatert til sekundet.

Strømming fungerer annerledes. Her prosesseres data løpende etter hvert som de strømmer inn, og resultatet kan være tilgjengelig innen millisekunder. Strømming brukes typisk der man må reagere raskt på noe som skjer akkurat nå, for eksempel betalingssvindel, sanntidsovervåking av maskiner eller live trafikkinformasjon.

Kvalitetssikring og feilhåndtering

En pipeline kan kjøre helt uten feilmeldinger og likevel levere feil data. Kilden kan ha byttet format, en kolonne kan plutselig være tom, eller radene kan ha blitt duplisert underveis. Slike feil skjer stille, og de oppdages ofte først når noen stusser over et tall i en rapport.

Derfor bør pipelinen ha datatester. Det er små sjekker som kjøres automatisk hver gang pipelinen kjører, og som sier fra når dataene ikke ser ut som de skal. Typiske tester sjekker at nøkkelfelt er unike og har verdier, at tall ligger innenfor et fornuftig intervall, at radene faktisk finnes igjen i tabellen de peker til, og at datasettet har fått nye rader siden sist.

Når en test feiler, er det bedre å stoppe pipelinen enn å sende videre data man ikke kan stole på. Da får de som eier dataene et varsel, og konsumentene beholder forrige versjon som fungerte. Testene kan gjerne bygges på datakontrakter, slik at reglene ligger sammen med beskrivelsen av datasettet.

Hvorfor det er verdt å bygge dem riktig

En godt bygget pipeline er pålitelig, vedlikeholdbar og enkel å forstå. Den varsler når noe går galt, er enkel å utvide med nye steg, og den dokumenterer hva som skjer med dataene underveis.

En dårlig pipeline gir deg det motsatte: stille feil, skjulte avhengigheter og data man ikke kan stole på. Det er akkurat det man vil unngå når man skal ta beslutninger basert på data.

Data pipelines er grunnmuren i enhver dataplattform. Godt bygget gir de deg ferske data du kan stole på, helt uten manuelt arbeid.

Er du  interessert i dataplattform? Sjekk ut våre artikler om hvorfor dataplattform, datakontrakter og dataeierskap.

‍