Object storage har længe haft en naturlig plads til store mængder ustrukturerede data, backup og arkiv. Men rollen er ved at ændre sig.
Data skal i stigende grad ikke bare gemmes. De skal kunne bruges på tværs af analytics, AI og andre datatunge workloads – uden nødvendigvis først at blive flyttet og kopieret mellem forskellige platforme.
Det er en af tankerne bag Hitachi VSP One Object. Med S3-understøttelse, S3 Tables og Apache Iceberg bevæger Hitachi object storage tættere på den aktive dataarkitektur.
Fra opbevaring til anvendelse
Object storage er attraktivt til store datamængder, fordi arkitekturen kan skaleres uden den samme struktur som traditionelle file-systemer.
Men i mange enterprise-miljøer opstår næste udfordring, når data skal bruges.
Data bliver flyttet eller kopieret til andre platforme for at kunne indgå i analytics, data lakes eller AI-workloads. Det kan skabe flere kopier, mere data movement og endnu en platform, der skal administreres.
Med VSP One Object forsøger Hitachi at reducere nogle af de mellemled ved at gøre data anvendelige direkte på object storage.
Det ændrer ikke object storages grundlæggende rolle. Men det udvider, hvad platformen kan bruges til.
S3 Tables ændrer noget af regnestykket
Et af de interessante områder i VSP One Object er understøttelsen af Amazon S3 Tables og Apache Iceberg.
Apache Iceberg er et åbent table-format til store analytiske datasæt. Med S3 Tables kan data organiseres som tabeller direkte på object storage og bruges af analyse- og dataplatforme uden først at skulle flyttes til et separat storage-lag.
VSP One Object har desuden en integreret SQL query engine, som gør det muligt at forespørge Iceberg-tabeller og arbejde videre med data i analytics- og BI-scenarier.
For arkitekten betyder det, at spørgsmålet ikke kun bliver, hvor object data skal opbevares, men hvor mange gange de behøver at blive flyttet, før de kan bruges.
Det er særligt interessant i miljøer, hvor datamængderne vokser hurtigere end ønsket om at kopiere dem rundt mellem platforme.
Et andet fundament for data lakehouse og AI
Det er også her, koblingen til AI bliver relevant.
AI-projekter starter sjældent med mangel på modeller. Udfordringen ligger ofte i data: hvor de befinder sig, hvordan de gøres tilgængelige, og hvor mange kopier og pipelines der skal etableres, før de kan anvendes.
Med understøttelse af S3 og Apache Iceberg kan VSP One Object indgå som datalag i en data lakehouse-arkitektur, hvor de samme datasæt kan anvendes af flere workloads.
Det betyder ikke, at object storage pludselig erstatter databaser, block storage eller specialiserede AI-platforme.
Pointen er snarere, at data ikke nødvendigvis behøver flyttes til endnu en platform, alene fordi de skal bruges til noget nyt.
“Det interessante ved object storage lige nu er ikke kun skaleringen. Det er, at vi kan begynde at bruge de samme data til flere formål uden hele tiden at bygge nye kopier og flytte dem mellem platforme. Det ændrer den rolle, object storage kan få i arkitekturen.”
– Martin Weyhe, Storagespecialist, Komplex it
Governance følger med datamængden
Når object storage går fra primært at være opbevaring til også at være et aktivt datalag, bliver governance samtidig vigtigere.
Store mængder ustrukturerede data kan indeholde personoplysninger og anden information, som virksomheden skal vide, hvor befinder sig.
VSP One Object har derfor funktionalitet til PII Discovery, som kan identificere personhenførbare oplysninger i de objekter, der ligger på platformen.
Det løser ikke virksomhedens samlede data governance-opgave, men det giver mulighed for at få mere indsigt i data på selve storage-laget.
Det bliver relevant, hvis object storage skal være fundament for flere workloads frem for blot destinationen for data, der sjældent anvendes.
Object storage skal stadig vælges til det rigtige workload
At object storage kan mere, betyder ikke, at alt skal flyttes dertil.
Block, file og object storage løser forskellige opgaver, og krav til latency, performance, adgangsmønstre, applikationer og datatyper er fortsat afgørende for valget.
Det interessante er derfor ikke at erstatte den eksisterende storagearkitektur med object storage.
Det er at se på, om der findes datamængder, som i dag bliver opbevaret ét sted, kopieret et andet sted og behandlet et tredje – og om arkitekturen kan gøres enklere.
For nogle miljøer vil klassiske arkiv- og backup-workloads fortsat være den primære anvendelse. For andre kan S3 storage blive et mere aktivt datalag til blandt andet data lakehouse, analytics og AI.
Hvilken rolle skal object storage have i jeres arkitektur?
Object storage er altså stadig object storage. Men grænsen mellem at opbevare data og gøre dem anvendelige er blevet mindre tydelig.
Med VSP One Object kombinerer Hitachi skalerbar object storage og S3 med blandt andet S3 Tables, Apache Iceberg, SQL querying og PII Discovery.
Det gør det relevant at genbesøge object storages rolle, især hvis virksomheden har voksende mængder ustrukturerede data eller arbejder med data lakehouse, analytics og AI.
Ikke fordi object storage nødvendigvis skal fylde mere. Men fordi de data, der allerede ligger – eller fremover skal ligge – på object storage, potentielt kan bruges til mere.
Vil I nørde lidt længere ned i, hvor VSP One Object kan passe ind i jeres dataarkitektur?
Tag fat i os, hvis I vil vende jeres nuværende setup, S3/object storage eller mulighederne med Hitachi VSP One Object. Udfyld formularen herunder, så vender vi tilbage.
Læs også
> Kan det betale sig at vente med at investere i storage?
> Hitachi EverFlex: Kræver ny storage nødvendigvis en stor investering?
> Hitachi VSP One: Skal storage i cloud – eller blive on-prem?