"Harde schijven behoren binnenkort tot het verleden."
"All-flash arrays vervangen binnenkort schijven en hybride arrays in het datacenter."
"Het datacenter van de toekomst is all-flash."
Welkom bij de nieuwste aflevering van de eeuwige saga over het einde van de harde schijf. Het debat - met bekende uitspraken zoals hierboven - duurt nu al meer dan tien jaar. De voorspellingen over de ondergang van de harde schijf, rondgebazuind door een aantal, zullen we maar zeggen, optimistische voorstanders van flash-onlytechnologie, hebben de tand des tijds niet bepaald goed doorstaan. Met de tijd lijken ze zelfs eerder steeds driester te worden.
Flashopslag is zonder twijfel zeer geschikt voor toepassingen die hoge prestaties en snelheid vereisen. En de flashgebaseerde omzet is inderdaad aan het stijgen, net als de omzet uit all-flash-arrays (AFA). Maar niet ten koste van harde schijven. De onderliggende gedachte achter de speculaties over het einde van de harde schijf is gehuld in heel wat onjuistheden.
We leven in een tijdperk waarin de alomtegenwoordigheid van de cloud en de opkomst van AI-gebaseerde gebruikssituaties de waarde van enorme gegevenssets de hoogte in hebben gestuwd. Harde schijven, waarop vandaag wereldwijd verreweg de meeste exabytes (EB) worden opgeslagen, zijn voor beheerders van datacenters onmisbaarder dan ooit.
Ook de afgelopen jaren, waarin de prijzen van flash tijdelijk tot een historisch dieptepunt daalden, hebben SSD's (solid-state-schijven) harde schijven niet verdrongen voor werkbelastingen die de opslag van enorme hoeveelheden gegevens vereisen.
Sectoranalisten verwachten dat harde schijven het meest zullen profiteren van de gestage toename van gegevens op EB-schaal. De grafiek hieronder toont aan dat die toename vooral zal plaatsvinden in zakelijke en grootschalige clouddatacenters, waar de overgrote meerderheid van alle gegevenssets ter wereld zich bevinden. Verhoudingsgewijs wordt verwacht dat de opslag op harde schijven van 2022 tot 2027 met 6996 EB zal toenemen, terwijl de opslag op SSD's met 1363 EB zal toenemen.1 
Het is geen nulsomspel. In datacenters hebben harde schijven en flash altijd in synergie gewerkt, ter ondersteuning van verschillende diensten. Ze hebben elk hun eigen unieke voordelen en waardepropositie. Sterker nog, in het tijdperk van generatieve AI zullen rekenclusters die nauw verbonden zijn met flashtechnologie indirect de stroomafwaartse behoefte aan harde schijven met meer exabytes versterken, omdat de gegenereerde content voordelig moet worden opgeslagen.
Deze synergie van opslagmedia is springlevend terwijl de veronderstellingen over de achterhaaldheid van harde schijven niet geloofwaardig zijn en uiteindelijk niet zullen uitkomen.
Laten we eens wat dieper ingaan op drie grote mythes die aan deze veronderstelling ten grondslag liggen en de gegevensgestuurde redenen van derden waarom harde schijven in de nabije toekomst een centrale rol zullen blijven spelen in gegevensopslagarchitecturen.
Waarheid 1: prijsverschil
Mythe: SSD's zullen binnenkort evenveel kosten als harde schijven.
Werkelijkheid: de prijzen van SSD's en harde schijven zullen in het komende decennium op geen enkel moment samenvallen.
De redenen zijn duidelijk. Harde schijven zijn per terabyte (TB) een stuk voordeliger dan SSD's, waardoor ze de onbetwistbare hoeksteen zijn van de opslaginfrastructuur van datacenters.
Hoewel de prijzen voor opslag in de vorm van NAND-flashgeheugen sterk blijven schommelen en in 2023 een dieptepunt bereikten door een zwakke vraag en een overaanbod, voorspelt onderzoeksbureau Forward Insights een heropleving van de prijzen van SSD's van 2024 tot en met 2025. Terugblikkend op de steile prijsdalingen zullen SSD-leveranciers die ommekeer verwelkomen, nadat ze eerst moeite hadden met het afbouwen van hun voorraad verouderende producten en het verlagen van kapitaaluitgaven om het aanbod af te stemmen op de vraag. Daarom zien we nu al prijsstijgingen voor NAND-gebaseerde oplossingen.
Seagate's analyse van onderzoek door IDC, TRENDFOCUS en Forward Insights bevestigt dat harde schijven de meest voordelige optie blijven voor de meeste bedrijfstaken. Het verschil in prijs per TB tussen SSD's en harde schijven voor zakelijk gebruik zal naar verwachting minstens tot en met 2027 in een verhouding van 6 tot 1 blijven.
Dit verschil in prijs per TB is vooral duidelijk in het datacenter, waar de aankoopkosten van apparaten veruit het grootste deel van de totale eigendomskosten (TCO) uitmaken. Wanneer alle kosten van het opslagsysteem in beschouwing worden genomen, inclusief de aankoop van apparatuur, stroom, netwerken en computerkosten, leveren systemen die met harde schijven zijn uitgerust per TB een veel betere TCO op.
In een poging om deze onbetwistbare verschillen in TCO en prijs te omzeilen, zijn sommige OEM's van AFA begonnen met het ontwerpen van hun eigen aangepaste NAND-apparaten met hoge dichtheid en met een capaciteit die in de honderden TB's loopt, waarbij ze theoretische TCO-voordelen aanvoeren die verder reiken dan de rentabiliteit van het apparaat op systeemniveau. Het probleem met deze logica is dat het toevoegen van veel hogere niveaus van NAND-dichtheid aan één apparaat of systeem nog steeds niets verandert aan het grote verschil in kosten per TB van de onbewerkte media.
Een andere tactiek die wordt aangewend om de aandacht af te leiden van het kosten-per-TB-nadeel heeft te maken met de zogeheten 'effectieve terabytes' (Terabytes Effective, TBe). Er wordt beweerd dat dankzij technieken voor gegevensreductie (bijv. gegevenscompressie) een SSD aanzienlijk meer opslagcapaciteit kan bieden dan zijn onbewerkte capaciteit impliceert. Bij grote implementaties vindt gegevensreductie echter hoger in de stack plaats, waardoor dit irrelevant wordt op het opslagniveau. Bovendien is gegevenscompressie, gezien de toegenomen aandacht voor de bescherming van gegevens en de prevalentie van versleuteling, vaak niet haalbaar in de meeste gebruikssituaties van bedrijven en clouds. Als gegevens versleuteld zijn, kunnen ze niet gecomprimeerd worden omdat de entropie ervan zo hoog is dat er geen patroon is om te vereenvoudigen.
Conclusie: hoewel flash zeer sterk is in het uitvoeren van specifieke en veeleisende taken, zullen harde schijven de primaire bestemming blijven voor exabytes in datacenters, omdat ze een betrouwbare, rendabele en zeer gangbare oplossing bieden voor de nabije toekomst.
Waarheid 2: productieschaal
Mythe: het aanbod van NAND kan worden opgevoerd om alle capaciteit van harde schijven te vervangen.
Werkelijkheid: harde schijven volledig vervangen door NAND zou onhoudbare kapitaalinvesteringen vereisen.
Het idee dat de NAND-industrie haar beschikbare voorraad om alle capaciteit van harde schijven te vervangen snel zou kunnen of willen vergroten, is niet alleen optimistisch, maar een dergelijke poging zou leiden tot een financieel fiasco. Bij de overstap van harde schijf naar NAND draait het niet alleen om het produceren van meer eenheden. Het is financieel en logistiek een titanenwerk om uit te voeren, laat staan tegen een prijs die kan concurreren met die van harde schijven.
Volgens het rapport NAND Market Monitor voor kwartaal 4 van 2023 van sectoranalist Yole Intelligence verkocht de hele NAND-industrie van 2015 tot 2023 3,1 zettabyte (ZB), terwijl ze maar liefst 208 miljard dollar aan kapitaaluitgaven moest investeren (zowat 47% van de gezamenlijke omzet).
Daarentegen voorziet de hardeschijfsector in de overgrote meerderheid (bijna 90%) van de opslagbehoeften van datacenters op een zeer kapitaalefficiënte manier. Laten we, om dit te verduidelijken, Seagate Technology gebruiken als een indicator voor de hardeschijfsector. Van 2015 tot 2023 verkocht Seagate 3,5 ZB aan opslag. De kapitaalinvesteringen van Seagate bedroegen in die periode van acht jaar in totaal 4,3 miljard dollar, of slechts ongeveer 5% van de totale inkomsten van Seagate uit harde schijven. Dit komt neer op ongeveer 67 miljard dollar per ZB voor de NAND-industrie tegenover ongeveer 1 miljard dollar per ZB voor de productie van harde schijven (zoals vertegenwoordigd door Seagate). De hardeschijfsector is veel efficiënter in het leveren van zetabytes aan het datacenter. Seagate’s analyse van prognoses van IDC voor harde schijven en die van Forward Insights voor SSD's tonen aan dat in 2024 de productie van harde schijven op exabyteschaal bijna drie keer zo groot zal zijn als die van SSD's. In datzelfde jaar zal de productie van harde schijven op exabyteschaal op de markt voor bedrijven en datacenters zes keer zo hoog zijn als die van SSD's.
Onlangs beweerden sommige leveranciers van all-flash-arrays (AFA's) dat de flashsector de volledige productie van hardeschijfcapaciteit zou kunnen vervangen tegen 2028. Laten we eens kijken welke investeringen de NAND-industrie nodig heeft om dit te verwezenlijken.
Het hierboven aangehaalde rapport van Yole Intelligence geeft aan dat de NAND-industrie van 2025 tot 2027 ongeveer 73 miljard dollar zal investeren, wat naar schatting 963 EB aan productie zal opleveren voor SSD's voor zakelijk gebruik en andere NAND-producten voor tablets en telefoons. Dit komt neer op een investering van ongeveer 76 dollar per TB flashopslagcapaciteit. Als we dezelfde kapitaalprijs per bit toepassen, zou er een duizelingwekkende extra investering van 206 miljard dollar nodig zijn om de 2,723 ZB aan hardeschijfcapaciteit te ondersteunen die naar verwachting in 2027 zal worden verkocht. In totaal is dat bijna 279 miljard dollar aan investeringen voor een totale aanspreekbare markt van ongeveer 25 miljard dollar.
Het is duidelijk dat een investering van dat kaliber onwaarschijnlijk is voor een sector met een onzeker rendement, zeker na het geldelijk verlies in 2023.
Uit de nieuwste NAND Flash Platinum Datasheet van TrendForce blijkt dat er in 2024 wereldwijd ongeveer 28 NAND-fabrieken (fabs) operationeel zijn. Als we Kioxia's Fab7 Phase 1, geopend in oktober 2022, als voorbeeld nemen, kost de bouw van één volledig nieuwe NAND-fabriek ongeveer 6,8 miljard dollar. De extra kapitaaluitgaven van 206 miljard dollar die de NAND-industrie nodig heeft, zouden dus ongeveer gelijk zijn aan 30 nieuwe fabs. Deze vestigingen zouden in de komende drie tot vier jaar moeten worden gebouwd, opgeschaald, getest, gekwalificeerd en op hun volledige productieniveau operationeel worden gebracht, waardoor het aantal NAND-fabrieken wereldwijd in minder dan vier jaar zou verdubbelen.
Daarnaast toont het 2023 StorageSphere-rapport2 van IDC aan dat in 2023 de verhouding tussen de bestaande geïnstalleerde opslagcapaciteit op basis van harde schijven en SSD's in clouddatacenters en datacenters buiten de cloud 7 op 1 is. IDC voorspelt dat deze dominante verhouding van HDD-gebaseerde exabytes in de nabije toekomst ongeveer 6 tot 7 keer zo groot zal blijven, met een samengesteld jaarlijks groeipercentage van 26%, wat zal leiden tot een geïnstalleerde HDD-opslagcapaciteit van maar liefst 10 ZB in 2027. De NAND-industrie zou dus niet alleen elke toekomstige jaarlijkse productie van nieuwe hardeschijfinstallaties jaar na jaar moeten vervangen, zoals eerder beschreven, maar ze ook moeten investeren om het verouderende deel van deze geïnstalleerde HDD-basis van 10 ZB in datacenters te vervangen wanneer dit het einde van zijn levenscyclus bereikt - een extra investering die veel hoger ligt dan de 206 miljard dollar die alleen al nodig is om de 2,723 ZB HDD-opslagcapaciteit te vervangen die naar verwachting in 2027 zal worden verkocht.
NAND-oplossingen zijn efficiënt voor specifieke werkbelastingen in datacenters, maar het idee dat datacenters er volledig op zullen vertrouwen zit vol valkuilen. Naast de risico's en de onwaarschijnlijkheid dat de NAND-industrie de levering van harde schijven zou vervangen, voegen de prijsschommelingen nog extra onzekerheid toe voor bedrijven die op zoek zijn naar de beste TCO voor hun opslag en stabiliteit in het aanbod ervan.
Het idee dat NAND harde schijven binnen afzienbare tijd volledig kan vervangen is hoogst onwaarschijnlijk, zo niet onmogelijk. De industrie zou enorme financiële en logistieke obstakels moeten overwinnen en tegelijk heel wat kapitaal en technologie moeten investeren in een markt die niet is voorbereid op een verandering die de huidige architectuur van datacenters op zijn kop zou zetten.
Waarheid 3: werkbelastingsprofielen
Mythe: alleen AFA's kunnen voldoen aan de prestatievereisten van de huidige werkbelastingen in bedrijven.
Werkelijkheid: voor zakelijke opslagarchitectuur worden doorgaans verschillende soorten media gecombineerd, door gebruik van schijfarrays of hybride arrays, flash en tape, om optimaal voorbereid te zijn op de kosten, opslagcapaciteit en prestatiebehoeften van specifieke werkbelastingen.
Het gaat hier om een valse dichotomie. Leveranciers van all-flash opslag adviseren bedrijven om 'te vereenvoudigen' en 'toekomstbestendig' te zijn door volledig in te zetten op flash, voor hoge prestaties. Anders, zo stellen ze, lopen bedrijven het risico dat ze geen gelijke tred kunnen houden met de prestatievereisten van de huidige werkbelastingen. Die nulsomredenering is krom om drie redenen:
- Voor veruit de meeste van de huidige werkbelastingen is het prestatievoordeel van flash niet nodig.
- Bedrijven met budgettaire beperkingen en snel groeiende gegevenssets moeten een evenwicht vinden tussen capaciteit, kosten en prestaties.
- De vermeende eenvoud van een enkelvoudige opslagarchitectuur is een oplossing die om problemen vraagt.
Laten we die redenen eens een voor een bekijken.
Op de eerste plaats bevinden de meeste gegevens zich in de cloud en in grote datacenters. In die omgevingen volgen werkbelastingen een regel die vergelijkbaar is met het Pareto-principe: voor slechts een klein percentage van de werkbelasting is een groot percentage van de prestaties vereist. Daarom zijn harde schijven volgens IDC3 de afgelopen vijf jaar goed voor bijna 90% van de geïnstalleerde opslag bij cloudserviceproviders en in hyperscale datacenters.
Bekijk eens de onderstaande grafiek, afkomstig uit het onderzoek Global DataSphere 2023 van IDC. De meeste gegevens in de wereld maken deel uit van werkbelastingen die een nominale gegevensoverdrachttijd nodig hebben voor algemeen gebruik.
In sommige gevallen zijn all-flash systemen zelfs helemaal niet vereist als onderdeel van de krachtigste oplossingen. Er zijn hybride opslagsystemen die net zo goed of sneller presteren dan all-flash. Op apparaatniveau zijn de verschillen in prestaties duidelijk; op schaal in datacenterracks profiteren de hardeschijfprestaties echter van extreem parallelle toegang, wat resulteert in een prestatieniveau dat ruim volstaat voor de meeste werkbelastingen, inclusief AI en machine learning. Net zo belangrijk is dat de sterk toenemende prestatievoordelen die flash biedt, vaak kunnen worden beperkt door andere infrastructuurbeslissingen, zoals netwerkcapaciteit of -kwaliteit.
Ten tweede, zoals eerder in dit artikel is vastgesteld, spelen TCO-overwegingen een grote rol bij de meeste beslissingen over de infrastructuur van datacenters. Dit dwingt ertoe een evenwicht te vinden tussen kosten, capaciteit en prestaties. Optimale TCO wordt bereikt door het meest rendabele medium (harde schijf, flash of tape) af te stemmen op de vereiste werkbelasting. Harde schijven en hybride arrays (samengesteld uit harde schijven en SSD's) passen uitstekend bij de meeste gebruikssituaties voor bedrijven en cloudopslag en andere toepassingen.
Uiteraard kan er voor SSD's of AFA's worden gekozen voor werkbelastingen die het meest geschikt zijn voor harde schijven, zoals bestandservices, objectopslag, documentbeheersystemen of webhosting. Maar vanuit kostenoogpunt zou een dergelijke beslissing vreemd genoeg onlogischer zijn naarmate de capaciteit hoger is. Net zo wanneer je je auto, geparkeerd in een garage, zou gebruiken om je kleren in op te bergen. Haalbaar? Zeker, als het dat is wat je met een auto wilt doen. Maar rendabel? Zeker niet.
Hoewel flashopslag ideaal is voor leesintensieve scenario's, neemt het uithoudingsvermogen ervan af naarmate er meer wordt geschreven. Fabrikanten pakken dit aan met foutcorrectie en overprovisioning - extra, onzichtbare opslag om versleten cellen te vervangen. Die oplossingen brengen echter extra kosten met zich mee: Overprovisioning verhoogt de kosten van het geïntegreerde product aanzienlijk en er is constant stroom nodig om gegevensverlies te voorkomen. Dit vormt een uitdaging voor omgevingen zoals perifere datacenters of omgevingen waar een continue werking niet gegarandeerd is en versnelling optreedt bij hoge temperaturen.
Hoewel flash dankzij technologieën zoals triple-level cell (TLC) en quad-level cell (QLC) gegevensintensieve werkbelastingen kan verwerken zoals harde schijven dat doen, wordt de economische redenering zwakker voor grotere gegevenssets of langdurige bewaring. In die gevallen bieden schijven, met hun toenemende oppervlaktedichtheid, een meer rendabele oplossing. In hyperscale omgevingen kunnen door parallel gebruik te maken van duizenden harde schijven prestaties worden behaald die flash aanvullen (wat hun gezamenlijke rol in moderne datacenters illustreert).
Hoewel QLC-flash dus een aanzienlijk percentage van de TLC-markt overneemt, net zoals TLC de MLC (Multi-level Cell) NAND-opslag verving, wordt het marktaandeel van harde schijven niet aangetast vanwege de factoren kosten, beschikbaarheid en werkbelasting die in dit artikel worden besproken.
Het derde en verwante punt is de bewering dat AFA's superieur zijn aan hybride arrays of opslagsystemen met harde schijven. Voorstanders van flash beweren dat het gebruik van één type opslag 'eenvoudiger' is dan het gebruik van een combinatie van verschillende soorten media en opslaglagen. Niet zo snel.
Veel hybride opslagsystemen maken gebruik van een beproefde en fijn afgestemde softwaregedefinieerde architectuur die de sterke punten van verschillende soorten media naadloos integreert en bundelt in individuele eenheden. In schaalbare datacenterarchitecturen voor de private of openbare cloud, worden bestandssystemen of softwaregedefinieerde opslag gebruikt om de werkbelasting voor gegevensopslag over datacenterlocaties en regio's heen te beheren. Ze bieden meer dan voldoende flexibiliteit, waardoor bedrijven de samenstelling van hun opslag kunnen aanpassen op basis van hun steeds veranderende behoeften.
AFA's en SSD's zijn zeer geschikt voor leesintensieve werkbelastingen die hoge prestaties vereisen. Maar het is een vergissing om vanuit zeer specifieke gebruikssituaties of kleinschalige implementaties een extrapolatie te maken naar de massamarkt en naar hyperscaleniveau waar AFA's een onnodig dure manier bieden om te doen wat harde schijven al aankunnen tegen een veel lagere TCO.
Voor cloud-, hyperscale- en grootzakelijke opslagarchitecturen wordt gekozen voor opslag die de kosten, opslagcapaciteit en prestaties optimaliseert. Harde schijven zijn geschikt voor werkbelastingen waarvoor flash niet zou mogen worden ingezet. Flash is geschikt voor werkbelastingen waarvoor geen harde schijven zouden mogen worden ingezet. Beide opslagmedia zullen naast elkaar bestaan in het datacenter, maar ook in de nabije toekomst zullen de meeste exabytes op harde schijven worden opgeslagen.
Nu we het toch over exabytes hebben: het is gebruikelijk om te wijzen op de toename van het aantal SSD's in combinatie met de afname van het aantal harde schijven als bewijs van een keerpunt in de opslagmarkt. Maar dit argument is een dwaalspoor, want het gaat voorbij aan de toename van de opslagcapaciteit van harde schijven en het totaal aantal verkochte harde schijven op exabyteschaal, dat sneller dan ooit stijgt. Een goed voorbeeld: dankzij de HAMR-innovatie op het gebied van oppervlaktedichtheid zal het nieuwe Mozaic™-platform van Seagate de maximale capaciteit van eenheden de komende vier jaar verdubbelen, terwijl de traditionele PMR-technologie (Perpendicular Magnetic Recording) negen jaar nodig had om de capaciteit te verdubbelen.
In plaats van volume-eenheden te tellen, gaat het bij het nauwkeurig meten van de groei om het aantal verkochte exabytes. Analisten voorspellen dat het aantal harde schijven op exabyteschaal in een ongekend tempo zal blijven toenemen. En hoewel flashopslag ook zal groeien, zal die groei niet in de buurt komen van die van harde schijven wat geïnstalleerde opslagcapaciteit betreft.
Seagate's analyse van gegevens van IDC en TRENDFOCUS voorspelt een toename van bijna 250% in de exabyteverwachtingen voor harde schijven tegen 2028. Als we verder in de tijd extrapoleren, houdt die verhouding tot ver in het volgende decennium stand, zoals u hier kunt zien:
Conclusie: niet meer weg te denken
De vermeende veroudering van harde schijven is al meer dan tien jaar een punt van discussie in de technologie-industrie. Maar de verschillende voorspellingen hebben de tand des tijds niet bepaald goed doorstaan. We verwachten ook niet dat de meest recente ronde zoden aan de dijk zal zetten.
Bijna altijd proberen all-flash absolutisten hun argumenten te onderbouwen met logische denkfouten, waarbij ze vaak extrapoleren van een kleine subset van gebruikssituaties naar een grootschalig niveau, waar hun conclusies niet opgaan.
Het is op zijn best creatieve marketing.
In werkelijkheid:
- De prijzen van NAND en harde schijven zullen niet snel samenvallen, zeker niet nu de oppervlaktedichtheid van harde schijven versneld is toegenomen en grotere volumes beschikbaar zijn in het Seagate Mozaic 3+ platform.
- In tegenstelling tot wat sommigen hebben gesuggereerd, zullen NAND-producenten niet in staat zijn om de productiecapaciteit op te schalen om de bestaande en nieuwe vraag naar harde schijven op exabyteschaal te vervangen. Voor leveranciers van all-flash-arrays is het onmogelijk om zowel voldoende aanbod als goedkopere opslag dan harde schijven aan te bieden vanwege de vereiste investeringen. Fabrikanten van all-flash-arrays zullen waarschijnlijk geen honderden miljarden dollars vinden om met een verlies van 10 tegen 1 te investeren, om voldoende NAND-opslag te produceren om harde schijven te vervangen.
- Beheerders van grote clouds en datacenters in bedrijven zijn pragmatisch en begrijpen dat schaalbare opslagarchitecturen een combinatie van media vereisen die geoptimaliseerd zijn om te voldoen aan de budgettaire, capaciteits- en prestatiebehoeften van hun werkbelastingen.
Natuurlijk zijn er nog andere mythes die bijdragen aan de 'creatieve marketing' die de ondergang van harde schijven voorspelt: mythes over onder andere duurzaamheid, stroom en betrouwbaarheid. Blijf ons volgen. We zullen ze in volgende artikelen behandelen. De drie mythen die hierboven zijn besproken, lijken ons echter het meest relevant.
Elke nauwgezet onderzoek van de gegevens in dit artikel leidt tot de conclusie dat harde schijven niet meer weg te denken zijn. Tot ver in de toekomst zal de overgrote meerderheid van alle gegevens ter wereld op harde schijven blijven worden opgeslagen.
Iets anders suggereren is een absolute misvatting.
