Most recent comments
Liveblogg nyttårsaften 2017
Tor, 6 months, 2 weeks
Jogging og blogging
Are, 1 year, 6 months
Liveblogg nyttårsaften 2016
Are, 1 year, 6 months
Reading in dark times
Are, 1 year, 8 months
Moldejazz 2016
Camilla, 1 year, 11 months
Dørskilt
Karoline, 2 years
Halifax
Tor, 2 years
Sony Smartwatch 3 review
Tor, 2 years, 1 month
Numerikk, takk
Tor, 2 years, 1 month
Topp tur
Camilla, 2 years, 3 months
50 book challenge
Camilla, 6 months, 2 weeks
Five years ago
Moldejazz 2013, del I
Tor
Controls
Register

Filsystem

Jeg mener å huske, fra hine hårde dager, at noen fortalte meg om fordelene med filsystemet FAT32. Fritt etter hukommelsen gikk det ut på noe slikt som at FAT32 kan adressere flere blokker enn FAT16, og dermed kan hver blokk være mindre. Siden en fil aldri kan ta opp mindre plass på disken enn en blokk (eller er det sektor, det heter?), betyr det at FAT32 gir mindre bortkastet plass hvis du har mange små filer. Jeg kan ikke akkurat si at dette temaet er noe som har opptatt meg mye.

I dag ble jeg imidlertid ufrivillig oppmerksom på at filsystemer kanskje er noe som er verdt å ofre en tanke eller to på. Jeg hadde en mappe, med ca 400.000 filer, og du -sh rapporterte at mappen brukte 383 GB på disken. Problemet var at jeg mente å vite hva som lå i den mappen, og når jeg regnet på det kom jeg frem til en størrelse på rundt 7 GB. Å lete gjennom en mappe med flere hundre tusen filer for å finne ut hva som egentlig tar plass er en smule utfordrende, fordi selv enkle ting som å bruke ls tar lang tid og produserer mye output, men jeg fikk i allefall bekreftet at de første filene i mappen var som forventet, og at de siste filene i mappen var som forventet, samt at det ikke lå noen andre mapper i mappen.

Her var jeg egentlig i ferd med å gi opp, da det plutselig falt meg inn å sjekke hva du -sh sa om diskbruken til én enkelt fil. Og sannelig jeg sier dere, denne viste seg å være ikke mindre enn 1M, selv om filen i følge ls -l skulle være på beskjedne 247B. Det viste seg at den aktuelle disken rett og slett har en blokkstørrelse på 1 MB, og, som de som fant opp FAT32 visste, store blokkstørrelser gir mye bortkastet plass hvis man har mange små filer. Hvorfor blokkstørrelsen er så stor aner jeg ikke. Det er mulig det har noe med saken å gjøre at det er en nettverksdisk, på mine lokale disker er den i allefall 4K (SSD) eller 512B (spinnende rust).

Dagens moral: Av og til er det lurt å tenke på ting som har med filsystem å gjøre. Skjønt antagelig er det enda lurere å ikke tøyse rundt med hundretusenvis av bittesmå tekstfiler. En MongoDB hadde sikkert vært tingen.
Category
Technology
Tags
FAT32
filsystem
bigge data
MongoDB
Views
1874