• Hjem
  • Bilder
  • Bokmerker fra bloggen
  • Poll Arkivet
  • Om…
Blue Orange Green Pink Purple

Sikker lagring av bilder

Postet under Bilder, Data, Gjesteblogger, Håvards verden. på tirsdag, 5 mai, 2009 av Håvard Tags: Gjestebloggere
mai 05

André har gjort det, Martin Bekkelund har gjort det, Michael Heilemann har gjort det og sikkert mange flere. De har alle skrevet om hvordan du kan unngå at bildene dine blir borte i det store /dev/null. Martin Bekkelund har en hjemmeserver stående i tillegg til en ekstern harddisk som ting overføres til. Michael Heilemann har en stabel med eksterndisker og André har stort sett ingenting. Selv bruker jeg en løsning som er veldig nær den Martin bruker. 

André skriver i bloggposten sin at hvis han skal bruke nettbaserte tjenester, slik som Picasa, vil det koste han i nabolaget av 250 til 500 dollar i året. Jeg synes bildene mine er verdt såpass! Grunnen til at jeg ikke bruker en slik løsning har ingenting med penger å gjøre, men med kontroll. Kontroll over hvem som har tilgang, på alle nivåer, til å rote rundt i bildene mine. Hvis du laster opp hele bildearkivet ditt til en nettbasert tjeneste, enten i Norge eller andre steder, hvilke garantier har du for at ingen andre har tilgang til de? Helt rett; ingen! Enn så lenge, vil det være slik at de som drifter lagringssystemer, må ha tilgang til alle filene som ligger lagret på et slikt system og det er her problemet dukker opp. Det er ikke nødvendigvis slik at jeg har spesielt hemmelige eller kompromitterende bilder liggende, men det er fremdeles mine bilder som jeg selv vil ha kontroll over.

Jeg skal være den første til å innrømme at jeg har gjort det langt dyrere enn det trenger å være, sikkerhetskopiering er på ingen måte svart magi som du må være ingeniør eller ha svart belte i nerding for å forstå. Oppsettet er, i korte trekk, som følger:

  1. Min datamaskin
  2. En ekstern harddisk 
  3. En ekstern datamaskin

Del 1 og 2 av oppsettet står hjemme i leiligheten min, og deler derfor en del svakheter. I tilfelle brann eller innbrudd er sjansene store for at verken datamaskinen min eller den eksterne harddisken overlever. Dette er en skummel tanke, som med letthet kan frarøve en nattesøvnen. Fordelen med disse to systemene, er at sjansene er små for at hardisken i datamaskinen og i den eksterne harddisken (mer om den senere) skal bli ødelagt samtidig. Levetiden for en vanlig intern harddisk i en datamaskin er sjelden mer enn tre år, gjerne mye mindre. To separate systemer hjemme bidrar til å redusere risikoen for at alle bildene skal forsvinne i det store dragsuget på grunn av harddisk-krasj.

Del 1 og 2
Så fort jeg får tømt bildene mine over på datamaskinen min, kopierer jeg de også over til den eksterne harddisken som jeg har stående hjemme. Når jeg skulle kjøpe ny ekstern harddisk ville jeg ha noe jeg kunne bygge ut etterhvert og som jeg kunne nå uavhengig av hvor jeg var hen i verden. Jeg endte opp med en Linksys NSS4000 4-Bay Gigabit Network Storage System Chassis, som egentlig bare er et fancy navn for et harddisk-kabinett. I dette kabinettet satte jeg fire harddisker som hver er på 1TB, og som igjen er satt opp i et RAID5. 

 

Linksys NSS4000

Linksys NSS4000 - Med fire hotswap harddisker à 1TB

Det er flere grunner til at jeg valgte RAID5, en er at harddisk-kabinettet har hotswap-funksjonalitet. Hotswap lar meg ta ut en harddisk mens enheten er i gang, og erstatte den med en ny, uten at noe data går tapt. Dette er en ting jeg ennå ikke har hatt mot til å teste, men har en plan om å gjøre det en gang i fremtiden. Skulle en av harddiskene få et illebefinnende, kan jeg raskt og enkelt dra ut den defekte harddisken og erstatte den med en ny. Den andre hovedgrunnen til RAID5, er at da ligger dataene fordelt på alle fire harddiskene i tillegg til en kontrolldel. Denne kontrolldelen betyr at hver harddisk inneholder sin del, pluss en del fra nabo-harddisken. Du kan se på dette som om du gir tre av dine venner en tredjedel hver av nøkkelen til leiligheten din; hver del hver for seg er ubrukelig, men sammen kan de bygge opp en kopi av originalen. Wikipedia har forøvrig en veldig bra artikkel – og bilde – som forklarer dette i større detalj. 

Bakdelen med et slikt NAS er at det kan oppleves som veldig tregt sammenlignet med en harddisk koblet til via Firewire eller USB. For meg var gadget-faktoren og muligheten til å utvide etterhvert, viktigere enn hastigheten på systemet. Med kablet gigabit-nettverk i leiligheten, går det fort nok i de aller fleste tilfeller.

Del 3
Som nevnt tidligere, vil brann eller innbrudd nesten være synonymt med tapte data og bilder. For å bøte på dette har jeg satt en liten datamaskin hos min kjære storebror. Denne har ingen andre oppgaver enn å ta i mot bilder og søke gjennom seg selv etter virus på dagtid. En gang i timen sjekker den sin egen IP-adresse og gir beskjed hvis denne er endret den siste timen – som regel har den ikke det. Hver natt blir så alle endringer som har skjedd på min maskin her hjemme, overført til den eksterne maskinen. Hvis det ikke er noen endringer siden sist, er dette en prosess som tar 10-15 sekunder å gjennomføre. Hvor lang tid det tar å overføre endringene, kommer an på hvor mange bilder det er snakk om og filstørrelsen deres. Første gang jeg satte opp den eksterne maskinen, overførte jeg alle bildene via en Firewire-harddisk. Skulle jeg har gjort dette over internett, ville jeg sikkert ha holdt på fremdeles.

Selve overføringen av bildene gjøres via et lite verktøy som heter rsync som er innebygd i de aller fleste operativsystemer med respekt for seg selv. Siden jeg stoler på mottakermaskinen, har jeg lagt igjen en kopi av min nøkkel for pålogging, som gjør at jeg slipper å oppgi passordet mitt hver gang jeg skal overføre bildene. Dette betyr at jeg kan automatisere overføringen av bildene, slik at jeg er sikker på at det blir gjort. Backup du må gjøre manuelt, er nesten jevngodt med ingen backup!

Magien som sørger for overføringen ser omentrent slik ut:
rsync -vaz --delete --delete-excluded --exclude-from=exclude /lokal-mappe/bilder/ hvassing@ekstern-maskin-ip:/ekstern-mappe/bilder;

Filen exclude lar meg definere hvilke filer som ikke skal være med, slik som .tmp-filer og annet rask. Du kan lese mer om hvordan rsync fungerer på hjemmesidene deres.

Noen avsluttende ord
Jeg har brukt lang tid på å finne frem til den løsningen som passer best for meg, og det er ingen tvil om at nå som jeg endelig har denne løsningen i boks, kan jeg sove litt bedre om nettene når jeg er på ferie. Før jeg fikk satt opp denne løsningen, kopierte jeg bildene mine over til CD-plater i slutten av hver måned, og kopierte ett år med bilder over på DVD i begynnelsen av det nye året. Dette sluttet å være en fornuftig måte å gjøre det på med en gang hver bildefil overskred 5-10MB, og som nevnt; manuell backup er jevngodt med ingen backup!

Løsningen jeg har valgt har kostet litt i overkant av 15 000kr, men det skyldes i stor grad det at jeg har vært ute etter utstyr som jeg kan leke med like mye som det skal være en sikker backup-løsning. Det er ingenting i veien for å gjøre nøyaktig det samme som jeg har gjort for under 5 000kr, ikke krever det veldig mye datakunnskaper heller.

Bakdelen med den løsningen jeg har, er at den krever at min datamaskin her hjemme står på hver natt, i tillegg til maskinen som skal ta i mot bildene også må være på. Maskinene jeg bruker, trekker 13W når de ikke er i bruk, noe som betyr at de ikke vil gjøre det helt store utslaget på strømregningen. 

Håper dette har vært inspirasjon til andre og at det kan hjelpe til at folk ikke mister bildene sine i fremtiden!

9 kommentarer

  1. Andre 5 mai, 2009 @ 12:54

    Tja, kanskje det er på tide å gjøre noe automatisert her i gården også. Skal tenke litt over hvordan jeg skal løse det.
    Har forresten funnet en NAS enhet jeg har lyst på. Den har dessverre bare en disk, altså ingen form for RAID, men til gjengjeld har den mediasenter, ftpserver, ftp klient, bittorent klient, webserver osv osv Tror den blir fin til å ha sikkerhetskopierte DVD-filmer og slikt på. Spesiellt siden den kan streame rett til PS3′en min

  2. Tina 5 mai, 2009 @ 13:50

    http://www.korrekturavdelingen.no/K4Semikolon.htm

  3. Håvard 5 mai, 2009 @ 15:38

    Semikolon
    Semikolon gjør tjeneste som en mellomting mellom et punktum og et komma og må ikke blandes sammen med kolon.

    Rent teknisk er et semikolon et komma med et punktum på toppen. Vi kan bruke semikolon til å lage et lite opphold mellom helsetninger (hovedsetninger) som hører nær sammen. Det skal understreke den nære sammenhengen mellom de to setningene.

    Semikolon kan også brukes til å skille mellom ledd i sammensatte oppregninger.
    http://sprakrad.no/Sprakhjelp/Rettskriving_Ordboeker/Skriveregler_og_grammatikk/Semikolon/

  4. Yngve Thoresen 6 mai, 2009 @ 12:24

    Ser jo veldig bra ut dette. Har sett på nøyaktig samme oppsett, men mangler en maskin som står på døgnet rundt hjemme (server) og mottakermaskin eksternt. Har snakket om gjensidig løsning med min bror og min svigerfar, så kan hende vi kommer i mål med det en dag.

    Et kjapt spørsmål bare. Jeg har også kikket litt på rsync, men lurer på om den brukes kun til synkronisering, eller også backup? Det er jo en stor forskjell på det. I dag lagrer jeg alt av bilder på egen maskin og to eksterne disker ved hjelp av programmet Allway Sync. Problemet er hvis jeg har slettet elle endret bilder ved et uhell, og kjørt synkejobben etter det. Da er det kjørt, selv om den ene disken ikke blir like ofte synket.

    Helst skulle jeg hatt backup og synk, slik at hele tiden har en identisk kopi i tillegg til backup av tidligere filer litt tid tilbake.
    I tillegg til bilder er musikk og video lagret på begge eksteren disker, men blir sjelden fulgt opp i samme grad. Bilder er viktigst, mens viktige dokumenter havner på server på jobben automatisk.

  5. Håvard 6 mai, 2009 @ 21:23

    Du kan sette rsync til å ikke slette filene på den andre enden ved å ta bort de --delete og --delete-excluded flaggene som jeg bruker. Så vidt jeg husker — men dette er lett å teste — vil a-flagget (archive) sørge for at ting blir arkivert uten at noen filer blir slettet noen steder.

    Jeg synkroniserer ikke, jeg tar backup (som også arkiveres på ymse måter, men det er utelatt av artikkelen).

    Håvard’s siste blogg post..Equation bookshelf

  6. Stian 7 mai, 2009 @ 15:54

    Jeg kjøpte meg en sånn liten handy ekstern harddisk som jeg tenkte jeg skulle bruke til backup av bilder og denslags, med dårlige erfaringer av at bildene mine bare forsvinner. De få jeg hadde igjen skulle jeg pokker meg ta vare på, tenkte jeg. Men så tenkte jeg for mye på sikkerhet. Jeg krypterte mesteparten av disken med TrueCrypt, siden det var en god del personsensitivt materiale jeg hadde tenkt å lagre på den. Jeg laget meg et ordentlig sterkt passord, som jeg var sikker på at jeg kom til å huske – men så feil kan en ta… Sitter her nå, over et halvt år senere, med en disk jeg ikke tør røre, som bare venter på at jeg skal huske passordet (som egentlig ikke skal være så vanskelig for meg å komme på, men har dog prøvd det meste).

    Når jeg skal hjem i sommer skal definitivt Albert, min gamle gutteromsserver, opp og gå igjen, og metoden beskrevet i dette innlegget skal testes! Bra bloggpost, Håvard :)

  7. Andre 8 mai, 2009 @ 08:17

    Uffda, er litt redd for at jeg skal glemme truecrypt passordene mine selv ja. Kanskje man skal skrive dem ned en plass?

  8. Yngve Thoresen 8 mai, 2009 @ 08:50

    Nei, synkronisering er det jo ikke. Men sånn jeg skjønner det, er det her snakk om å ta backup på en slik måte at alle slettede filer også blir slettet på server. Bruker rsync versjonering slik at man gå tilbake til et tidspunkt hvor filer ikke var blitt slettet f.eks? Eller kan man eventuelt sette den til å ta inkrementell backup?

    Uansett er jeg nå mer gira på å teste dette enn noensinne.

  9. Håvard 8 mai, 2009 @ 12:04

    Jeg har et annet script som gir meg inkrementell backup, inntil videre har jeg slått det av ettersom det krever en del plass.

    En måte å gjøre det på, er f.eks slik:
    # step 1: delete the oldest snapshot, if it exists:
    if [ -d $DESTINATION/hourly.3 ] ; then
    $RM -rf $DESTINATION/hourly.3 ;
    fi ;

    # step 2: shift the middle snapshots(s) back by one, if they exist
    if [ -d $DESTINATION/hourly.2 ] ; then
    $MV $DESTINATION/hourly.2 $DESTINATION/hourly.3 ;
    fi;

    Kodesnutten over er en del av det scriptet jeg bruker for mine times-backuper av bruksmaskinen min. Jeg foretrekker å kopiere ting med rsync til ett fast sted hver gang, og så heller ha et annet script som flytter det over i en annen mappe og gir meg inkrementell backup. I tillegg lager jeg en snarvei, latest, som hele tiden peker til den siste backupen som er tatt. Alt dette er fort gjort å sette opp.



Legg igjen en kommentar

CommentLuv Enabledshow more

Beisfjord.net

  • Søk


  • Siste kommentarer
    • Andre on JavaZone gjør det igjen
    • Mortn on Sikre vårtegn
    • Jon M on Oppgavebehandlingen er deaktivert av administratoren
    • Andre on Oppgavebehandlingen er deaktivert av administratoren
    • Jon M on Oppgavebehandlingen er deaktivert av administratoren
  • Meta
    • Logg inn
    • Innlegg RSS
    • Kommentarer RSS
    • WordPress.org
  • Poll

    Hva er ditt vårtegn?

    Vis resultatet

    Loading ... Loading ...




  • Hjem
  • Bilder
  • Bokmerker fra bloggen
  • Poll Arkivet
  • Om…

© Copyright Beisfjord.net. All rights reserved.
Designed by FTL Wordpress Themes brought to you by Smashing Magazine

Til Toppen