[Spørgsmål] Cloud-backup til Linux eller erfaringer med Backblaze B2

Alt om software, sikkerhed, kryptering m.m. Spørg og der er sikkert en der kan hjælpe.
Brugeravatar
Kleth
Platin Member
Platin Member
Indlæg: 5290
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 971 times
Been thanked: 725 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 26. sep 2018, 09:40

Jeg har to snapshots liggende, prisen er yderst overkommelig og ellers har jeg ikke rigtigt andet at tilføje.
Egentligt burde jeg forsøge en recovery på et andet system, og det kniber med tiden p.g.a. kurser, arbejde, jagt, skydebane og familie-aktiviteter :oops: bl.a. ryger den kommende weekenden på hhv. skydeleder og riffelinstruktør faglig del :smile:
Lige nu er jeg ved at tage nogle AWS-certificeringer, så jeg har lidt øjnene på at skifte til AWS-Glacier, mængden af training og dokumentation på AWS Glacier er MEGET bedre :smile:
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”

Brugeravatar
Ingsorsi
Gold Member
Gold Member
Indlæg: 883
Tilmeldt: 17. nov 2015, 20:49
Interesser: Jagt
Geografisk sted: Roskilde / København
Has thanked: 215 times
Been thanked: 153 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Ingsorsi » 26. sep 2018, 09:43

Kleth skrev:
26. sep 2018, 09:40
Jeg har to snapshots liggende, prisen er yderst overkommelig og ellers har jeg ikke rigtigt andet at tilføje.
Egentligt burde jeg forsøge en recovery på et andet system, og det kniber med tiden p.g.a. kurser, arbejde, jagt, skydebane og familie-aktiviteter :oops: bl.a. ryger den kommende weekenden på hhv. skydeleder og riffelinstruktør faglig del :smile:
Lige nu er jeg ved at tage nogle AWS-certificeringer, så jeg har lidt øjnene på at skifte til AWS-Glacier, mængden af training og dokumentation på AWS Glacier er MEGET bedre :smile:
OK. Er glacier ikke ret meget dyrere?

Brugeravatar
Kleth
Platin Member
Platin Member
Indlæg: 5290
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 971 times
Been thanked: 725 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 26. sep 2018, 09:57

På papiret jo, men det afhænger i høj grad af hvor effektivt det kan bruges mht de-duplication.
Der er også nogle muligheder med at bruge free-tier EC2 instanser til management.
Nu hvor jeg har en backup, så kan jeg lidt bedre eksperimentere og få afprøvet andre teknologier.
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”

PSindrup
UDMELDT AF NVF
Indlæg: 5497
Tilmeldt: 16. feb 2015, 20:56
Interesser: skydning
Geografisk sted: danmark
Has thanked: 5632 times
Been thanked: 537 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af PSindrup » 26. sep 2018, 10:48

Er der nogen af jer der har erfaring med Amazon Glacier?
Det er, så vidt jeg kan se, langt den billigste løsning, hvis man har store mængder data.

Peter

Brugeravatar
Bofhenator
Moderator
Moderator
Indlæg: 9650
Tilmeldt: 22. apr 2010, 22:01
Interesser: Pistol, Riffeljagt, Genladning
Geografisk sted: Nordsjælland
Has thanked: 1721 times
Been thanked: 2146 times
Kontakt:

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Bofhenator » 26. sep 2018, 11:08

PSindrup skrev:
26. sep 2018, 10:48
Er der nogen af jer der har erfaring med Amazon Glacier?
Det er, så vidt jeg kan se, langt den billigste løsning, hvis man har store mængder data.

Peter
Jeg har noget og har en kammerat der er 100m mester, er det noget specifikt du tænker på?
/bofh
"never attribute to malice that which is adequately explained by stupidity"
Hanlons razor

Brugeravatar
Kleth
Platin Member
Platin Member
Indlæg: 5290
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 971 times
Been thanked: 725 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 26. sep 2018, 11:09

PSindrup skrev:
26. sep 2018, 10:48
Er der nogen af jer der har erfaring med Amazon Glacier?
Det er, så vidt jeg kan se, langt den billigste løsning, hvis man har store mængder data.

Peter
AWS Glacier er 0,001$ billigere per GB/Måned i storage end Backblaze B2, men AWS Glacier koster 0,055$ per 1000 uploads her under multipart uploads. Glazier er beregnet til langtids backup/archiving af data, så restore kan ikke forventes at være synkron, så det afhænger af formålet med de store mængder data.
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”

PSindrup
UDMELDT AF NVF
Indlæg: 5497
Tilmeldt: 16. feb 2015, 20:56
Interesser: skydning
Geografisk sted: danmark
Has thanked: 5632 times
Been thanked: 537 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af PSindrup » 26. sep 2018, 12:05

Kleth skrev:
26. sep 2018, 11:09
PSindrup skrev:
26. sep 2018, 10:48
Er der nogen af jer der har erfaring med Amazon Glacier?
Det er, så vidt jeg kan se, langt den billigste løsning, hvis man har store mængder data.

Peter
AWS Glacier er 0,001$ billigere per GB/Måned i storage end Backblaze B2, men AWS Glacier koster 0,055$ per 1000 uploads her under multipart uploads. Glazier er beregnet til langtids backup/archiving af data, så restore kan ikke forventes at være synkron, så det afhænger af formålet med de store mængder data.
Tak.
Behovet er langtidsbackup at mine mange billeder uden krav om her og nu restore.

Peter

Brugeravatar
Kleth
Platin Member
Platin Member
Indlæg: 5290
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 971 times
Been thanked: 725 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 26. sep 2018, 12:39

I dit tilfælde ville jeg nok se på en mere etableret backup service f.eks. Backblaze eller Backblaze B2.
Der er flere andre glimrende backup-tjenester der ude.

Jeg har +300GB på Backblaze B2 og jeg er bundet af nogle ret begrænsede klienter da jeg kører Linux
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”

PSindrup
UDMELDT AF NVF
Indlæg: 5497
Tilmeldt: 16. feb 2015, 20:56
Interesser: skydning
Geografisk sted: danmark
Has thanked: 5632 times
Been thanked: 537 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af PSindrup » 26. sep 2018, 17:13

Hvad er forskellen på backblaze og backblaze B2?

Jeg skal, i parantes bemærket, “kun” køre backup’en fra en NAS

Peter

Brugeravatar
Kleth
Platin Member
Platin Member
Indlæg: 5290
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 971 times
Been thanked: 725 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 26. sep 2018, 17:23

PSindrup skrev:
26. sep 2018, 17:13
Hvad er forskellen på backblaze og backblaze B2?

Jeg skal, i parantes bemærket, “kun” køre backup’en fra en NAS

Peter
Backblaze B2 er mere som AWS S3 altså et rimeligt simpelt lager, med muligheden for at oprette buckets og snapshots.
Backblaze er dyrere men kommer med en fin Windoze klient.
Du skal nok kontrollere hvilke/hvilken backup klient der er til din NAS, ellers må du køre en backup klient fra en PC der har mountet den share på NASen.
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”

PSindrup
UDMELDT AF NVF
Indlæg: 5497
Tilmeldt: 16. feb 2015, 20:56
Interesser: skydning
Geografisk sted: danmark
Has thanked: 5632 times
Been thanked: 537 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af PSindrup » 27. sep 2018, 10:55

Kleth skrev:
26. sep 2018, 17:23
PSindrup skrev:
26. sep 2018, 17:13
Hvad er forskellen på backblaze og backblaze B2?

Jeg skal, i parantes bemærket, “kun” køre backup’en fra en NAS

Peter
Backblaze B2 er mere som AWS S3 altså et rimeligt simpelt lager, med muligheden for at oprette buckets og snapshots.
Backblaze er dyrere men kommer med en fin Windoze klient.
Du skal nok kontrollere hvilke/hvilken backup klient der er til din NAS, ellers må du køre en backup klient fra en PC der har mountet den share på NASen.
Tak

Det er et ufravigeligt krav at backupen kører fra NASen. Jeg skal ikke have en PC stå og knurre i månedsvis for at køre backup. Min PC tager automatisk backup til NAS og derfra ud i "skyen"

Peter

Brugeravatar
Kleth
Platin Member
Platin Member
Indlæg: 5290
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 971 times
Been thanked: 725 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 27. sep 2018, 11:14

Med Restic stod min server og knurrende i 36t for at seede min backup med de initielle >300Gb over en 25mbit/s COAX-forbindelse.
Restic er så berygtet for at være sløv.
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”

Brugeravatar
Ingsorsi
Gold Member
Gold Member
Indlæg: 883
Tilmeldt: 17. nov 2015, 20:49
Interesser: Jagt
Geografisk sted: Roskilde / København
Has thanked: 215 times
Been thanked: 153 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Ingsorsi » 27. sep 2018, 11:22

Kleth skrev:
27. sep 2018, 11:14
Med Restic stod min server og knurrende i 36t for at seede min backup med de initielle >300Gb over en 25mbit/s COAX-forbindelse.
Restic er så berygtet for at være sløv.
Er den virkelig? Den er længder hurtigere end duplicity hos mig. Og endda multitrådet.
Men dens sftp backend er ubrugelig langsom.

Brugeravatar
Kleth
Platin Member
Platin Member
Indlæg: 5290
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 971 times
Been thanked: 725 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 27. sep 2018, 12:34

Jeg forholder mig til Restic<->B2 hastigheden og de artikler jeg har læst. Hvis det er B2 der er flaskehalsen, så har jeg ikke ret og det ville ikke være første gang. Jeg anvendte Crashplan før og deres klient var en hel del hurtigere, men hvad der er B2 og Restic har jeg endnu ikke kunne adskille, men imponeret er jeg ikke. Intern backup er med rsync og det er jeg rigtig glad for, så det er måske også derfor at jeg syntes at restic er sløv.
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”

Brugeravatar
Ingsorsi
Gold Member
Gold Member
Indlæg: 883
Tilmeldt: 17. nov 2015, 20:49
Interesser: Jagt
Geografisk sted: Roskilde / København
Has thanked: 215 times
Been thanked: 153 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Ingsorsi » 27. sep 2018, 12:49

Kleth skrev:
27. sep 2018, 12:34
Jeg forholder mig til Restic<->B2 hastigheden og de artikler jeg har læst. Hvis det er B2 der er flaskehalsen, så har jeg ikke ret og det ville ikke være første gang. Jeg anvendte Crashplan før og deres klient var en hel del hurtigere, men hvad der er B2 og Restic har jeg endnu ikke kunne adskille, men imponeret er jeg ikke. Intern backup er med rsync og det er jeg rigtig glad for, så det er måske også derfor at jeg syntes at restic er sløv.
Jeg er selv i gang med at udskifte mine lokale backups fra rsync til restic - faktisk som konsekvens af, at jeg må konkludere at hastigheden er meget bedre på restic.
Men ja, på B2 er der nogle latency issues. Jeg er temmelig sikker på, at de enten er i selve B2 eller i B2 access modulet til restic - og ikke selve restic selv.

Brugeravatar
Kleth
Platin Member
Platin Member
Indlæg: 5290
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 971 times
Been thanked: 725 times

Re: [Spørgsmål] Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 27. sep 2018, 12:59

Med rsync ser jeg at det primært er NIC hastigheden på mine ARM baserede rsync targets som sætter begrænsningen, og derfor har jeg ikke set på at prøve Restic i stedet.
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”

Brugeravatar
Ingsorsi
Gold Member
Gold Member
Indlæg: 883
Tilmeldt: 17. nov 2015, 20:49
Interesser: Jagt
Geografisk sted: Roskilde / København
Has thanked: 215 times
Been thanked: 153 times

Re: [Spørgsmål] Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Ingsorsi » 27. sep 2018, 13:12

Kleth skrev:
27. sep 2018, 12:59
Med rsync ser jeg at det primært er NIC hastigheden på mine ARM baserede rsync targets som sætter begrænsningen, og derfor har jeg ikke set på at prøve Restic i stedet.
Ja, det er det såfremt der er tale om store filer. Men så er der eet vigtigt aspekt mere: deduplikering og kompression. Jeg har bl.a. godt 1 TB data i form af subversion repositories og checkouts. Det har en ekstrem høj grad af duplikation (er det et ord?). Her kan rsync kopiere det så hurtigt som mit I/O device (om det så er netkort eller en lokal disk) kan tage imod data. MEN restic kan tilsyneladende gøre det hurtigere. Måske med 80 % af den hastighed som I/O devicet kan æde data (jeg har ikke faktisk benchmarket det endnu - men det gør jeg når jeg får mulighed), men skal så kun skrive måske 30-50% af den samlede mængde data pga. deduplication.

Et andet aspekt er, at jeg har et filsystem med _mange_ små filer (så mange at df -i var relevant på et tidspunkt). Her var rsync også langsom til at overføre, fordi den tilsyneladende ventede på at hver eneste fil blev kreeret ovre på destination siden før den gik i gang med at læse næste source fil. Her er restic meget hurtigere, fordi den ikke skal lave filerne ovre på destinationen, bare tilføje til en database.

PSindrup
UDMELDT AF NVF
Indlæg: 5497
Tilmeldt: 16. feb 2015, 20:56
Interesser: skydning
Geografisk sted: danmark
Has thanked: 5632 times
Been thanked: 537 times

Re: [Spørgsmål] Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af PSindrup » 27. sep 2018, 15:11

Det er bare SÅ ærgerligt at Crashplan ikke længere er tilgængelig for private. Fpor det spillede bare ...

Peter

Brugeravatar
Kleth
Platin Member
Platin Member
Indlæg: 5290
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 971 times
Been thanked: 725 times

Re: [Spørgsmål] Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 27. sep 2018, 15:26

Ingsorsi skrev:
27. sep 2018, 13:12

Ja, det er det såfremt der er tale om store filer. Men så er der eet vigtigt aspekt mere: deduplikering og kompression. Jeg har bl.a. godt 1 TB data i form af subversion repositories og checkouts. Det har en ekstrem høj grad af duplikation (er det et ord?). Her kan rsync kopiere det så hurtigt som mit I/O device (om det så er netkort eller en lokal disk) kan tage imod data. MEN restic kan tilsyneladende gøre det hurtigere. Måske med 80 % af den hastighed som I/O devicet kan æde data (jeg har ikke faktisk benchmarket det endnu - men det gør jeg når jeg får mulighed), men skal så kun skrive måske 30-50% af den samlede mængde data pga. deduplication.

Et andet aspekt er, at jeg har et filsystem med _mange_ små filer (så mange at df -i var relevant på et tidspunkt). Her var rsync også langsom til at overføre, fordi den tilsyneladende ventede på at hver eneste fil blev kreeret ovre på destination siden før den gik i gang med at læse næste source fil. Her er restic meget hurtigere, fordi den ikke skal lave filerne ovre på destinationen, bare tilføje til en database.
4/5 af det jeg har er billeder i ret god opløsning og noget video i SD format, samt nogle archive filer, så jeg har hverken store problemer med redundante filer eller store mængder små filer. Stort set alle små filer er damlet i archives. Jeg er så glad for rsync at jeg sågar bruger rsync i stedet for mv og cp når der er tale om filstrukturer :giggle:
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”

Besvar