[Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Alt om software, sikkerhed, kryptering m.m. Spørg og der er sikkert en der kan hjælpe.
Besvar
Brugeravatar
Kleth
This member is
This member is
Indlæg: 3952
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 716 times
Been thanked: 480 times

[Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 5. jan 2018, 20:01

Jeg ville forlænge mit Crashplan Home abonnement, men fandt ud af at det var udløbet og ikke kunne forlænges uden at tage et erhvervsabonnement til 120$ pro anno. De af jer som kører Linux, hvad bruger i til cloud backup?

Da jeg absolut SKAL have fortløbende backup, så registrerede jeg mig straks på Backblaze og skabte en B2 bucket, det minder ret meget om Amazon S3 eller Glacier. Først konfigurerede jeg Duplicity, men det var lidt omstændigt, i stedet downloadede og konfigurerede jeg Restic.

Restic: https://help.backblaze.com/hc/en-us/art ... c-on-Linux
Duplicity: https://help.backblaze.com/hc/en-us/art ... 5001518354 - Artiklen er yderst managelfuld, men Duplicity er et gammelt værktøj, så der er et stort udvalg af artikler som dækker alt det der ikke står i Backblaze' guide.

Nu skal jeg så bare vente på at få uploaded ~220Gb video og billeder og have lavet et script der kan køres fra anacron og laver incrementielle backups.
Yogi Bear: “Boo Boo, you've tried to stop my brilliant ideas with common sense a thousand times. Has it ever worked?”

Ingsorsi
Bronze Member
Bronze Member
Indlæg: 162
Tilmeldt: 17. nov 2015, 20:49
Interesser: Jagt
Geografisk sted: Roskilde / København
Has thanked: 142 times
Been thanked: 22 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Ingsorsi » 5. jan 2018, 20:33

Hvilken type kryptering anvender du?
Og hvor hurtigt kan du recover data?

Anvender selv duplicity og zbackup. Rclone overfører til skyen.

Benyttede hubic men båndbredden er elendig så kigger efter et billigt alternativ med bedre båndbredde.

Har hørt meget godt om backblaze men vist stadig noget dyrere end hubic.

Brugeravatar
Kleth
This member is
This member is
Indlæg: 3952
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 716 times
Been thanked: 480 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 5. jan 2018, 20:46

Recovery har jeg ikke forsøgt endnu, jeg er stadig igang med min initielle full-backup.
Filerne er AES-256 krypterede af Restic, hashfunktionen er SHA256, så det kunne være hurtigere.
Yogi Bear: “Boo Boo, you've tried to stop my brilliant ideas with common sense a thousand times. Has it ever worked?”

Brugeravatar
Kleth
This member is
This member is
Indlæg: 3952
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 716 times
Been thanked: 480 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 6. jan 2018, 08:38

Hvis jeg kan udnytte de fulde 25Mbits/sec upload som min asymetriske internetforbindelse tilbyder, vil backup af vores billeder alene tage 20 timer :impatient:
Men jeg tror det tager længere tid for jeg er kun på 70Gigabyte fra i går aftes og det er under 1/3.
Overhead kan sagtens skyldes deduplication/checksum og headers.

Det lader dog ikke til at flaskehalsen ligger hos Backblaze B2, ved min begrænsede uploadhastighed.
Yogi Bear: “Boo Boo, you've tried to stop my brilliant ideas with common sense a thousand times. Has it ever worked?”

Brugeravatar
Bofhenator
This member is
This member is
Indlæg: 4114
Tilmeldt: 22. apr 2010, 22:01
Interesser: Pistol, Riffeljagt, Genladning
Geografisk sted: Nordsjælland
Has thanked: 819 times
Been thanked: 704 times
Kontakt:

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Bofhenator » 6. jan 2018, 09:08

Jeg er gammeldags...

Jeg bruger rsync/ssh til en dedikeret server hos en kammerat, han har en magen til stående hos mig. Naturligvis med krypterede partitioner.
/bofh
Death is not the worst thing that can happen to men.

Brugeravatar
Kleth
This member is
This member is
Indlæg: 3952
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 716 times
Been thanked: 480 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 6. jan 2018, 10:12

Jeg er også i gang med en lokal backup med rsync til en USB-disk men jeg vil gerne have en professionel udbyder i den anden ende.
Jeg skal se nærmere på at bruge Amazon Glacier til backup.
Yogi Bear: “Boo Boo, you've tried to stop my brilliant ideas with common sense a thousand times. Has it ever worked?”

ReneKJ
This member is
This member is
Indlæg: 1793
Tilmeldt: 25. jun 2015, 11:10
Interesser: Våbenrelateret information
Geografisk sted: Jylland
Has thanked: 226 times
Been thanked: 483 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af ReneKJ » 6. jan 2018, 10:48

Bofhenator skrev:Jeg er gammeldags...

Jeg bruger rsync/ssh til en dedikeret server hos en kammerat, han har en magen til stående hos mig. Naturligvis med krypterede partitioner.
Men er rsync ikke kun en replikering af filerne?
Så er man vel stadigt på røven hvis nogle filer bliver korrupte, eller man får en gang ransomware?
Med en "rigtig" backup så kan man også finde tidligere versioner af filerne, selv efter at de er blevet overskrevet med defekte filer.

Jeg må med skam erkende at alle mine vigtige data ligger på Windowssystemer, så jeg ved ikke hvor nemt det er at bruge min backup-udbyder på Linux. Men de understøtte det da : https://www.idrive.com/readme

Ingsorsi
Bronze Member
Bronze Member
Indlæg: 162
Tilmeldt: 17. nov 2015, 20:49
Interesser: Jagt
Geografisk sted: Roskilde / København
Has thanked: 142 times
Been thanked: 22 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Ingsorsi » 6. jan 2018, 11:04

ReneKJ skrev: Men er rsync ikke kun en replikering af filerne?
Så er man vel stadigt på røven hvis nogle filer bliver korrupte, eller man får en gang ransomware?
Med en "rigtig" backup så kan man også finde tidligere versioner af filerne, selv efter at de er blevet overskrevet med defekte filer.
Du kan godt gemme en historik af filer ved at benytte --link-dest i rsync. Så laver rsync bare hardlinks til alle filer som er ens og dermed kan du sagtens lave f.eks. daglige snapshots med historik langt tilbage uden at det fylder mere af den grund. Kun ændringer vil så fylde mere og til vil kunne gå tilbage og gendanne en fil fra et vilkårligt tidspunkt. Man skal dog være opmærksom på, at for store backup sæt kan det komme til at fylde en hulens masse inodes, men det skal man så bare huske at tune sit filsystem efter.

Ingsorsi
Bronze Member
Bronze Member
Indlæg: 162
Tilmeldt: 17. nov 2015, 20:49
Interesser: Jagt
Geografisk sted: Roskilde / København
Has thanked: 142 times
Been thanked: 22 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Ingsorsi » 6. jan 2018, 11:07

Faktisk har jeg også en håndfuld maskiner stående som benytter backup til google drive via insync (https://www.insynchq.com/).
Det fungerer ved at hver maskine har en deja-dup konfigureret til at tage daglige backup med duplicity. insync står så for synkronisering af duplicity backuppen til google drive.
Disse maskiner er alle workstations med brugere som ikke er super kyndige. Men det fungerer fint og løsningen er temmelig meget "set and forget". Jeg har haft brug for at lave recovery 2 gange de seneste 3 år. Begge dele gik smertefrit.

Ingsorsi
Bronze Member
Bronze Member
Indlæg: 162
Tilmeldt: 17. nov 2015, 20:49
Interesser: Jagt
Geografisk sted: Roskilde / København
Has thanked: 142 times
Been thanked: 22 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Ingsorsi » 6. jan 2018, 11:18

Jeg gav lige backblaze et genbesøg og tjekkede deres priser.

Jeg har ca. 2x3 TB jeg vil backe op + historik. Så lad os sige, at det ender på ca. 8 TB i alt.

Der står, at storage koster $0,005/gb/md og download koster $0,02/GB.

Har jeg forstået det korrekt, at det så vil koste mig:
40 USD (~=250 kr/md) i storage + 160 USD (~=1000 kr) hver gang jeg vil lave en fuld recovery eller verificere min backup.

Det virker temmeligt dyrt synes jeg. For den pris kan jeg købe en hosted server med 8 TB storage på en 1gbps forbindelse med 30 TB trafik og så lave backup til den (hint: det gør jeg også).

Brugeravatar
Kleth
This member is
This member is
Indlæg: 3952
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 716 times
Been thanked: 480 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 6. jan 2018, 11:21

ReneKJ skrev: Men er rsync ikke kun en replikering af filerne?
Så er man vel stadigt på røven hvis nogle filer bliver korrupte, eller man får en gang ransomware?
Med en "rigtig" backup så kan man også finde tidligere versioner af filerne, selv efter at de er blevet overskrevet med defekte filer.
Med rsync kan man lave checksums, så hvis filerne er korrupte i overførslen så opdages det. Jeg kører normalt med “—ignore-existing” så at når filerne er overført, så overføres de ikke igen og dermed overskrives de ikke, hvis de er blevet korrupte på source-systemet
Jeg har haft implementeret et regime her hjemme, hvor der blev lavet fuld backup månedligt og de sidste 3 versioner blev gemt. Ellers kørte rsync dagligt og lavede incremental backup
Yogi Bear: “Boo Boo, you've tried to stop my brilliant ideas with common sense a thousand times. Has it ever worked?”

Brugeravatar
Kleth
This member is
This member is
Indlæg: 3952
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 716 times
Been thanked: 480 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 6. jan 2018, 11:26

Ingsorsi skrev: Har jeg forstået det korrekt, at det så vil koste mig:
40 USD (~=250 kr/md) i storage + 160 USD (~=1000 kr) hver gang jeg vil lave en fuld recovery eller verificere min backup..
:razz: Jeg har så kun knapt 300GB og jeg satser hårdt på ikke at skulle lave recovery og hvis jeg skal, så koster det hvad det nu koster.

Det bliver umiddelbart ikke dyrere for mig end at jeg kan bruge Backblaze B2 imedens jeg leder efter noget andet :thumbup:
Yogi Bear: “Boo Boo, you've tried to stop my brilliant ideas with common sense a thousand times. Has it ever worked?”

Brugeravatar
Bofhenator
This member is
This member is
Indlæg: 4114
Tilmeldt: 22. apr 2010, 22:01
Interesser: Pistol, Riffeljagt, Genladning
Geografisk sted: Nordsjælland
Has thanked: 819 times
Been thanked: 704 times
Kontakt:

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Bofhenator » 6. jan 2018, 11:57

ReneKJ skrev:
Bofhenator skrev:Jeg er gammeldags...

Jeg bruger rsync/ssh til en dedikeret server hos en kammerat, han har en magen til stående hos mig. Naturligvis med krypterede partitioner.
Men er rsync ikke kun en replikering af filerne?
Så er man vel stadigt på røven hvis nogle filer bliver korrupte, eller man får en gang ransomware?
Med en "rigtig" backup så kan man også finde tidligere versioner af filerne, selv efter at de er blevet overskrevet med defekte filer.

Jeg må med skam erkende at alle mine vigtige data ligger på Windowssystemer, så jeg ved ikke hvor nemt det er at bruge min backup-udbyder på Linux. Men de understøtte det da : https://www.idrive.com/readme
Som sagt, nej.

Jeg har prioriteret kontrol af data højere end hastighed, hvis jeg en dag får brug for min backup så er der ikke noget der haster får jeg fuldstændig sikker på hvorfor det er jeg er endt i den situation, så om genoprettelse tager 6 eller 12 timer i ikke vigtigt.

Jeg har ikke hørt om andre typer ransomware rettet mod linux end ELFEREBUS.A, men derudover er der historik/versionering i min backup, så skaden ville være begrænset. Jeg har ikke savnet noget ift at bruge rsync til backup, men det er naturligvis ikke så nemt som at klikke på en backupknap i et stykke windowssoftware og så triller der derudaf, ud i skyen. Til gengæld har jeg selv styr på hvor mine data ender og hvilken type kryptering og fysisk sikring der er i begge ender :-)

Det er helt sikkert ikke hverken den nemmeste eller billigste løsning. Sikkert heller ikke den sikreste, men det virker for mig :-)
/bofh
Death is not the worst thing that can happen to men.

Brugeravatar
Kleth
This member is
This member is
Indlæg: 3952
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 716 times
Been thanked: 480 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 6. jan 2018, 15:24

Bofhenator skrev:Jeg har ikke savnet noget ift at bruge rsync til backup, men det er naturligvis ikke så nemt som at klikke på en backupknap i et stykke windowssoftware og så triller der derudaf, ud i skyen.
Rsync er super velegnet til automatisering af backups mm. Og det er ret gennemskueligt hvad det gør i modsætning til at “trykke på en knap”.
Anacron er en god løsning på at få kørt backups.

Jeg bruger også rsync til både at kopiere filer og til at flytte dem, da jeg har bedre kontrol over at filen ikke bliver korrupt og hvis jeg er nød til at afbryde jobbet, er det let at genstarte uden at ødelægge filer eller skulle svare ja/nej på en masse filer. Der ud over er resourceforbruget mere venligt over for lap- & desktops.
Yogi Bear: “Boo Boo, you've tried to stop my brilliant ideas with common sense a thousand times. Has it ever worked?”

PSindrup
Platin Member
Platin Member
Indlæg: 2053
Tilmeldt: 16. feb 2015, 20:56
Interesser: Lerdueskydning, salonrifler mm
Geografisk sted: Stenlille, midtsjælland
Has thanked: 1103 times
Been thanked: 147 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af PSindrup » 7. jan 2018, 10:08

Med de priser, var det så ikke en idé at genoverveje Crashplan professionel?

Jeg er egentlig ret ligeglad med hvor lang tid en restore tager, og også hvad den koster, for hvis jeg først får brug for den, så er det fordi jeg er seriøst på spanden. :giggle:

Crashplan har - syntes jeg - det suverænt bedste userinterface. Gennemskueligt og nemt at gå til.

Peter
Våben hører til på jagten, på skydebanen og i våbenskabet.

Brugeravatar
Kleth
This member is
This member is
Indlæg: 3952
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 716 times
Been thanked: 480 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 7. jan 2018, 18:14

Nu havde jeg akut behov for at tage backup, så jeg tog det nærmeste og simpleste.
Crashplan på Linux har jeg tidligere måtte hacke lidt for at få GUI til at tale med daemon og med mindre mængder data har Crashplan været ret lang tid om at tage fuld backup.
Men givet; UI er godt og muligheden for at specificere QoS, inclusions, exclusions mv er fænomenalt.

Jeg skal ikke afvise at jeg går tilbage til Crashplan og lige nu er jeg i gang med at afsøge markedet for Linux cloud backup.

Så vidt jeg kan se, så giver Restic encryption kontrollen til mig, så uden Restic og min unikke nøgle kan filerne umiddelbart ikke dekrypteres af Backblaze eller andre i modsætning til at eks Crashplan har både private og public key til encryption.

Det har taget knapt to dage at uploade godt 300 Gigabytes, så båndbredden er god nok til mit forbrug på min linie.
Yogi Bear: “Boo Boo, you've tried to stop my brilliant ideas with common sense a thousand times. Has it ever worked?”

Brugeravatar
Kleth
This member is
This member is
Indlæg: 3952
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 716 times
Been thanked: 480 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 8. jan 2018, 06:14

Kleth skrev:Det har taget knapt to dage at uploade godt 300 Gigabytes, så båndbredden er god nok til mit forbrug på min linie.
Jeg kiggede lige i logfilen i går aftes og de to processer jeg havde i gang med at tage backup til Backblaze B2, havde kørt med et gennemsnit på hhv 2,5Megabytes/sec og 2,10Megabytes/sec. Hvis jeg udelukkende omregner effektiviteten af de 2,5Mbytes/sec, er det en 80% udnyttelse af upload kapaciteten på min internetforbindelse, men den er nok højere da de to processer kørte i parallel i en del timer.

Prisen burde være 1,5$/måned, 3$/måned med et snapshot og 6$ for en restore med de begrænsede mængder data jeg har.
Yogi Bear: “Boo Boo, you've tried to stop my brilliant ideas with common sense a thousand times. Has it ever worked?”

Ingsorsi
Bronze Member
Bronze Member
Indlæg: 162
Tilmeldt: 17. nov 2015, 20:49
Interesser: Jagt
Geografisk sted: Roskilde / København
Has thanked: 142 times
Been thanked: 22 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Ingsorsi » 8. maj 2018, 12:47

Kleth skrev:
5. jan 2018, 20:01
Jeg ville forlænge mit Crashplan Home abonnement, men fandt ud af at det var udløbet og ikke kunne forlænges uden at tage et erhvervsabonnement til 120$ pro anno. De af jer som kører Linux, hvad bruger i til cloud backup?

Da jeg absolut SKAL have fortløbende backup, så registrerede jeg mig straks på Backblaze og skabte en B2 bucket, det minder ret meget om Amazon S3 eller Glacier. Først konfigurerede jeg Duplicity, men det var lidt omstændigt, i stedet downloadede og konfigurerede jeg Restic.

Restic: https://help.backblaze.com/hc/en-us/art ... c-on-Linux
Duplicity: https://help.backblaze.com/hc/en-us/art ... 5001518354 - Artiklen er yderst managelfuld, men Duplicity er et gammelt værktøj, så der er et stort udvalg af artikler som dækker alt det der ikke står i Backblaze' guide.

Nu skal jeg så bare vente på at få uploaded ~220Gb video og billeder og have lavet et script der kan køres fra anacron og laver incrementielle backups.
Jeg er netop i processen med at skifte fra duplicity backup til restic. Men jeg støder ind i nogle forskellige problemer med restic, som du måske har en løsning på:

  1. Throughput på restic via SFTP er elendig over WAN. Jeg har testet det mellem to maskiner som hver er på 1000mbps forbindelser med 50ms latency imellem. Throughput ligger mellem 1-2 MB/s. Jeg kan se, at der i de allernyeste snapshots af restic er kommet support for rclone over SSH som skulle kunne forbedre performance over WAN. Men jeg kan stadig ikke få den langt over 5-20 MB/s.
  2. Til duplicity bruger jeg backupninja (https://www.0xacab.org/riseuplabs/backupninja) til at køre den egentlige backup og samtidig dumpe nødvendige databaser, m.m. Der er så vidt jeg kan se ikke nogen restic-handler til backupninja. Men findes der et lignende værktøj til at styre backuppen til restic? Jeg har ikke kunnet finde et.
  3. Restic kræver at der bliver kørt en masse forskellige kommandoer i den rigtige rækkefølge for at "maintaine" backuppen. Jeg ser typiske eksempler som "restic backup ; restic forget ; restic prune ; restic check". Det kræver så, at man laver et script som foretager backuppen, hvor man har bygget en masse forskellig logik ind i. Jeg savner eksempler på sådanne scripts. Det er nemlig ikke "bare" at køre ovenstående kommandoer i et statisk script, fordi så vil man nogle gange løbe ind i, at der er låse i ens repository, hvilket betyder at prune kommer til at fejle. Så skal man lave en listing af låsene, herefter en 'cat' af de enkelte låse for at sikre, at de ikke tilhører en kørende backup. Til sidst skal man så slette låsene ved at lave en "unlock". Hvordan løser du dette?
  4. Jeg har også nogle maskiner til at tage backup til backblaze, men hold da helt op, hvor er det langsomt. Bare det at lave list locks tager 5 sekunder. Jaja, jeg holder da nok til det, men det virker bare som lang tid. Når så selve backuppen kører tager det pænt stærkt dog idet throughput er fint. Men små operationer ser ud til at have en ret stor "set up time".

Brugeravatar
Kleth
This member is
This member is
Indlæg: 3952
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 716 times
Been thanked: 480 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 9. maj 2018, 06:20

Ingsorsi skrev:
8. maj 2018, 12:47

Jeg er netop i processen med at skifte fra duplicity backup til restic. Men jeg støder ind i nogle forskellige problemer med restic, som du måske har en løsning på:

  1. Throughput på restic via SFTP er elendig over WAN. Jeg har testet det mellem to maskiner som hver er på 1000mbps forbindelser med 50ms latency imellem. Throughput ligger mellem 1-2 MB/s. Jeg kan se, at der i de allernyeste snapshots af restic er kommet support for rclone over SSH som skulle kunne forbedre performance over WAN. Men jeg kan stadig ikke få den langt over 5-20 MB/s.
  2. Til duplicity bruger jeg backupninja (https://www.0xacab.org/riseuplabs/backupninja) til at køre den egentlige backup og samtidig dumpe nødvendige databaser, m.m. Der er så vidt jeg kan se ikke nogen restic-handler til backupninja. Men findes der et lignende værktøj til at styre backuppen til restic? Jeg har ikke kunnet finde et.
  3. Restic kræver at der bliver kørt en masse forskellige kommandoer i den rigtige rækkefølge for at "maintaine" backuppen. Jeg ser typiske eksempler som "restic backup ; restic forget ; restic prune ; restic check". Det kræver så, at man laver et script som foretager backuppen, hvor man har bygget en masse forskellig logik ind i. Jeg savner eksempler på sådanne scripts. Det er nemlig ikke "bare" at køre ovenstående kommandoer i et statisk script, fordi så vil man nogle gange løbe ind i, at der er låse i ens repository, hvilket betyder at prune kommer til at fejle. Så skal man lave en listing af låsene, herefter en 'cat' af de enkelte låse for at sikre, at de ikke tilhører en kørende backup. Til sidst skal man så slette låsene ved at lave en "unlock". Hvordan løser du dette?
  4. Jeg har også nogle maskiner til at tage backup til backblaze, men hold da helt op, hvor er det langsomt. Bare det at lave list locks tager 5 sekunder. Jaja, jeg holder da nok til det, men det virker bare som lang tid. Når så selve backuppen kører tager det pænt stærkt dog idet throughput er fint. Men små operationer ser ud til at have en ret stor "set up time".
Nu bruger jeg kun Restic og Backblaze til hjemmebackup, så det er noget begrænset hvad jeg kan hjælpe med, men jeg har noget tid til selvstudium i dag og måske i næste uge, så mellem at jeg sidder og lærer mig selv Python 3, kan det være at jeg har lidt tid til at kigge på det og komme med et par forslag.
Yogi Bear: “Boo Boo, you've tried to stop my brilliant ideas with common sense a thousand times. Has it ever worked?”

ReneKJ
This member is
This member is
Indlæg: 1793
Tilmeldt: 25. jun 2015, 11:10
Interesser: Våbenrelateret information
Geografisk sted: Jylland
Has thanked: 226 times
Been thanked: 483 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af ReneKJ » 9. maj 2018, 10:30

Kleth skrev:
9. maj 2018, 06:20
så mellem at jeg sidder og lærer mig selv Python 3,
Jeg kondolere

Kode: Vælg alt

     Er det TAB?
     Eller er det SPACE?
     Whitespace til scope er en plage 
:wall:

Pycharms kan gøre det lidt mere udholdeligt, og har en fin debugger.
https://www.jetbrains.com/pycharm/

Brugeravatar
Kleth
This member is
This member is
Indlæg: 3952
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 716 times
Been thanked: 480 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 9. maj 2018, 10:48

ReneKJ skrev:
9. maj 2018, 10:30
Jeg kondolere

Kode: Vælg alt

     Er det TAB?
     Eller er det SPACE?
     Whitespace til scope er en plage 
:wall:

Pycharms kan gøre det lidt mere udholdeligt, og har en fin debugger.
https://www.jetbrains.com/pycharm/
Takker, jeg sidder allerde med PyCharm Community Edition - Den er hundrede gange smartere end MU-editoren som vi bruger til MicroBit :giggle:
Strukturen af Python minder mig dog om Cobol85, men der er nogle smarte detaljer i forhold til C/C++ og Java, men jeg er stadig mest til Java selv om jeg ikke har kodet "for real" siden omkring 2004 :moon:
Python er så en forudsætning for en del AI/Deep Learning/Predictive Analytics/Automation m.v. da der er nogle meget populære libraries til det, så det er næste skridt der er målet, ikke Python i sig selv :smile:
Yogi Bear: “Boo Boo, you've tried to stop my brilliant ideas with common sense a thousand times. Has it ever worked?”

Brugeravatar
Wildlife
This member is
This member is
Indlæg: 940
Tilmeldt: 30. sep 2010, 19:09
Interesser: Sejlads, Jagt & Fiskeri
Geografisk sted: Østjylland
Has thanked: 334 times
Been thanked: 184 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Wildlife » 11. maj 2018, 11:23

Bofhenator skrev:
6. jan 2018, 09:08
Jeg er gammeldags...

Jeg bruger rsync/ssh til en dedikeret server hos en kammerat, han har en magen til stående hos mig. Naturligvis med krypterede partitioner.
:razz:

Det lyder bekendt - Jeg bruger rdiff-backup via ssh til en lejet server hos Hetzner i Tyskland til at tage backup af mine filer hjemmefra, ca 1,5 TB lige pt.

Den hoster så samtidig mine private websites, og kører så en rdiff-backup den anden vej hjem med kopi af data fra den server.

Ovenstående er ret praktisk da hjemmeserveren begyndte at gøre nykker i aftes, så er det altså rart at vide at man har en 12 timer gammel backup af alting.

P.S. Rdiff-backup er nemt at gå til og kan varmt anbefales.
"Never underestimate the power of stupid people in large groups."

Brugeravatar
Kleth
This member is
This member is
Indlæg: 3952
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 716 times
Been thanked: 480 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 15. maj 2018, 07:42

M.h.t. Restic og Backblaze B2
Det ser ikke rigtigt ud til at der er alternativer. "Borg" kunne være et alternativ, afhængigt af det kontekst som der skal tages backup fra.
https://blog.stickleback.dk/borg-or-restic/
https://medium.com/@pawitp/good-bye-bac ... 0e361ee576

Kommandoerne til Restic kan vel lægges i anacron/cron og ved hjælp af locks, kontrolleres at de ikke forsøger at køre samtidigt.

Kode: Vælg alt

lockdir=/tmp/backup.lock
if mkdir "$lockdir"
then    # directory did not exist. Backup lock was created successfully
    echo >&2 "backup.lock acquired successfully: $lockdir"
    # continue script
else    # failed to create directory, it might already exist
  echo >&2 "cannot acquire backup lock $lockdir"
  exit 0
fi
Yogi Bear: “Boo Boo, you've tried to stop my brilliant ideas with common sense a thousand times. Has it ever worked?”

Ingsorsi
Bronze Member
Bronze Member
Indlæg: 162
Tilmeldt: 17. nov 2015, 20:49
Interesser: Jagt
Geografisk sted: Roskilde / København
Has thanked: 142 times
Been thanked: 22 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Ingsorsi » 15. maj 2018, 11:16

Kleth skrev:
15. maj 2018, 07:42
M.h.t. Restic og Backblaze B2
Det ser ikke rigtigt ud til at der er alternativer. "Borg" kunne være et alternativ, afhængigt af det kontekst som der skal tages backup fra.
https://blog.stickleback.dk/borg-or-restic/
https://medium.com/@pawitp/good-bye-bac ... 0e361ee576

Kommandoerne til Restic kan vel lægges i anacron/cron og ved hjælp af locks, kontrolleres at de ikke forsøger at køre samtidigt.

Kode: Vælg alt

lockdir=/tmp/backup.lock
if mkdir "$lockdir"
then    # directory did not exist. Backup lock was created successfully
    echo >&2 "backup.lock acquired successfully: $lockdir"
    # continue script
else    # failed to create directory, it might already exist
  echo >&2 "cannot acquire backup lock $lockdir"
  exit 0
fi
Problemet skyldes ikke låsning på klientsiden, men i repository på serveren. Det er f.eks. muligt at der sker et eller andet med maskinen eller netforbindelsen undervejs som gør, at en kørende backup ikke afsluttes korrekt. I sådanne tilfælde vil repository stadig være låst og det er ikke trivielt at clear'e låsen på en måde der er både 1) programmatisk og 2) sikker.
Det behøver ikke være noget stort der skal til for at dette sker. Det kan være et kort udfald af wifi eller lign. som gør, at forbindelsen afbrydes.
Faktisk ser det ud til, at det nogle gange sker på B2 uanset om alt (i hvert fald i min ende) kører som det skal.

Når repo er låst, så virker maintenance kommandoer som prune og forget ikke. Og uden dem ender man med et enormt stort repository.

Er du ikke stødt ind i det problem? Du kører vel forget, prune og check på dine backups, ikke?

Besvar