[Spørgsmål] Cloud-backup til Linux eller erfaringer med Backblaze B2
- Kleth
- Platin Member
- Indlæg: 5290
- Tilmeldt: 27. mar 2013, 15:20
- Interesser: Jage,Skyde,Ammo&Historie
- Geografisk sted: Nordsjælland
- Has thanked: 971 times
- Been thanked: 725 times
[Spørgsmål] Cloud-backup til Linux eller erfaringer med Backblaze B2
Jeg ville forlænge mit Crashplan Home abonnement, men fandt ud af at det var udløbet og ikke kunne forlænges uden at tage et erhvervsabonnement til 120$ pro anno. De af jer som kører Linux, hvad bruger i til cloud backup?
Da jeg absolut SKAL have fortløbende backup, så registrerede jeg mig straks på Backblaze og skabte en B2 bucket, det minder ret meget om Amazon S3 eller Glacier. Først konfigurerede jeg Duplicity, men det var lidt omstændigt, i stedet downloadede og konfigurerede jeg Restic.
Restic: https://help.backblaze.com/hc/en-us/art ... c-on-Linux
Duplicity: https://help.backblaze.com/hc/en-us/art ... 5001518354 - Artiklen er yderst managelfuld, men Duplicity er et gammelt værktøj, så der er et stort udvalg af artikler som dækker alt det der ikke står i Backblaze' guide.
Nu skal jeg så bare vente på at få uploaded ~220Gb video og billeder og have lavet et script der kan køres fra anacron og laver incrementielle backups.
Da jeg absolut SKAL have fortløbende backup, så registrerede jeg mig straks på Backblaze og skabte en B2 bucket, det minder ret meget om Amazon S3 eller Glacier. Først konfigurerede jeg Duplicity, men det var lidt omstændigt, i stedet downloadede og konfigurerede jeg Restic.
Restic: https://help.backblaze.com/hc/en-us/art ... c-on-Linux
Duplicity: https://help.backblaze.com/hc/en-us/art ... 5001518354 - Artiklen er yderst managelfuld, men Duplicity er et gammelt værktøj, så der er et stort udvalg af artikler som dækker alt det der ikke står i Backblaze' guide.
Nu skal jeg så bare vente på at få uploaded ~220Gb video og billeder og have lavet et script der kan køres fra anacron og laver incrementielle backups.
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”
- Ingsorsi
- Gold Member
- Indlæg: 883
- Tilmeldt: 17. nov 2015, 20:49
- Interesser: Jagt
- Geografisk sted: Roskilde / København
- Has thanked: 215 times
- Been thanked: 153 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Hvilken type kryptering anvender du?
Og hvor hurtigt kan du recover data?
Anvender selv duplicity og zbackup. Rclone overfører til skyen.
Benyttede hubic men båndbredden er elendig så kigger efter et billigt alternativ med bedre båndbredde.
Har hørt meget godt om backblaze men vist stadig noget dyrere end hubic.
Og hvor hurtigt kan du recover data?
Anvender selv duplicity og zbackup. Rclone overfører til skyen.
Benyttede hubic men båndbredden er elendig så kigger efter et billigt alternativ med bedre båndbredde.
Har hørt meget godt om backblaze men vist stadig noget dyrere end hubic.
- Kleth
- Platin Member
- Indlæg: 5290
- Tilmeldt: 27. mar 2013, 15:20
- Interesser: Jage,Skyde,Ammo&Historie
- Geografisk sted: Nordsjælland
- Has thanked: 971 times
- Been thanked: 725 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Recovery har jeg ikke forsøgt endnu, jeg er stadig igang med min initielle full-backup.
Filerne er AES-256 krypterede af Restic, hashfunktionen er SHA256, så det kunne være hurtigere.
Filerne er AES-256 krypterede af Restic, hashfunktionen er SHA256, så det kunne være hurtigere.
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”
- Kleth
- Platin Member
- Indlæg: 5290
- Tilmeldt: 27. mar 2013, 15:20
- Interesser: Jage,Skyde,Ammo&Historie
- Geografisk sted: Nordsjælland
- Has thanked: 971 times
- Been thanked: 725 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Hvis jeg kan udnytte de fulde 25Mbits/sec upload som min asymetriske internetforbindelse tilbyder, vil backup af vores billeder alene tage 20 timer
Men jeg tror det tager længere tid for jeg er kun på 70Gigabyte fra i går aftes og det er under 1/3.
Overhead kan sagtens skyldes deduplication/checksum og headers.
Det lader dog ikke til at flaskehalsen ligger hos Backblaze B2, ved min begrænsede uploadhastighed.
Men jeg tror det tager længere tid for jeg er kun på 70Gigabyte fra i går aftes og det er under 1/3.
Overhead kan sagtens skyldes deduplication/checksum og headers.
Det lader dog ikke til at flaskehalsen ligger hos Backblaze B2, ved min begrænsede uploadhastighed.
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”
- Bofhenator
- Moderator
- Indlæg: 9705
- Tilmeldt: 22. apr 2010, 22:01
- Interesser: Pistol, Riffeljagt, Genladning
- Geografisk sted: Nordsjælland
- Has thanked: 1726 times
- Been thanked: 2158 times
- Kontakt:
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Jeg er gammeldags...
Jeg bruger rsync/ssh til en dedikeret server hos en kammerat, han har en magen til stående hos mig. Naturligvis med krypterede partitioner.
Jeg bruger rsync/ssh til en dedikeret server hos en kammerat, han har en magen til stående hos mig. Naturligvis med krypterede partitioner.
/bofh
"never attribute to malice that which is adequately explained by stupidity"
Hanlons razor
"never attribute to malice that which is adequately explained by stupidity"
Hanlons razor
- Kleth
- Platin Member
- Indlæg: 5290
- Tilmeldt: 27. mar 2013, 15:20
- Interesser: Jage,Skyde,Ammo&Historie
- Geografisk sted: Nordsjælland
- Has thanked: 971 times
- Been thanked: 725 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Jeg er også i gang med en lokal backup med rsync til en USB-disk men jeg vil gerne have en professionel udbyder i den anden ende.
Jeg skal se nærmere på at bruge Amazon Glacier til backup.
Jeg skal se nærmere på at bruge Amazon Glacier til backup.
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”
-
- This member is
- Indlæg: 3140
- Tilmeldt: 25. jun 2015, 11:10
- Interesser: Våbenrelateret information
- Geografisk sted: Jylland
- Has thanked: 323 times
- Been thanked: 674 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Men er rsync ikke kun en replikering af filerne?Bofhenator skrev:Jeg er gammeldags...
Jeg bruger rsync/ssh til en dedikeret server hos en kammerat, han har en magen til stående hos mig. Naturligvis med krypterede partitioner.
Så er man vel stadigt på røven hvis nogle filer bliver korrupte, eller man får en gang ransomware?
Med en "rigtig" backup så kan man også finde tidligere versioner af filerne, selv efter at de er blevet overskrevet med defekte filer.
Jeg må med skam erkende at alle mine vigtige data ligger på Windowssystemer, så jeg ved ikke hvor nemt det er at bruge min backup-udbyder på Linux. Men de understøtte det da : https://www.idrive.com/readme
- Ingsorsi
- Gold Member
- Indlæg: 883
- Tilmeldt: 17. nov 2015, 20:49
- Interesser: Jagt
- Geografisk sted: Roskilde / København
- Has thanked: 215 times
- Been thanked: 153 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Du kan godt gemme en historik af filer ved at benytte --link-dest i rsync. Så laver rsync bare hardlinks til alle filer som er ens og dermed kan du sagtens lave f.eks. daglige snapshots med historik langt tilbage uden at det fylder mere af den grund. Kun ændringer vil så fylde mere og til vil kunne gå tilbage og gendanne en fil fra et vilkårligt tidspunkt. Man skal dog være opmærksom på, at for store backup sæt kan det komme til at fylde en hulens masse inodes, men det skal man så bare huske at tune sit filsystem efter.ReneKJ skrev: Men er rsync ikke kun en replikering af filerne?
Så er man vel stadigt på røven hvis nogle filer bliver korrupte, eller man får en gang ransomware?
Med en "rigtig" backup så kan man også finde tidligere versioner af filerne, selv efter at de er blevet overskrevet med defekte filer.
- Ingsorsi
- Gold Member
- Indlæg: 883
- Tilmeldt: 17. nov 2015, 20:49
- Interesser: Jagt
- Geografisk sted: Roskilde / København
- Has thanked: 215 times
- Been thanked: 153 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Faktisk har jeg også en håndfuld maskiner stående som benytter backup til google drive via insync (https://www.insynchq.com/).
Det fungerer ved at hver maskine har en deja-dup konfigureret til at tage daglige backup med duplicity. insync står så for synkronisering af duplicity backuppen til google drive.
Disse maskiner er alle workstations med brugere som ikke er super kyndige. Men det fungerer fint og løsningen er temmelig meget "set and forget". Jeg har haft brug for at lave recovery 2 gange de seneste 3 år. Begge dele gik smertefrit.
Det fungerer ved at hver maskine har en deja-dup konfigureret til at tage daglige backup med duplicity. insync står så for synkronisering af duplicity backuppen til google drive.
Disse maskiner er alle workstations med brugere som ikke er super kyndige. Men det fungerer fint og løsningen er temmelig meget "set and forget". Jeg har haft brug for at lave recovery 2 gange de seneste 3 år. Begge dele gik smertefrit.
- Ingsorsi
- Gold Member
- Indlæg: 883
- Tilmeldt: 17. nov 2015, 20:49
- Interesser: Jagt
- Geografisk sted: Roskilde / København
- Has thanked: 215 times
- Been thanked: 153 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Jeg gav lige backblaze et genbesøg og tjekkede deres priser.
Jeg har ca. 2x3 TB jeg vil backe op + historik. Så lad os sige, at det ender på ca. 8 TB i alt.
Der står, at storage koster $0,005/gb/md og download koster $0,02/GB.
Har jeg forstået det korrekt, at det så vil koste mig:
40 USD (~=250 kr/md) i storage + 160 USD (~=1000 kr) hver gang jeg vil lave en fuld recovery eller verificere min backup.
Det virker temmeligt dyrt synes jeg. For den pris kan jeg købe en hosted server med 8 TB storage på en 1gbps forbindelse med 30 TB trafik og så lave backup til den (hint: det gør jeg også).
Jeg har ca. 2x3 TB jeg vil backe op + historik. Så lad os sige, at det ender på ca. 8 TB i alt.
Der står, at storage koster $0,005/gb/md og download koster $0,02/GB.
Har jeg forstået det korrekt, at det så vil koste mig:
40 USD (~=250 kr/md) i storage + 160 USD (~=1000 kr) hver gang jeg vil lave en fuld recovery eller verificere min backup.
Det virker temmeligt dyrt synes jeg. For den pris kan jeg købe en hosted server med 8 TB storage på en 1gbps forbindelse med 30 TB trafik og så lave backup til den (hint: det gør jeg også).
- Kleth
- Platin Member
- Indlæg: 5290
- Tilmeldt: 27. mar 2013, 15:20
- Interesser: Jage,Skyde,Ammo&Historie
- Geografisk sted: Nordsjælland
- Has thanked: 971 times
- Been thanked: 725 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Med rsync kan man lave checksums, så hvis filerne er korrupte i overførslen så opdages det. Jeg kører normalt med “—ignore-existing” så at når filerne er overført, så overføres de ikke igen og dermed overskrives de ikke, hvis de er blevet korrupte på source-systemetReneKJ skrev: Men er rsync ikke kun en replikering af filerne?
Så er man vel stadigt på røven hvis nogle filer bliver korrupte, eller man får en gang ransomware?
Med en "rigtig" backup så kan man også finde tidligere versioner af filerne, selv efter at de er blevet overskrevet med defekte filer.
Jeg har haft implementeret et regime her hjemme, hvor der blev lavet fuld backup månedligt og de sidste 3 versioner blev gemt. Ellers kørte rsync dagligt og lavede incremental backup
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”
- Kleth
- Platin Member
- Indlæg: 5290
- Tilmeldt: 27. mar 2013, 15:20
- Interesser: Jage,Skyde,Ammo&Historie
- Geografisk sted: Nordsjælland
- Has thanked: 971 times
- Been thanked: 725 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Jeg har så kun knapt 300GB og jeg satser hårdt på ikke at skulle lave recovery og hvis jeg skal, så koster det hvad det nu koster.Ingsorsi skrev: Har jeg forstået det korrekt, at det så vil koste mig:
40 USD (~=250 kr/md) i storage + 160 USD (~=1000 kr) hver gang jeg vil lave en fuld recovery eller verificere min backup..
Det bliver umiddelbart ikke dyrere for mig end at jeg kan bruge Backblaze B2 imedens jeg leder efter noget andet
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”
- Bofhenator
- Moderator
- Indlæg: 9705
- Tilmeldt: 22. apr 2010, 22:01
- Interesser: Pistol, Riffeljagt, Genladning
- Geografisk sted: Nordsjælland
- Has thanked: 1726 times
- Been thanked: 2158 times
- Kontakt:
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Som sagt, nej.ReneKJ skrev:Men er rsync ikke kun en replikering af filerne?Bofhenator skrev:Jeg er gammeldags...
Jeg bruger rsync/ssh til en dedikeret server hos en kammerat, han har en magen til stående hos mig. Naturligvis med krypterede partitioner.
Så er man vel stadigt på røven hvis nogle filer bliver korrupte, eller man får en gang ransomware?
Med en "rigtig" backup så kan man også finde tidligere versioner af filerne, selv efter at de er blevet overskrevet med defekte filer.
Jeg må med skam erkende at alle mine vigtige data ligger på Windowssystemer, så jeg ved ikke hvor nemt det er at bruge min backup-udbyder på Linux. Men de understøtte det da : https://www.idrive.com/readme
Jeg har prioriteret kontrol af data højere end hastighed, hvis jeg en dag får brug for min backup så er der ikke noget der haster får jeg fuldstændig sikker på hvorfor det er jeg er endt i den situation, så om genoprettelse tager 6 eller 12 timer i ikke vigtigt.
Jeg har ikke hørt om andre typer ransomware rettet mod linux end ELFEREBUS.A, men derudover er der historik/versionering i min backup, så skaden ville være begrænset. Jeg har ikke savnet noget ift at bruge rsync til backup, men det er naturligvis ikke så nemt som at klikke på en backupknap i et stykke windowssoftware og så triller der derudaf, ud i skyen. Til gengæld har jeg selv styr på hvor mine data ender og hvilken type kryptering og fysisk sikring der er i begge ender :-)
Det er helt sikkert ikke hverken den nemmeste eller billigste løsning. Sikkert heller ikke den sikreste, men det virker for mig :-)
/bofh
"never attribute to malice that which is adequately explained by stupidity"
Hanlons razor
"never attribute to malice that which is adequately explained by stupidity"
Hanlons razor
- Kleth
- Platin Member
- Indlæg: 5290
- Tilmeldt: 27. mar 2013, 15:20
- Interesser: Jage,Skyde,Ammo&Historie
- Geografisk sted: Nordsjælland
- Has thanked: 971 times
- Been thanked: 725 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Rsync er super velegnet til automatisering af backups mm. Og det er ret gennemskueligt hvad det gør i modsætning til at “trykke på en knap”.Bofhenator skrev:Jeg har ikke savnet noget ift at bruge rsync til backup, men det er naturligvis ikke så nemt som at klikke på en backupknap i et stykke windowssoftware og så triller der derudaf, ud i skyen.
Anacron er en god løsning på at få kørt backups.
Jeg bruger også rsync til både at kopiere filer og til at flytte dem, da jeg har bedre kontrol over at filen ikke bliver korrupt og hvis jeg er nød til at afbryde jobbet, er det let at genstarte uden at ødelægge filer eller skulle svare ja/nej på en masse filer. Der ud over er resourceforbruget mere venligt over for lap- & desktops.
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”
-
- UDMELDT AF NVF
- Indlæg: 5497
- Tilmeldt: 16. feb 2015, 20:56
- Interesser: skydning
- Geografisk sted: danmark
- Has thanked: 5632 times
- Been thanked: 537 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Med de priser, var det så ikke en idé at genoverveje Crashplan professionel?
Jeg er egentlig ret ligeglad med hvor lang tid en restore tager, og også hvad den koster, for hvis jeg først får brug for den, så er det fordi jeg er seriøst på spanden.
Crashplan har - syntes jeg - det suverænt bedste userinterface. Gennemskueligt og nemt at gå til.
Peter
Jeg er egentlig ret ligeglad med hvor lang tid en restore tager, og også hvad den koster, for hvis jeg først får brug for den, så er det fordi jeg er seriøst på spanden.
Crashplan har - syntes jeg - det suverænt bedste userinterface. Gennemskueligt og nemt at gå til.
Peter
- Kleth
- Platin Member
- Indlæg: 5290
- Tilmeldt: 27. mar 2013, 15:20
- Interesser: Jage,Skyde,Ammo&Historie
- Geografisk sted: Nordsjælland
- Has thanked: 971 times
- Been thanked: 725 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Nu havde jeg akut behov for at tage backup, så jeg tog det nærmeste og simpleste.
Crashplan på Linux har jeg tidligere måtte hacke lidt for at få GUI til at tale med daemon og med mindre mængder data har Crashplan været ret lang tid om at tage fuld backup.
Men givet; UI er godt og muligheden for at specificere QoS, inclusions, exclusions mv er fænomenalt.
Jeg skal ikke afvise at jeg går tilbage til Crashplan og lige nu er jeg i gang med at afsøge markedet for Linux cloud backup.
Så vidt jeg kan se, så giver Restic encryption kontrollen til mig, så uden Restic og min unikke nøgle kan filerne umiddelbart ikke dekrypteres af Backblaze eller andre i modsætning til at eks Crashplan har både private og public key til encryption.
Det har taget knapt to dage at uploade godt 300 Gigabytes, så båndbredden er god nok til mit forbrug på min linie.
Crashplan på Linux har jeg tidligere måtte hacke lidt for at få GUI til at tale med daemon og med mindre mængder data har Crashplan været ret lang tid om at tage fuld backup.
Men givet; UI er godt og muligheden for at specificere QoS, inclusions, exclusions mv er fænomenalt.
Jeg skal ikke afvise at jeg går tilbage til Crashplan og lige nu er jeg i gang med at afsøge markedet for Linux cloud backup.
Så vidt jeg kan se, så giver Restic encryption kontrollen til mig, så uden Restic og min unikke nøgle kan filerne umiddelbart ikke dekrypteres af Backblaze eller andre i modsætning til at eks Crashplan har både private og public key til encryption.
Det har taget knapt to dage at uploade godt 300 Gigabytes, så båndbredden er god nok til mit forbrug på min linie.
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”
- Kleth
- Platin Member
- Indlæg: 5290
- Tilmeldt: 27. mar 2013, 15:20
- Interesser: Jage,Skyde,Ammo&Historie
- Geografisk sted: Nordsjælland
- Has thanked: 971 times
- Been thanked: 725 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Jeg kiggede lige i logfilen i går aftes og de to processer jeg havde i gang med at tage backup til Backblaze B2, havde kørt med et gennemsnit på hhv 2,5Megabytes/sec og 2,10Megabytes/sec. Hvis jeg udelukkende omregner effektiviteten af de 2,5Mbytes/sec, er det en 80% udnyttelse af upload kapaciteten på min internetforbindelse, men den er nok højere da de to processer kørte i parallel i en del timer.Kleth skrev:Det har taget knapt to dage at uploade godt 300 Gigabytes, så båndbredden er god nok til mit forbrug på min linie.
Prisen burde være 1,5$/måned, 3$/måned med et snapshot og 6$ for en restore med de begrænsede mængder data jeg har.
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”
- Ingsorsi
- Gold Member
- Indlæg: 883
- Tilmeldt: 17. nov 2015, 20:49
- Interesser: Jagt
- Geografisk sted: Roskilde / København
- Has thanked: 215 times
- Been thanked: 153 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Jeg er netop i processen med at skifte fra duplicity backup til restic. Men jeg støder ind i nogle forskellige problemer med restic, som du måske har en løsning på:Kleth skrev: ↑5. jan 2018, 20:01Jeg ville forlænge mit Crashplan Home abonnement, men fandt ud af at det var udløbet og ikke kunne forlænges uden at tage et erhvervsabonnement til 120$ pro anno. De af jer som kører Linux, hvad bruger i til cloud backup?
Da jeg absolut SKAL have fortløbende backup, så registrerede jeg mig straks på Backblaze og skabte en B2 bucket, det minder ret meget om Amazon S3 eller Glacier. Først konfigurerede jeg Duplicity, men det var lidt omstændigt, i stedet downloadede og konfigurerede jeg Restic.
Restic: https://help.backblaze.com/hc/en-us/art ... c-on-Linux
Duplicity: https://help.backblaze.com/hc/en-us/art ... 5001518354 - Artiklen er yderst managelfuld, men Duplicity er et gammelt værktøj, så der er et stort udvalg af artikler som dækker alt det der ikke står i Backblaze' guide.
Nu skal jeg så bare vente på at få uploaded ~220Gb video og billeder og have lavet et script der kan køres fra anacron og laver incrementielle backups.
- Throughput på restic via SFTP er elendig over WAN. Jeg har testet det mellem to maskiner som hver er på 1000mbps forbindelser med 50ms latency imellem. Throughput ligger mellem 1-2 MB/s. Jeg kan se, at der i de allernyeste snapshots af restic er kommet support for rclone over SSH som skulle kunne forbedre performance over WAN. Men jeg kan stadig ikke få den langt over 5-20 MB/s.
- Til duplicity bruger jeg backupninja (https://www.0xacab.org/riseuplabs/backupninja) til at køre den egentlige backup og samtidig dumpe nødvendige databaser, m.m. Der er så vidt jeg kan se ikke nogen restic-handler til backupninja. Men findes der et lignende værktøj til at styre backuppen til restic? Jeg har ikke kunnet finde et.
- Restic kræver at der bliver kørt en masse forskellige kommandoer i den rigtige rækkefølge for at "maintaine" backuppen. Jeg ser typiske eksempler som "restic backup ; restic forget ; restic prune ; restic check". Det kræver så, at man laver et script som foretager backuppen, hvor man har bygget en masse forskellig logik ind i. Jeg savner eksempler på sådanne scripts. Det er nemlig ikke "bare" at køre ovenstående kommandoer i et statisk script, fordi så vil man nogle gange løbe ind i, at der er låse i ens repository, hvilket betyder at prune kommer til at fejle. Så skal man lave en listing af låsene, herefter en 'cat' af de enkelte låse for at sikre, at de ikke tilhører en kørende backup. Til sidst skal man så slette låsene ved at lave en "unlock". Hvordan løser du dette?
- Jeg har også nogle maskiner til at tage backup til backblaze, men hold da helt op, hvor er det langsomt. Bare det at lave list locks tager 5 sekunder. Jaja, jeg holder da nok til det, men det virker bare som lang tid. Når så selve backuppen kører tager det pænt stærkt dog idet throughput er fint. Men små operationer ser ud til at have en ret stor "set up time".
- Kleth
- Platin Member
- Indlæg: 5290
- Tilmeldt: 27. mar 2013, 15:20
- Interesser: Jage,Skyde,Ammo&Historie
- Geografisk sted: Nordsjælland
- Has thanked: 971 times
- Been thanked: 725 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Nu bruger jeg kun Restic og Backblaze til hjemmebackup, så det er noget begrænset hvad jeg kan hjælpe med, men jeg har noget tid til selvstudium i dag og måske i næste uge, så mellem at jeg sidder og lærer mig selv Python 3, kan det være at jeg har lidt tid til at kigge på det og komme med et par forslag.Ingsorsi skrev: ↑8. maj 2018, 12:47
Jeg er netop i processen med at skifte fra duplicity backup til restic. Men jeg støder ind i nogle forskellige problemer med restic, som du måske har en løsning på:
- Throughput på restic via SFTP er elendig over WAN. Jeg har testet det mellem to maskiner som hver er på 1000mbps forbindelser med 50ms latency imellem. Throughput ligger mellem 1-2 MB/s. Jeg kan se, at der i de allernyeste snapshots af restic er kommet support for rclone over SSH som skulle kunne forbedre performance over WAN. Men jeg kan stadig ikke få den langt over 5-20 MB/s.
- Til duplicity bruger jeg backupninja (https://www.0xacab.org/riseuplabs/backupninja) til at køre den egentlige backup og samtidig dumpe nødvendige databaser, m.m. Der er så vidt jeg kan se ikke nogen restic-handler til backupninja. Men findes der et lignende værktøj til at styre backuppen til restic? Jeg har ikke kunnet finde et.
- Restic kræver at der bliver kørt en masse forskellige kommandoer i den rigtige rækkefølge for at "maintaine" backuppen. Jeg ser typiske eksempler som "restic backup ; restic forget ; restic prune ; restic check". Det kræver så, at man laver et script som foretager backuppen, hvor man har bygget en masse forskellig logik ind i. Jeg savner eksempler på sådanne scripts. Det er nemlig ikke "bare" at køre ovenstående kommandoer i et statisk script, fordi så vil man nogle gange løbe ind i, at der er låse i ens repository, hvilket betyder at prune kommer til at fejle. Så skal man lave en listing af låsene, herefter en 'cat' af de enkelte låse for at sikre, at de ikke tilhører en kørende backup. Til sidst skal man så slette låsene ved at lave en "unlock". Hvordan løser du dette?
- Jeg har også nogle maskiner til at tage backup til backblaze, men hold da helt op, hvor er det langsomt. Bare det at lave list locks tager 5 sekunder. Jaja, jeg holder da nok til det, men det virker bare som lang tid. Når så selve backuppen kører tager det pænt stærkt dog idet throughput er fint. Men små operationer ser ud til at have en ret stor "set up time".
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”
-
- This member is
- Indlæg: 3140
- Tilmeldt: 25. jun 2015, 11:10
- Interesser: Våbenrelateret information
- Geografisk sted: Jylland
- Has thanked: 323 times
- Been thanked: 674 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Jeg kondolere
Kode: Vælg alt
Er det TAB?
Eller er det SPACE?
Whitespace til scope er en plage
Pycharms kan gøre det lidt mere udholdeligt, og har en fin debugger.
https://www.jetbrains.com/pycharm/
- Kleth
- Platin Member
- Indlæg: 5290
- Tilmeldt: 27. mar 2013, 15:20
- Interesser: Jage,Skyde,Ammo&Historie
- Geografisk sted: Nordsjælland
- Has thanked: 971 times
- Been thanked: 725 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Takker, jeg sidder allerde med PyCharm Community Edition - Den er hundrede gange smartere end MU-editoren som vi bruger til MicroBitReneKJ skrev: ↑9. maj 2018, 10:30Jeg kondolereKode: Vælg alt
Er det TAB? Eller er det SPACE? Whitespace til scope er en plage
Pycharms kan gøre det lidt mere udholdeligt, og har en fin debugger.
https://www.jetbrains.com/pycharm/
Strukturen af Python minder mig dog om Cobol85, men der er nogle smarte detaljer i forhold til C/C++ og Java, men jeg er stadig mest til Java selv om jeg ikke har kodet "for real" siden omkring 2004
Python er så en forudsætning for en del AI/Deep Learning/Predictive Analytics/Automation m.v. da der er nogle meget populære libraries til det, så det er næste skridt der er målet, ikke Python i sig selv
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”
- Wildlife
- Platin Member
- Indlæg: 1538
- Tilmeldt: 30. sep 2010, 19:09
- Interesser: Sejlads, Jagt & Fiskeri
- Geografisk sted: Skanderborg
- Has thanked: 393 times
- Been thanked: 333 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Bofhenator skrev: ↑6. jan 2018, 09:08Jeg er gammeldags...
Jeg bruger rsync/ssh til en dedikeret server hos en kammerat, han har en magen til stående hos mig. Naturligvis med krypterede partitioner.
Det lyder bekendt - Jeg bruger rdiff-backup via ssh til en lejet server hos Hetzner i Tyskland til at tage backup af mine filer hjemmefra, ca 1,5 TB lige pt.
Den hoster så samtidig mine private websites, og kører så en rdiff-backup den anden vej hjem med kopi af data fra den server.
Ovenstående er ret praktisk da hjemmeserveren begyndte at gøre nykker i aftes, så er det altså rart at vide at man har en 12 timer gammel backup af alting.
P.S. Rdiff-backup er nemt at gå til og kan varmt anbefales.
"Never underestimate the power of stupid people in large groups."
- Kleth
- Platin Member
- Indlæg: 5290
- Tilmeldt: 27. mar 2013, 15:20
- Interesser: Jage,Skyde,Ammo&Historie
- Geografisk sted: Nordsjælland
- Has thanked: 971 times
- Been thanked: 725 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
M.h.t. Restic og Backblaze B2
Det ser ikke rigtigt ud til at der er alternativer. "Borg" kunne være et alternativ, afhængigt af det kontekst som der skal tages backup fra.
https://blog.stickleback.dk/borg-or-restic/
https://medium.com/@pawitp/good-bye-bac ... 0e361ee576
Kommandoerne til Restic kan vel lægges i anacron/cron og ved hjælp af locks, kontrolleres at de ikke forsøger at køre samtidigt.
Det ser ikke rigtigt ud til at der er alternativer. "Borg" kunne være et alternativ, afhængigt af det kontekst som der skal tages backup fra.
https://blog.stickleback.dk/borg-or-restic/
https://medium.com/@pawitp/good-bye-bac ... 0e361ee576
Kommandoerne til Restic kan vel lægges i anacron/cron og ved hjælp af locks, kontrolleres at de ikke forsøger at køre samtidigt.
Kode: Vælg alt
lockdir=/tmp/backup.lock
if mkdir "$lockdir"
then # directory did not exist. Backup lock was created successfully
echo >&2 "backup.lock acquired successfully: $lockdir"
# continue script
else # failed to create directory, it might already exist
echo >&2 "cannot acquire backup lock $lockdir"
exit 0
fi
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”
- Ingsorsi
- Gold Member
- Indlæg: 883
- Tilmeldt: 17. nov 2015, 20:49
- Interesser: Jagt
- Geografisk sted: Roskilde / København
- Has thanked: 215 times
- Been thanked: 153 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Problemet skyldes ikke låsning på klientsiden, men i repository på serveren. Det er f.eks. muligt at der sker et eller andet med maskinen eller netforbindelsen undervejs som gør, at en kørende backup ikke afsluttes korrekt. I sådanne tilfælde vil repository stadig være låst og det er ikke trivielt at clear'e låsen på en måde der er både 1) programmatisk og 2) sikker.Kleth skrev: ↑15. maj 2018, 07:42M.h.t. Restic og Backblaze B2
Det ser ikke rigtigt ud til at der er alternativer. "Borg" kunne være et alternativ, afhængigt af det kontekst som der skal tages backup fra.
https://blog.stickleback.dk/borg-or-restic/
https://medium.com/@pawitp/good-bye-bac ... 0e361ee576
Kommandoerne til Restic kan vel lægges i anacron/cron og ved hjælp af locks, kontrolleres at de ikke forsøger at køre samtidigt.Kode: Vælg alt
lockdir=/tmp/backup.lock if mkdir "$lockdir" then # directory did not exist. Backup lock was created successfully echo >&2 "backup.lock acquired successfully: $lockdir" # continue script else # failed to create directory, it might already exist echo >&2 "cannot acquire backup lock $lockdir" exit 0 fi
Det behøver ikke være noget stort der skal til for at dette sker. Det kan være et kort udfald af wifi eller lign. som gør, at forbindelsen afbrydes.
Faktisk ser det ud til, at det nogle gange sker på B2 uanset om alt (i hvert fald i min ende) kører som det skal.
Når repo er låst, så virker maintenance kommandoer som prune og forget ikke. Og uden dem ender man med et enormt stort repository.
Er du ikke stødt ind i det problem? Du kører vel forget, prune og check på dine backups, ikke?
- Ingsorsi
- Gold Member
- Indlæg: 883
- Tilmeldt: 17. nov 2015, 20:49
- Interesser: Jagt
- Geografisk sted: Roskilde / København
- Has thanked: 215 times
- Been thanked: 153 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
HejKleth skrev: ↑5. jan 2018, 20:01Jeg ville forlænge mit Crashplan Home abonnement, men fandt ud af at det var udløbet og ikke kunne forlænges uden at tage et erhvervsabonnement til 120$ pro anno. De af jer som kører Linux, hvad bruger i til cloud backup?
Da jeg absolut SKAL have fortløbende backup, så registrerede jeg mig straks på Backblaze og skabte en B2 bucket, det minder ret meget om Amazon S3 eller Glacier. Først konfigurerede jeg Duplicity, men det var lidt omstændigt, i stedet downloadede og konfigurerede jeg Restic.
Restic: https://help.backblaze.com/hc/en-us/art ... c-on-Linux
Duplicity: https://help.backblaze.com/hc/en-us/art ... 5001518354 - Artiklen er yderst managelfuld, men Duplicity er et gammelt værktøj, så der er et stort udvalg af artikler som dækker alt det der ikke står i Backblaze' guide.
Nu skal jeg så bare vente på at få uploaded ~220Gb video og billeder og have lavet et script der kan køres fra anacron og laver incrementielle backups.
Nu har du kørt noget tid med løsningen. Hvad er dine erfaringer?
Har du prøvet at lave en recovery?
Har du nogle "lessons learned", du vil dele?