published on 18.11.2019

Başlamadan önce belirtmem gerekir ki bu yazı genel olarak docker nedir, container nedir ve temel operasyonları ve volume yapılarını bildiğinizi varsayıyor.

Bir sunucuda çalışan bir konteynerimiz olsun. Bu konteynere bağlı bir ya da birden fazla volume olsun. Konteynerı farklı bir sunucuya taşımak (migrate) istiyoruz ya da sadece veriyi yedeklemek istiyoruz. Konteyneri, imageden tekrar oluşturmak çok kolay, önemli olan veriyi nasıl taşıyacağımız, nasıl yedekleyeceğimiz. Aşağıda bunu örneklerle açıklamaya çalıştım.

Backup

Bir containerım <source> var, volume bağlı. Bu volumeleri yani datayı yedeklemek istiyorum. Direkt olarak volume’ü yedekleyemiyoruz. Geçici bir container üzerinden işlem yapıyoruz, bu containerın yapacakları

  • İlgili volumeleri mount etmek
  • Yedeklenecek dizinleri .tar haline getirmek
  • .tar dosyasını dışarıya atmak host makine üzerinde saklamak
1
docker run --rm --volumes-from <source> -v /root/backup/<source>:/backup alpine tar cf /backup/backup.tar /directory/we/want/to/backup

Yukarıdaki komut;

  • alpine image’i çalıştırarak bir container oluşturacak.
  • source container’ındaki tüm volumeleri aynı şekilde mount edecek.
  • host makine üzerinde /root/backup/source dizinini containerda /backup dizinine mount edecek.
  • containerda tar cf komutunu çalıştıracak ve yedeklenmek istenen dizini tarlayıp backup.tar dosyasını oluşturacak.

Backup Example

Bir örnek üzerinden süreci tane tane anlatalım.

Önce boş bir volume ve oluşturalım.

1
docker volume create test

Volume için aşağıdaki dizin oluşacaktır ve içi boş olacaktır.

1
ls /var/lib/docker/volumes/test/_data

Oluşturduğumuz volume’ü kullarak yine test adında yeni bir container oluşturalım.

1
docker run -it --name test -v test:/test ubuntu /bin/bash

Test volume’ü /test dizinine mount edilmiş, test adında bir container ubuntu image’inden oluşturuldu ve /bin/bash çalıştırıldı. Bash ortamında artık container’ın içindeyiz. Aşağıdaki komutlarla test amaçlı oluşturduğumuz dizinde birkaç dosya oluşturalım.

1
2
3
cd /test
touch korkma sonmez bu safaklarda yuzen al sancak
exit

Container içerisinde /test dizininde 7 tane test dosyası olusturduk. Bu dosyaları host üzerinde mount ettiğimiz volume içerisinde görebiliriz.

1
ls /var/lib/docker/volumes/test/_data

Bu dosyaları yani container verisini, volume’ü, yedeklemek istiyoruz. Sadece yedekleme işlemi yapmak için yeni bir container create edeceğiz. Bu container’a ilgili volume mount edilecek. Container, artık kendisine bağlanmış olan veri ile tar ball oluşturacak. Amacını yerine getiren container sistemden silinecek, dispose edilecek.

1
docker run --rm --volumes-from test -v /root/backup/test_data:/backup alpine tar cf /backup/backup.tar /test

Transfer

Eğer gerekiyorsa veriyi yedeklemek için oluşturduğumuz .tar dosyasını farklı bir host’a taşıyıp orada restore edebiliriz veya aynı hostta da restore edebiliriz.

1
2
3
sftp user@hostipaddress
put backup.tar
bye

Restore

Varsayalım ki test_restore adında bir volume oluşturup veriyi bu volume üzerine restore etmek istiyoruz. docker volume create test_restore

1
docker run --rm -v test_restore:/restore -v /root/backup/test_data/:/backup alpine tar xf /backup/backup.tar -C /restore

Yukarıdaki komutu adım adım açıklarsak:

  • alpine image’ini kullanarak bir container oluştur.
  • test_restore volume’ünü container üzerindeki /restore dizinine mount et.
  • host üzerindeki /root/backup/test_data dizinini, container üzerinde /backup dizinine mount et.
  • /backup/backup.tar dosyasını /restore dizinine extract et.
  • oluşturduğun containeri sil.

Kontrol amaçlı aşağıdaki dizine bakılabilir.

1
ls /var/lib/docker/volumes/test_restore/_data

Real Life Example Gitlab

Burada sadece birkaç kod paylaşarak bir konteyner için birden fazla directory veya volume olduğunda nasıl yapılacağını ele alacağım.

Backup Gitlab

1
docker run --rm --volumes-from gitlab -v /root/backup/gitlab/:/backup alpine tar cf /backup/backup.tar /var/log/gitlab /etc/gitlab /var/opt/gitlab

Restore Gitlab

1
docker run --rm -v gitlab_logs:/var/log/gitlab -v gitlab_config:/etc/gitlab -v gitlab_data:/var/opt/gitlab -v /root/backup/gitlab:/backup alpine tar xf /backup/backup.tar -C /

Real Life Example Grafana

Backup Grafana

1
docker run --rm --volumes-from grafana -v $(pwd):/backup alpine tar cf /backup/backup.tar /var/lib/grafana

Restore Grafana

1
2
docker volume create grafana
docker run --rm -v grafana:/var/lib/grafana -v $(pwd):/backup alpine tar xf /backup/backup.tar -C /
Published on 18.11.2019 by Mert Bakır with commit 7858b9b.
linux
#containers #docker #linux
published on 09.09.2020
edited on 23.01.2021

In this post, I’ll explain a very simple yet useful concept. I’m using Docker to manage a couple of containers in a few servers without using any management software since the environment isn’t big and complicated. Creating the containers for once is easy, it requires only a single …

published on 01.05.2020
edited on 19.01.2021

Containerlar ephemeral stroge kullanırlar. Yani container öldüğünde içindeki datada onunla birlikte yok olur gider. Bu yüzden, persistent volume‘ler kullanılır. Kalıcı olmasını istediğimiz datayı, containerın dışında tutarız. Ben, belli aralıklar ile bu volume’ü yedeklemek istiyorum. …

published on 20.11.2019

Fonksiyonlar, bölümünde argümanlardan kısaca bahsetmiştik. Peki, ya argümanı direkt scriptin dışından userdan ya da farklı bir programdan almamız gerekiyorsa ne yapacağız? Yine fonksiyona argüman gönderir gibi scripte argüman gönderebiliriz. […] 1 ./foobar.sh "foo" "bar" …

published on 19.11.2019

Her dilde kullandığımız, tekrara düşmemek adına kullanılan en temel yapı. Fonksiyonlar, bash scriptinde aşağıdaki örnekteki gibi tanımlanabilir. function anahtar sözcüğü ardından fonksiyon adı verilir ve küme parantezi içerisinde fonksiyon tanımlanır. […] 1 2 3 4 #!/bin/bash function …

published on 24.01.2021
edited on 11.06.2021

Some time ago, I wanted to display image galleries on my Hugo website and searched for Hugo themes for photography and gallery. I can’t say I find much. Then, I met with a javascript library called nanogallery2 which is using another javascript library as an image viewer lightbox2. In this …

published on 23.01.2021
edited on 11.06.2021

Image processing may seem complicated at first but it’s actually easy and definitely worth implementing since it’ll help you decrease page load times. As you probably know, we don’t want to load raw images with huge sizes for small thumbnails or blog-posts. We want to load a small …

published on 31.12.2020
edited on 26.06.2021

I’ve, recently, published a blog post called Perfect Workflow for Publishing Python Notebooks. I talked about some of the benefits of using Rmarkdown and reticulate. In this post, I’ll try HTML widgets and explain how we can embed those in our blog post using nothing but R. […] 1 …

published on 05.12.2020

Resume A4 is a side project of mine. It’s one page Hugo Theme that allows you to write your resume in YAML format and keep track of it using git. Also, you can publish it online as a static site using GitLab, GitHub Pages, Netlify, or some other service you are familiar with. A few months …

published on 30.11.2020

I’ve been searching for a good workflow for publishing Jupyter or RMarkdown Notebooks as static blog posts. I think I’ve found the optimal solution for my use case. In this post, I’ll explain my workflow and why chose this way with examples. […] In reality my main purpose to …

published on 29.11.2020
edited on 05.12.2020

Plotly is a visualization library that allows us to write code in Python, R, or Julia and generates interactive graphs using Javascript. So, we don’t have to deal with Javascript. You can checkout Plotly gallery, there are interesting works. Anyway, last week, I’ve started learning …