published on 18.11.2019

Bu yazı docker nedir, container nedir ve temel operasyonları ve volume yapılarına dair genel bir bilginiz olduğunu varsayıyor.

Bir sunucuda çalışan bir konteynerimiz olsun. Bu konteynere bağlı bir ya da birden fazla volume olsun. Konteynerı farklı bir sunucuya taşımak (migrate) istiyoruz ya da sadece veriyi yedeklemek istiyoruz. Konteyneri, imageden tekrar oluşturmak çok kolay, önemli olan veriyi nasıl taşıyacağımız, nasıl yedekleyeceğimiz. Aşağıda bunu örneklerle açıklamaya çalıştım.

Backup

Bir containerım <source> var, volume bağlı. Bu volumeleri yani datayı yedeklemek istiyorum. Direkt olarak volume’ü yedekleyemiyoruz. Geçici bir container üzerinden işlem yapıyoruz, bu containerın yapacakları

  • İlgili volumeleri mount etmek
  • Yedeklenecek dizinleri .tar haline getirmek
  • .tar dosyasını dışarıya atmak host makine üzerinde saklamak
docker run --rm --volumes-from <source> -v /root/backup/<source>:/backup alpine tar cf /backup/backup.tar /directory/we/want/to/backup

Yukarıdaki komut;

  • alpine image’i çalıştırarak bir container oluşturacak.
  • source container’ındaki tüm volumeleri aynı şekilde mount edecek.
  • host makine üzerinde /root/backup/source dizinini containerda /backup dizinine mount edecek.
  • containerda tar cf komutunu çalıştıracak ve yedeklenmek istenen dizini tarlayıp backup.tar dosyasını oluşturacak.

Bir örnek üzerinden süreci tane tane anlatalım. Önce boş bir volume ve oluşturalım.

docker volume create test

Volume için aşağıdaki dizin oluşacaktır ve içi boş olacaktır.

ls /var/lib/docker/volumes/test/_data

Oluşturduğumuz volume’ü kullarak yine test adında yeni bir container oluşturalım.

docker run -it --name test -v test:/test ubuntu /bin/bash

Test volume’ü /test dizinine mount edilmiş, test adında bir container ubuntu image’inden oluşturuldu ve /bin/bash çalıştırıldı. Bash ortamında artık container’ın içindeyiz. Aşağıdaki komutlarla test amaçlı oluşturduğumuz dizinde birkaç dosya oluşturalım.

cd /test
touch f1 f2 f3
exit

Container içerisinde /test dizininde f1, f2, f3 adlarında 3 boş dosya oluşturduk. Bu dosyaları host üzerinde mount ettiğimiz volume içerisinde görebiliriz.

ls /var/lib/docker/volumes/test/_data

Bu dosyaları yani container verisini, a.k.a volume, yedeklemek istiyoruz. Yedekleme işlemi için yeni bir container create edeceğiz. Bu konteynerin tek görevi yedeklemeyi yapmak, işimiz bitince sileceğiz.

  • Bu container’a ilgili volume mount edilecek.
  • Container, artık kendisine bağlanmış olan veri ile tar ball oluşturacak.
  • Amacını yerine getiren konteyner sistemden silinecek.
docker run --rm --volumes-from test -v /root/backup/test_data:/backup alpine tar cf /backup/backup.tar /test

Transfer

Eğer gerekiyorsa veriyi yedeklemek için oluşturduğumuz .tar dosyasını farklı bir host’a taşıyıp orada restore edebiliriz veya aynı hostta da restore edebiliriz.

sftp user@hostipaddress
put backup.tar
bye

Restore

Varsayalım ki test_restore adında bir volume oluşturup veriyi bu volume üzerine restore etmek istiyoruz. docker volume create test_restore

docker run --rm -v test_restore:/restore -v /root/backup/test_data/:/backup alpine tar xf /backup/backup.tar -C /restore

Yukarıdaki komutu adım adım açıklarsak:

  • alpine image’ini kullanarak bir container oluştur.
  • test_restore volume’ünü container üzerindeki /restore dizinine mount et.
  • host üzerindeki /root/backup/test_data dizinini, container üzerinde /backup dizinine mount et.
  • /backup/backup.tar dosyasını /restore dizinine extract et.
  • oluşturduğun containeri sil.

Kontrol amaçlı aşağıdaki dizine bakılabilir.

ls /var/lib/docker/volumes/test_restore/_data

Real Life Example

GitLab Image

Burada sadece birkaç kod paylaşarak bir konteyner için birden fazla directory veya volume olduğunda nasıl yapılacağını ele alacağım.

Backup Gitlab

docker run --rm --volumes-from gitlab -v /root/backup/gitlab/:/backup alpine tar cf /backup/backup.tar /var/log/gitlab /etc/gitlab /var/opt/gitlab

Restore Gitlab

docker run --rm -v gitlab_logs:/var/log/gitlab -v gitlab_config:/etc/gitlab -v gitlab_data:/var/opt/gitlab -v /root/backup/gitlab:/backup alpine tar xf /backup/backup.tar -C /

Grafana Image

Backup Grafana

docker run --rm --volumes-from grafana -v $(pwd):/backup alpine tar cf /backup/backup.tar /var/lib/grafana

Restore Grafana

docker volume create grafana
docker run --rm -v grafana:/var/lib/grafana -v $(pwd):/backup alpine tar xf /backup/backup.tar -C /
Published on 18.11.2019 by Mert Bakır with commit 4866d43.
dev-ops
#dev-ops #docker #linux
published on 10.07.2022

Previously, I’ve published a blog post about deploying static content on heroku with basic authentication. The main purpose was to get basic auth for a freely hosted static website. In that post, we hosted the source code on GitLab and configured a CI/CD pipeline to render the static content …

published on 28.05.2022

Each git commit has a field called Author which consists ‘user.name’ and ‘user.email’. We usually set these variables once, after installing git, with git config --global so that each repo gets the variables from the global definition. We can also set them locally for a …

published on 25.05.2022

In this post, I’ll first walk through hosting static content with basic authentication. Then, we’ll look into deploying to Heroku using GitLab Pipelines, more specifically deploying a certain sub-directory within the project instead of pushing the whole project. Also, I’ll share …

published on 17.04.2022
edited on 15.07.2022

Önceki bölümde, markdown formatını LaTeX formatına dönüştürmek için kullanılan Pandoc yazılımından bahsetmiştik. Şimdi konuyu bir adım daha ileri taşıyıp ve bookdown’a geçiyoruz. Bookdown; Rmarkdown kullanarak teknik dökümanlar, kitaplar yazabilmemizi sağlayan, Yihui Xie tarafından yazılmış …

published on 10.04.2022

I’ve been using WSL-2 on Windows for over a year. It’s very useful because some Python packages are just a headache to install on Windows. Also, docker. It’s just better on Linux. Yet, WSL-2 can also be problematic. I remember trying a dual-boot setup when things just went way too …

published on 03.03.2022

In this post, I’ll share how to install geopandas and some other gis related packages on Windows. If you are on Mac or Linux you can probably just pip install those without any issue. I usually had to do a google search every time I wanted to install these packages on Windows environment. Of …