Gitlab CI для Rust (и не только)

Для установки Docker выполним следующую команду, которая добавит репозиторий Docker и уставит из него само приложение:

  $ curl -fsSL https://get.docker.com/ | sh

Запустим демон docker:

  $ sudo systemctl start docker
  $ sudo systemctl enable docker

Если нужна возможность запускать Docker для обычного пользователя, нужно добавить его в группу docker:

  $ sudo usermod -aG docker nameless

В основе технологии Docker лежит понятие образа (image). Образ — это упорядоченная коллекция доступных только для чтения слоёв, которые представляют собой изменения файловой системы. Эти слои накладываются друг на друга и формируют основу файловой системы контейнера. Образ не хранит какого-либо состояния и не может быть изменён.

Docker позволяет легко создавать новые образы на основе старых. Для их централизованного хранения существует Docker Hub — регистр образов Docker (существует возможность создавать свои регистры). Каждый образ имеет свой уникальный идентификатор, который имеет формат [username/]image[:tag]:

username

опциональное имя пользователя, которому принадлежит образ; если это имя опущено, то мы имеем дело с официальным образом, т.е. с образом, который поддерживается самой компанией Docker;

image

название образа, например, centos, ubuntu, ruby;

tag

опциональный тег, используемый для обозначения нескольких версий одного и того же образа; отсутствующий тег означает, что мы работаем с тегом latest; кроме того, несколько тегов могут указывать на один образ.

Контейнер (container) — это запущенный экземпляр образа. Контейнер добавляет тонкий доступный для записи слой поверх слоёв образа. Все изменения, сделанные в запущенном контейнере (например, создание, редактирование и удаления файлов), записываются в этот слой.

Для управления образами и контейнерами предназначена утилита docker. Скачаем из регистра официальный образ ubuntu версии 16.04:

  $ docker pull ubuntu:16.04

Теперь запустим контейнер на основе этого образа:

  $ docker run --name hello ubuntu:16.04 echo Hello world
  Hello world

Рассмотрим эту команду подробнее. Сначала мы указываем имя (--name hello) контейнера (это делать не обязательно, каждому контейнеру соответствует уникальный идентификатор, который можно использовать для того, чтобы ссылаться на контейнер). Затем мы указываем образ (ubuntu:16.04), в конце — команду, которую нужно выполнить (echo Hello world).

Каждый контейнер хранит свой доступный для записи слой, и все изменения сохраняются в этом слое; это позволяет нескольким контейнерам разделять доступ к одному и тому же образу. Запустим ещё один контейнер на основе ubuntu:16.04 и назовём его write-hello:

  $ docker run --name write-hello ubuntu:16.04 \
      /bin/bash -c "echo Hello world > hello.txt"

В отличие от контейнера hello, контейнер write-hello создаёт новый файл (hello.txt). Т.к. изменения хранятся в самом контейнере, образ остаётся без изменения: если мы запустим новый контейнер на основе ubuntu.16.04, то не обнаружим там файла hello.txt. Тем не менее, мы можем зафиксировать изменения в контейнере, превратив их в неизменяемый слой для нового образа с помощь команды docker commit:

  $ docker commit -m "Add hello.txt" write-hello smaximov/ubuntu:16.04-hello.txt
  6b1e7c377bddfefcbf67490a7a3c697668027ba30ef80ba152305b3627e72021

Мы создали образ smaximov/ubuntu:16.04-hello.txt на основе контейнера write-hello. Он использует слои из образа ubuntu:16.04 и добавляет к ним слой из контейнера write-hello. Запустим контейнер на основе нового образа и убедимся, что в нём присутствует файл hello.txt:

  $ docker run --name read-hello smaximov/ubuntu:16.04-hello.txt cat hello.txt
  Hello world

У данного подхода есть недостатки: неудобно каждый раз вручную вносить изменения в образы, чтобы получить новый образ. К счастью, можно создавать новые образы на основе декларативных описаний, которые хранятся в файле Dockerfile. Приведём пример Dockerfile, который создаёт образ, аналогичный образу, который мы создали вручную:

  # Образ, на основе которого мы создаём новый образ
  FROM ubuntu:16.04

  # Команда, выполняемая в контейнере
  RUN echo Hello world > hello.txt

Для сборки образа из Dockerfile используется команда docker build, которой указывается путь к Dockerfile:

  $ docker build --tag smaximov/ubuntu:16.04-dockerfile .
  Sending build context to Docker daemon 2.048 kB
  Step 1 : FROM ubuntu:16.04
   ---> 8af37f0d4b22
  Step 2 : RUN echo Hello world > hello.txt
   ---> Running in 6cef2bb43894
   ---> 586f80e3f3f7
  Removing intermediate container 6cef2bb43894
  Successfully built 586f80e3f3f7

Проверим, что новый образ содержит hello.txt:

  $ docker run smaximov/ubuntu:16.04-dockerfile cat hello.txt
  Hello world

Теперь приступим к образам для языка Rust. Мы хотим тестировать приложения с помощью нескольких версий компилятора rustc: stable, beta и nightly. Нам нужно иметь возможность переключаться между разными версиями компилятора; для этого существует multirust — менеджер инсталляций Rust.

Создадим базовый образ multirust.

  FROM ubuntu:latest
  MAINTAINER smaximov <s.b.maximov@gmail.com>

  # Install dependencies
  RUN apt-get update && apt-get install -y \
      build-essential \
      curl \
      git

  # Add Rust signing key
  RUN gpg --keyserver hkp://keys.gnupg.net --recv-keys 7B3B09DC

  # Install multirust
  RUN cd /tmp && \
      git clone --recursive https://github.com/brson/multirust && \
      cd multirust && \
      git submodule update --init && \
      ./build.sh && \
      ./install.sh

  # Set default user
  USER root

Образ будет называться smaximov/multirust. Вспомогательный Makefile:

  USER=smaximov
  NAME=multirust
  TAG=latest

  IMAGE=${USER}/${NAME}:${TAG}

  help:
          @echo "Build multirust image."
          @echo
          @echo "Usage:"
          @echo "  make [help]        - display this message"
          @echo "  make image         - build multirust image"
          @echo "  make push          - push built image to the registry"

  image:
          docker build --tag ${IMAGE} .

  push:
          docker push ${IMAGE}

  .PHONY: help image push

Соберём образ и отправим его в регистр (процесс регистрации на Docker Hub я описывать не буду, он тривиален):

  $ make images && make push
  [... build output ...]

Теперь наш образ multirust доступен всем! Мы уже можем использовать его для тестирования проектов с различными версиями Rust. Для этого нужно в контейнере, запущенном из этого образа, установить и активировать средствами multirust необходимую версию компилятора, после чего можно запускать сборку и тестирование проекта.

Однако, будет неэффективно для каждой сборки скачивать и устанавливать несколько версий компилятора, поэтому создадим образы stable, beta и nightly с предустановленными версиями Rust:

  FROM smaximov/multirust:latest

  # Pass a channel (i.e., stable, beta, nightly)
  # as in `$ docker build --build-arg channel=stable ...`.
  ARG channel=none

  # Pick a rust from specified channel
  RUN multirust update $channel
  RUN multirust default $channel

Данный Dockerfile позволяет создавать несколько образов. При сборке образа можно передать параметр (который мы определили с помощью директивы ARG) channel, который указывает, какая версия компилятора будет установлена. Например, мы можем собрать образ с nightly-версией Rust с помощью команды docker build --build-arg channel=nightly ..

Образ будет называться smaximov/rust. Всмопогательный Makefile:

  USER=smaximov
  NAME=rust
  CHANNEL=${TOOLCHAIN}

  help:
          @echo "Build rust image."
          @echo
          @echo "Usage:"
          @echo "    make [help]                      - show this message"
          @echo "    make images                      - build beta, stable, and nightly rust"
          @echo "    make push                        - push built images to the registry"
          @echo "    make (beta | stable | nightly)   - build image for specific rust channel"
          @echo "    make TOOLCHAIN=<toolchain> build - build image for specific rust toolchain"

  images: beta stable nightly

  stable:
          make TOOLCHAIN=stable build

  beta:
          make TOOLCHAIN=beta build

  nightly:
          make TOOLCHAIN=nightly build

  build:
          docker build --tag "${USER}/${NAME}:${CHANNEL}" \
                  --build-arg channel=${CHANNEL} .
  push:
          docker push "${USER}/${NAME}"

  .PHONY: images help stable beta nightly build push

Создадим stable-, beta- и nightly-образы (с соответствующими тегами) и отправим их в регистр:

  $ make images && make push
  [... build output ...]