Gitlab Runner на Raspberry Pi Zero W
Gitlab Runner - это программа, которая будет после каждого коммита в репозиторий производить определенные действия - запускать тесты, компилировать релиз, деплоить приложение и т.д. Gitlab Runner написан на Go, поэтому может запускаться на самом простом железе, например, на Raspberry Pi Zero W.
Бесплатный аккаунт Gitlab уже дает возможность запускать предустановленные раннеры беcплатно, но их использование ограниечено по времени и если вам нужно больше CI минут можно использовать свой собственный Gitlab Runner. В этом случае, вы получаете неограниченные возможности использования CI/CD.
В этой статье устновим Gitlab Runner на систему на Raspberry Pi Zero W, инсталлированную в предыдущем посте, настроим и зарегистрируем для использования с проектом на Gitlab.
Зарегистрируем gitlab репозиторий:
curl -L "https://packages.gitlab.com/install/repositories/runner/gitlab-runner/script.deb.sh" | sudo bash
Устанавливаем сам runner:
sudo apt-get install gitlab-runner
Создаем тестовый проект на gitlab.com. Заходим в насторойки в секцию CI/CD и копируем токен:
Регистрируем runner для использования в проекте:
sudo gitlab-runner register --url https://gitlab.com/ --registration-token iztXysgDwDvH8z2AV4sZ
Самый простой тип раннера - shell - его и выберем на последнем шаге.
Убедимся, что раннер работает:
sudo gitlab-runner verify
GitLab Runner готов к использованию. Добавляем в проект файл .gitlab.yml со следующим содержимым:
build:
script:
- echo "Building"
Если все настроено правильно после коммита, наш pipeline будет исполнен и вы увидите следующее:
Таким нехитрым способом можно автоматизировать большинство рутинных операций переложив на компьютер операции по запуску тестов, деплою приложений и т.д. и т.п.
Конечно, вышеприведенный пример раннера пока не делает ничего полезного - только выводит слово "Building", но это легко исправить, добавив команды типа "npm test", "composer test".
Больше информации по установке и использованию руннеров можно узнать из официальной документации gitlab.
Как установить Raspbian на Raspberry Pi Zero W
Время от времени бывает нужно по-быстрому залить Raspbian на Raspberry PI Zero W, так чтобы сразу можно было начать работать с системой.
Вот краткая инструкция как это сделать:
На локальном компьтере: (замените /dev/sdX, username, wlanname, wlanpassword, 192.168.0.155 на ваши)
# download image
wget https://downloads.raspberrypi.org/raspios_lite_armhf/images/raspios_lite_armhf-2021-05-28/2021-05-07-raspios-buster-armhf-lite.zip
# extract
unzup 2021-05-07-raspios-buster-armhf-lite.zip
# copy to device
sudo dd if=2021-05-07-raspios-buster-armhf-lite.img of=/dev/sdX bs=2M conv=fsync
# activate ssh
touch /media/username/boot/ssh
# update the wifi access credentials
cat > /media/username/rootfs/etc/wpa_supplicant/wpa_supplicant.conf << EOF
ctrl_interface=DIR=/var/run/wpa_supplicant GROUP=netdev
update_config=1
country=DE
network={
ssid="wlanname"
psk="wlanpassword"
key_mgmt=WPA-PSK
}
EOF
# setup static IP address
cat >> /media/username/rootfs/etc/dhcpcd.conf << EOF
interface wlan0
static ip_address=192.168.0.155/24
static routers=192.168.0.1
static domain_name_servers=192.168.0.1 8.8.8.8
EOF
# prevent warning locale not found
cat >> /media/username/rootfs/etc/environment << EOF
LC_ALL=C
LANG=en
LANGUAGE=en
EOF
Вставляем карточку в устройство, и подаем питание.
Если все прошло успешно то в сети появится новое устройство.
Заходим на устройстов по ssh: pi@192.168.0.155, пароль по умолчанию: "raspberry".
# expand filesystem on SD card
sudo raspi-config --expand-rootfs
# reboot
sudo reboot now
# after reboot login again and
# upgrade the system
sudo apt-get update
sudo apt-get upgrade -y
После вышеперечисленных шагов у вас будет рабочая система с Linux с которой можно работать.
Важно использовать правильный кардридер и правильную SD карту. Я потратил немало времени прежде чем обнаружил, что встроенный в ноутбук кардридер, почему то, хорошо читает карточки но совершенно не умеет записывать - то ли не хватает напряжения, то ли проблема в драйверах. После перехода на внешний кардридер, все встало на свои места.
Другой проблемой было то, что все SD карты, купленные в России, мне пришлось выбросить - они работают крайне ненадежно. Вроде пишутся штатно, но система на них не хочет работать - либо вообще не грузится, либо происходит ошибка в процессе обновления системы, по какой-то загадочной причине, некоторые файлы записанные в процессе обновления впоследствие оказываются повреждены и обновление завершается с ошибкой. Карты SamDisk, купленные на немецом Amazon работают вполне стабильно.
Мониторинг серверов c Grafana и Influxdb
Есть меня несколько серверов которые бы мне хотелось постоянно мониторить на предмет оперативной памяти, диского пространства и т.п. Хотя сами сервера расположены в разных местах все они объединены между собой по openvpn. Для того чтобы решить задачку мой выбор пал на связку influxdb+grafana.
Influxdb это так называемая timeseries база данных, в которой мы можем хранить данные которые изменяются во времени. Grafana - это универсальный UI который удобно использовать для визуального представления таких данных. InfuxDB и Grafana поднимаются на при помощи docker-compose. К при этом для того, чтобы послать данные состояния сервера используется баш скрипт который периодически запускается через cron и при помощи curl посылает данные на сервер
Таким образом я всегда могу видеть состояние того или иного сервера. Все системы будем подымать в докере для этого достаточно склонировать репозиторий с docker-compose который содержит в себе 3 образа - influxdb, grafana и chronograph.
git clone git@github.com:maxistar/docker-compose-influxdb-grafana.git
cd docker-compose-influxdb-grafana
git checkout influx1_8
docker-compose up -d
Influxdb версии 2.x требует авторизации и поэтому я использовал версию 1.8. Исправленный docker-compose.yaml живет в ветке influx1_8 где я использую именно эту версию, возможно в будущем разберусь как использовать и последнюю версию.
После того как InfluxDB и Grafana запущены, на сервере, который будем мониторить, создаем bash скрипт (script.sh).
#!/bin/bash
dbName="db0"
stat=`free | awk -v RS="" '{print "memory,host=acentauri used=" $9 "\nmemory,host=acentauri total=" $8 "\nmemory,host=acentauri swap=" $15 "\nmemory,host=acentauri swapused=" $16}'`
curl -s -i -XPOST "http://10.8.0.100:8086/write?db=db0" \
--data-binary "$stat"
делаем файл исполнимым и добавляем команду для запуска скрипта в cron:
chmod +x script.sh
contab -e
в открывшимся файле добавляем следующую строчку:
* * * * * /home/maxim/infrastructure/utils/memusage/script.sh
После того как данные начали посылаться на сервере настраиваем dashboard и наслаждаемся.
После того как начал мониторить состояние asterisk сервера он волшебным образом перестал зависать! Возможно его зависания были связаны с тем что зависает wifi модуль и я его перестаю видеть по сети.
OpenVPN
Много лет использую OpenVPN. Прекрасная штука. Пока я жил в России при помощи нее можно было обходить блокировки Роскомпозора, она также позволяла мне подключаться к умному зеркалу в машине и видеть, что творится вокруг, сейчас же я использую OpenVPN чтобы подключаться к домашнему серверу в России на котором хранится фотоархив и крутится Gitlab с личными проектами.
Но вот вчера, привычно зайдя на сервер я не смог к нему присоединиться. Сначала подумал, что проблема с домашним сервером, однако потом обнаружил что я также не могу подсоединиться к VPN ни с одного из устройств.
Оказалось, что по-умолчанию opnvpn создает сертификаты действительные десять лет. Через десять лет сертификат нужно продлевать. Это несложно сделать если у вас все еще есть доступ к серверу, можно просто создать новый сертификат и залить его на все ваши клиенты. Если же доступа у вас нет то, воспользоваться старыми ключами уже на получится.
Порекомендовали попробовать откатить время на сервере на несколько дней назад, но это не помогло. Дело в том, что ca.crt также копируется на клиент а он тоже истек.
Единственным рабочим способом подключиться к серверу с истекшими сертификатами оказалось подключение когда и на сервере и на клиенте время было переведено назад, но такой способ мне не годится - у меня нет физического доступа к серверу.
Проверить когда истечет ваш сертификат openvpn можно слeдующей командой:
openssl x509 -in ca.crt -dates -noout
Так что будет мне хороший урок - нужно следить на валидностью сертификатов и вовремя их обновлять!
