Долгое время не давало покоя навязчивое желание реализовать автоматическое распознавание своих голосовых заметок.

На мобильнике у меня стоит диктофон, куда я время от времени наговариваю голосовые заметки. Заметки эти чаще всего так и остаются в виде файлов и остаются лежать мертвым грузом. Лишь изредка я их преобразую в текст и куда нибудь сохраняю. Как было бы здорово если бы распознавание заметок происходило автоматически без моего вмешательства!

Но ведь яж компьютерщик! Сегодня, наконец, удалось завершить начатое и автоматизировать процесс!

Записанные заметки я синхронизирую при помощи Syncthing на свой маленький домашний сервер. На сервере небольшой bash скрипт по crontab каждые десять минут проверяет не появился ли новый wav файл из диктофона и, если появился, скармливает его системе распознавания Kaldi. Полученный текстовый файл сохраняется на диске и пересылается на мою электронную почту.

Решение не требует никаких внешних API типа Google или Яндекса - все происходит в оффлайне. Правда, из-за этого, решение достаточно объемное - языковая модель весит около гигабайта и ещё примерно столько же - сама система распознавания. Работает, однако, решение достаточно надёжно. Пока поддерживается только русский язык, но вполне возможно научить распознавать и другие языки.

Кстати, русская языковая модель больше не доступна на сайте разработчика. У меня сохранился старый архив, если кому-нибудь будет нужна - дайте знать, - поделюсь.

Эксперимент по запуску Bitcoin Core на Raspberry Pi завершился неудачей. Несмотря на то, что клиент удалось скомпилировать из исходников, запустить и даже, путем копирования файлов с другой машины увидеть текущий баланс кошелька, по факту, быстродействия устройства не хватает даже для того чтобы поддерживать локальное состояние актуальным. Возможно, если перенести хранилище в оперативную память и подкрутить настройки, то получится его все-же использовать, но, оказалось, есть вариант проще.

Существует легковесный клиент Electrum! Сам клиент написан на Питоне и его инсталляция не представляет проблем.

У меня сработали следующие команды:

# install all needed packages:

sudo apt-get install python3-pyqt5 python3-setuptools python3-pip libsecp256k1-0 python3-cryptography

# download client
wget https://download.electrum.org/4.2.2/Electrum-4.2.2.tar.gz

# install client with pip
python3 -m pip install --user Electrum-4.2.2.tar.gz

# create startup link
sudo ln -s ~/.local/bin/electrum /usr/local/bin/electrum

# start the client
electrum

Если все прошло успешно программа попросит создать кошелек по умолчанию, создаст сид и попросит ввести пароль чтобы зашифровать кошелек.

Вот и все, можно пользоваться! Физически мы создали аппаратный биткойн кошелек, имеющий размер в половину визитной карточки, а если вытащить SD карту, которая, по факту и является аппаратным кошельком, то еще меньше!

Сегодня, наконец, получилось скомпилировать и запустить клиент Bitcoin Core на Raspberry PI Zero W.

Есть у меня идея сделать подобие аппаратного кошелька, который будет умещаться на SD карте и запускаться на устройстве ценой десять евро. Raspberry PI Zero W для этого подходит как нельзя лучше. Проблема только в том что самая дешевая малинка использует не очень ходовой процессор и скомпилированное приложение на него не поставишь, по крайней мере я такого не нашел. Не беда, можно скомпилировать самим из исходников.

У меня получились такие команды:

# install all needed packages:

sudo apt-get install build-essential libtool autotools-dev automake pkg-config bsdmainutils python3

sudo apt-get install libevent-dev libboost-system-dev libboost-filesystem-dev libboost-test-dev libboost-thread-dev

sudo apt-get install libqt5gui5 libqt5core5a libqt5dbus5 qttools5-dev qttools5-dev-tools

#install modules for gui compilation

sudo apt-get install libqt5gui5 libqt5core5a libqt5dbus5 qttools5-dev qttools5-dev-tools

sudo apt-get install libzmq3-dev

# download sources 

wget https://bitcoin.org/bin/bitcoin-core-0.20.1/bitcoin-0.20.1.tar.gz 

tar xvf bitcoin-0.20.1.tar.gz cd bitcoin-0.20.1 

# compile Berkley DB 

./contrib/install_db4.sh `pwd` 

export BDB_PREFIX='/home/pi/bitcoin-0.20.1/db4' 

./autogen.sh 

./configure --prefix=/usr/local --enable-cxx CXXFLAGS="--param ggc-min-expand=1 --param ggc-min-heapsize=32768" ./configure --enable-cxx CXXFLAGS="--param ggc-min-expand=1 --param ggc-min-heapsize=32768" BDB_LIBS="-L${BDB_PREFIX}/lib -ldb_cxx-4.8" BDB_CFLAGS="-I${BDB_PREFIX}/include" --with-boost-libdir=/usr/lib/arm-linux-gnueabihf 

make 

sudo make install

Сама компиляция заняла около суток. Я лишь время от времени подсоединялся к устройству и смотрел что там происходит. Процесс несклько раз прерывался из-за разных причин - то не хватало памяти, то необходимых библиотек. В конце концов удалось получить работоспособное приложение.

Осталось прокачать через устройство все транзакции - этот процесс и на нормальном компьютере занимает долгое время так, сколько это займет времени на этом миниатюром устройстве я боюсь себе даже представить...

На фоне происходящих событий, пользователи в России стали массово переходить на VPN. Это привело к тому, что пропускной способности бесплатных сервисов стало не хватать и как следствие бесплатными сервисами пользоваться стало почти невозможно. Платные сервисы работают побыстрее, однако популярные централизованные сервисы VPN в России сами стали жертвами блокировок, поэтому пользователи рискуют, что приобретя подписку на один из таких сервисов, пользоваться им через некоторое время станет невозможно.

Выходом из этой ситуации может стать собственный VPN установленный на сервере за пределами России. Заблокировать такой сервер значительно труднее. Я уже долгое время использую OpenVPN, который до сих пор хорошо справлялся с возложенными на него задачами.

Вот здесь я писал как настроить OpenVPN на любом дешевом VDS с root правами.

Вот здесь есть более продвинутая инструкция для пользователей, предпочитающих более подробно разобраться в вопросе (на английском)

Раздумываю, не написать ли свою инструкцию по настройке  OpenVPN сервера, ориентированную на российских пользователей? Пожалуйста дайте знать будет ли кому-либо интересна подобная инструкция?

Gitlab Runner - это программа, которая будет после каждого коммита в репозиторий производить определенные действия - запускать тесты, компилировать релиз, деплоить приложение и т.д. Gitlab Runner написан на Go, поэтому может запускаться на самом простом железе, например, на Raspberry Pi Zero W.

Бесплатный аккаунт Gitlab уже дает возможность запускать предустановленные раннеры беcплатно, но их использование ограниечено по времени и если вам нужно больше CI минут можно использовать свой собственный Gitlab Runner. В этом случае, вы получаете неограниченные возможности использования CI/CD.

В этой статье устновим Gitlab Runner на систему на Raspberry Pi Zero W, инсталлированную в предыдущем посте, настроим и зарегистрируем для использования с проектом на Gitlab.

Зарегистрируем gitlab репозиторий:

curl -L "https://packages.gitlab.com/install/repositories/runner/gitlab-runner/script.deb.sh" | sudo bash

Устанавливаем сам runner:

sudo apt-get install gitlab-runner

Создаем тестовый проект на gitlab.com. Заходим в насторойки в секцию CI/CD и копируем токен:

Регистрируем runner для использования в проекте:

sudo gitlab-runner register --url https://gitlab.com/ --registration-token iztXysgDwDvH8z2AV4sZ

Самый простой тип раннера - shell - его и выберем на последнем шаге.

Убедимся, что раннер работает:

sudo gitlab-runner verify

GitLab Runner готов к использованию. Добавляем в проект файл .gitlab.yml со следующим содержимым:

build:
  script:
    - echo "Building"

Если все настроено правильно после коммита, наш pipeline будет исполнен и вы увидите следующее:

Таким нехитрым способом можно автоматизировать большинство рутинных операций переложив на компьютер операции по запуску тестов, деплою приложений и т.д. и т.п.

Конечно, вышеприведенный пример раннера пока не делает ничего полезного - только выводит слово "Building", но это легко исправить, добавив команды типа "npm test", "composer test".

Больше информации по установке и использованию руннеров можно узнать из официальной документации gitlab.

Время от времени бывает нужно по-быстрому залить Raspbian на Raspberry PI Zero W, так чтобы сразу можно было начать работать с системой.

Вот краткая инструкция как это сделать:

На локальном компьтере: (замените /dev/sdX, username, wlanname, wlanpassword, 192.168.0.155 на ваши)

# download image
wget https://downloads.raspberrypi.org/raspios_lite_armhf/images/raspios_lite_armhf-2021-05-28/2021-05-07-raspios-buster-armhf-lite.zip

# extract
unzup 2021-05-07-raspios-buster-armhf-lite.zip

# copy to device
sudo dd if=2021-05-07-raspios-buster-armhf-lite.img of=/dev/sdX bs=2M conv=fsync

# activate ssh
touch /media/username/boot/ssh

# update the wifi access credentials
cat > /media/username/rootfs/etc/wpa_supplicant/wpa_supplicant.conf << EOF
ctrl_interface=DIR=/var/run/wpa_supplicant GROUP=netdev
update_config=1
country=DE
network={
        ssid="wlanname"
        psk="wlanpassword"
        key_mgmt=WPA-PSK
}
EOF

# setup static IP address
cat >> /media/username/rootfs/etc/dhcpcd.conf << EOF
interface wlan0
static ip_address=192.168.0.155/24
static routers=192.168.0.1
static domain_name_servers=192.168.0.1 8.8.8.8
EOF

# prevent warning locale not found
cat >> /media/username/rootfs/etc/environment << EOF
LC_ALL=C
LANG=en
LANGUAGE=en
EOF

Вставляем карточку в устройство, и подаем питание.

Если все прошло успешно то в сети появится новое устройство.

Заходим на устройстов по ssh: pi@192.168.0.155, пароль по умолчанию: "raspberry".

    
# expand filesystem on SD card
sudo raspi-config --expand-rootfs

# reboot
sudo reboot now

# after reboot login again and
# upgrade the system
sudo apt-get update
sudo apt-get upgrade -y        
    

После вышеперечисленных шагов у вас будет рабочая система с Linux с которой можно работать.

Важно использовать правильный кардридер и правильную SD карту. Я потратил немало времени прежде чем обнаружил, что встроенный в ноутбук кардридер, почему то, хорошо читает карточки но совершенно не умеет записывать - то ли не хватает напряжения, то ли проблема в драйверах. После перехода на внешний кардридер, все встало на свои места. 

Другой проблемой было то, что все SD карты, купленные в России, мне пришлось выбросить - они работают крайне ненадежно. Вроде пишутся штатно, но система на них не хочет работать - либо вообще не грузится, либо происходит ошибка в процессе обновления системы, по какой-то загадочной причине, некоторые файлы записанные в процессе обновления впоследствие оказываются повреждены и обновление завершается с ошибкой. Карты SamDisk, купленные на немецом Amazon работают вполне стабильно.

Есть меня несколько серверов которые бы мне хотелось постоянно мониторить на предмет оперативной памяти, диского пространства и т.п. Хотя сами сервера расположены в разных местах все они объединены между собой по openvpn. Для того чтобы решить задачку мой выбор пал на связку influxdb+grafana.

Influxdb это так называемая timeseries база данных, в которой мы можем хранить данные которые изменяются во времени. Grafana - это универсальный UI который удобно использовать для визуального представления таких данных. InfuxDB и Grafana поднимаются на при помощи docker-compose. К при этом для того, чтобы послать данные состояния сервера используется баш скрипт который периодически запускается через cron и при помощи curl посылает данные на сервер

Таким образом я всегда могу видеть состояние того или иного сервера. Все системы будем подымать в докере для этого достаточно склонировать репозиторий с docker-compose который содержит в себе 3 образа - influxdb, grafana и chronograph.

git clone git@github.com:maxistar/docker-compose-influxdb-grafana.git
cd docker-compose-influxdb-grafana
git checkout influx1_8
docker-compose up -d

Influxdb версии 2.x требует авторизации и поэтому я использовал версию 1.8. Исправленный docker-compose.yaml живет в ветке influx1_8 где я использую именно эту версию, возможно в будущем разберусь как использовать и последнюю версию.

После того как InfluxDB и Grafana запущены, на сервере, который будем мониторить, создаем bash скрипт (script.sh).

#!/bin/bash

dbName="db0"

stat=`free | awk -v RS="" '{print "memory,host=acentauri used=" $9 "\nmemory,host=acentauri total=" $8 "\nmemory,host=acentauri swap=" $15 "\nmemory,host=acentauri swapused=" $16}'`

curl -s -i -XPOST "http://10.8.0.100:8086/write?db=db0" \
	--data-binary "$stat" 

делаем файл исполнимым и добавляем команду для запуска скрипта в cron:

chmod +x script.sh
contab -e

в открывшимся файле добавляем следующую строчку:

* * * * * /home/maxim/infrastructure/utils/memusage/script.sh

После того как данные начали посылаться на сервере настраиваем dashboard и наслаждаемся.

После того как начал мониторить состояние asterisk сервера он волшебным образом перестал зависать! Возможно его зависания были связаны с тем что зависает wifi модуль и я его перестаю видеть по сети.

Много лет использую OpenVPN. Прекрасная штука. Пока я жил в России при помощи нее можно было обходить блокировки Роскомпозора, она также позволяла мне подключаться к умному зеркалу в машине и видеть, что творится вокруг, сейчас же я использую OpenVPN чтобы подключаться к домашнему серверу в России на котором хранится фотоархив и крутится Gitlab с личными проектами.

Но вот вчера, привычно зайдя на сервер я не смог к нему присоединиться. Сначала подумал, что проблема с домашним сервером, однако потом обнаружил что я также не могу подсоединиться  к VPN ни с одного из устройств.

Оказалось, что по-умолчанию opnvpn создает сертификаты действительные десять лет. Через десять лет сертификат нужно продлевать. Это несложно сделать если у вас все еще есть доступ к серверу, можно просто создать новый сертификат и залить его на все ваши клиенты. Если же доступа у вас нет то, воспользоваться старыми ключами уже на получится.

Порекомендовали попробовать откатить время на сервере на несколько дней назад, но это не помогло. Дело в том, что ca.crt также копируется на клиент а он тоже истек.

Единственным рабочим способом подключиться к серверу с истекшими сертификатами оказалось подключение когда и на сервере и на клиенте время было переведено назад, но такой способ мне не годится - у меня нет физического доступа к серверу.

Проверить когда истечет ваш сертификат openvpn  можно слeдующей командой:

openssl x509 -in ca.crt -dates -noout

Так что будет мне хороший урок - нужно следить на валидностью сертификатов и вовремя их обновлять!

Давно интересуюсь темой запуска Линукс программ на мобильных устройствах. Все дело в том, что мобильные прогаммы по функционалу сильно проигрывают своим компьютерным аналогам, в то же время современные мобильники имеют железо, которое, по вычислительной мощности лишь незначительно уступает железу персональных компьютеров, а иногда, даже, в чем то у него выигрывает. Почему же я не могу запустить дескопное приложение на мобильном устройстве?

Оказывается, это вполне возможно, правда требует определенного погружения в тему и подходит далеко не всем. Последнее время ситуация значительно улучшилась - уже не нужно перепрошивать железо, получать рут доступ и тому подобное, можно обойтись минимальным набором программ из Google Play.

Необходимое железо

Прежде всего понадобится подходящий телефон с Android. Не все устройства подойдут, так как различные телефоны работают с разными типами процессоров, данный метод сработает если у вас 64 битный ARM процессор. На 32 битных устройствах нужно использовать 32 битный образ Linux.

Желательно использовать физическую клавиатуру и мышь. Работать с програмной клавиатурой можно, но некоторые клавиши типа табуляции и стрелок отсутствуют на виртуальной клавиатуре, поэтому я предпочитаю физическую, благо большинство Bluetooth клавиатур прекрасно работают с Android.

Я использую раскладную клавиатуру с тачпадом - все же мобильное устройство должно оставаться мобильным и не занимать много места. Хотя на раскладной клавиатуре работать немного непривычно, возможно, у меня просто неправильная клавиатура.

Переключение языков по умолчанию происходит комбинацией Contol+Space как на Макинтош. Для этого в настройках Android нужно настроить дополнительные языки для физической клавиатуры.

Необходимые программы

Для полноценного запуска Линукс нам потребуются две программы:

• Termux - эмулятор Linux под андроид.
• XServer XSDL - реализация X Server для Андроид.

Установка Linux

В Termux выполняем следующие команды чтобы скачать образ Fedora:

pkg install wget

wget https://raw.githubusercontent.com/nmilosev/termux-fedora/master/termux-fedora.sh

sh ./termux-fedora.sh f32_arm64

startfedora

Если все скачалось успешно вы окажетесь в командрой строке Fedora и получите доступ ко всем программам экосистемы под платформу на процессорах ARM.

Обновим систему и поставим необходимые программы:

dnf update

#установим xfce:
dnf install @xfce 

#программы по вкусу, список можно расширить:
dnf instll mc gimp audacity

Следует отметить что приведенные выше команды скачивают порядка пятисот мегабайт данных и после установки займут раза в три больше места, поэтому перед их вызовом убедитесь, что обладаете достаточным объемом памяти на устройстве.

Запускаем XServer XSDL ждем когда появится синий экран с приглашением

	 
export DISPLAY=192.168.0.178:0 PULSE_SERVER=tcp:192.168.0.178:473 

startxfce4 &

Если все установилось нормально то в X Server вы увидите оконный менеджер и сможете запускать GUI программы.

Доступ к файлам устройства.

Файлы устройства видны по адресу /storage/emulated/0 - это не удобно так как родительские папки без доступа на чтение и из GUI программ туда не всегда получается пробраться - проблема решается созданием символической ссылки

ln -s /storage/emulated/0 /mnt/storage

Проблемы

Что пока не работает: звук пока мне не удалось заставить работать - хотя поддержка, вроде бы, заявлена.

Популярные браузеры не запустились. Ни Хромиум ни Firefox запускаться не захотели.

Поскольку пользователь в графическом окружении федоры пользователь оказывается под root, некоторые программы отказываются работать из под рута.

Так что, до полнеценной работы на мобильнике как на лаптопе еще далеко, но, прогресс определенно уже есть. Возможно, через некотрое время нам уже не нужно будет повсюду таскать лаптоп а можно будет обходиться одним мобильным телефоном.

Оказывается, Ubuntu из коробки позволяет поднять точку доступа WiFi.

На новой квартире пока нет Интернета - подключение Интернета в Берлине это отдельная головная боль, заслуживающая отдельного описания.

3G в Берлине работает так себе, но рядом есть точка доступа Vodafon - меня она с моим логином - паролем не пускает, пока не понял почему, однако, позволяет купить доступ за денежку.

Однако, авторизация происходит только по MAC адресу телефона и пользоваться интернетом можно только с того устройства, с которого был оплачен доступ.

Меня такое положение вещей решительно не устраивает, я хочу, чтобы доступ был не только на телефоне а еще и на компьютере, и желательно не одном.

Разрешил задачку таким образом - подключил телефон к компьютеру USB кабелем, телефон подключил к Hotspot Vodafon, включил на телефоне режим USB модема, а на компьютере поднял точку доступа Wifi. Получается, что телефон работает на приём WiFi в режиме клиента, передает трафик на компьютер, а компьютер, в свою очередь раздает интернет по клиентам.

Так что, теперь у меня есть временное решение проблемы и я могу пользоваться Интернетом с нескольких устройств!