В следующей таблице перечислены все имеющиеся пакеты Postgres Pro Shardman.

Также Postgres Pro Shardman включает библиотеки и утилиты, необходимые для предоставляемых пакетов и сервера Postgres Pro Shardman. Эти пакеты предоставляются только для дистрибутивов, в которых отсутствует требуемая версия таких библиотек.

Кроме этого, имеются отдельные пакеты с несколькими дополнительными модулями, собранные специально для совместимости с Postgres Pro Shardman:

Кроме того, Postgres Pro Shardman предоставляет отдельные пакеты с отладочной информацией для некоторых операционных систем:

Минимальная конфигурация представляет собой один узел etcd и два узла Postgres Pro Shardman. Здесь рассмотрим более сложную конфигурацию с кластером etcd из двух узлов и кластером Postgres Pro Shardman из двух узлов.

Допустим, у нас есть следующие имена узлов и IP-адреса:

192.0.1.1 etcd  - первый узел etcd
192.0.1.2 etcd  - второй узел etcd
 192.0.1.20 sdm01 - первый узел Shardman
 192.0.1.21 sdm02 - второй узел Shardman
192.0.1.100 ntp  - сервер синхронизации по местному времени (необязательно)

Характеристики каждого узла: 4Gb RAM, 20GB HDD, 2CPU и ОС Ubuntu 22.04.

Данные шаги необходимо выполнить на всех узлах etcd.

Установите следующие пакеты:

sudo apt install -y vim curl

Чтобы подключить репозиторий Postgres Pro Shardman, выполните следующие шаги:

Установите пакеты etcd-sdm:

sudo apt install -y etcd-sdm

Укажите значения переменных окружения в соответствующем файле:

sudo vim /etc/default/etcd-sdm
##следующие две строки должны содержать данные вашего узла
ETCD_NAME=<имя_узла>
ETCD_ADVERTISE_CLIENT_URLS=http://<ip_адрес_узла>:2379
ETCD_LISTEN_CLIENT_URLS=http://0.0.0.0:2379
ETCD_MAX_SNAPSHOTS=5
ETCD_MAX_WALS=5
ETCD_AUTO_COMPACTION_MODE=periodic
ETCD_AUTO_COMPACTION_RETENTION=5m
ETCD_QUOTA_BACKEND_BYTES=6442450944
ETCD_DATA_DIR=/var/lib/etcd-sdm/sdm-17
#последующие параметры требуются только для кластера etcd с несколькими узлами
#замените на свои IP
ETCD_INITIAL_ADVERTISE_PEER_URLS=http://<ip_адрес_узла>:2380
ETCD_INITIAL_CLUSTER=etcd1=http://etcd1:2380,etcd2=http://etcd2:2380
ETCD_INITIAL_CLUSTER_TOKEN=etcd-cluster-1
ETCD_INITIAL_CLUSTER_STATE=new
ETCD_LISTEN_PEER_URLS=http://0.0.0.0:2380

Этот файл будет загружен при запуске etcd.

Очистите каталог данных etcd:

sudo rm -rf /var/lib/etcd-sdm/sdm-17/*

Перезапустите службу etcd-sdm:

sudo systemctl restart etcd-sdm

Для локального пользователя добавьте путь /opt/pgpro/sdm-17/bin в переменную окружения PATH:

echo "export PATH=$PATH:/opt/pgpro/sdm-17/bin" >> ~/.bashrc
source ~/.bashrc

Проверьте правильность конфигурации etcd:

etcdctl endpoint --endpoints=http://192.0.1.1:2379 status health -w table
+------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------------------------------+
|        ENDPOINT        |        ID        | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX |             ERRORS             |
+------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------------------------------+
| http://192.0.1.1:2379  | 9324a99282752a09 |   3.5.9 |  2.1 GB |      true |      false |        14 |   91459207 |           91459207 |  memberID:10602785869456026121 |
|                        |                  |         |         |           |            |           |            |                    |                 alarm:NOSPACE  |
+------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------------------------------+

Кластер etcd с одним узлом правильно сконфигурирован и готов обрабатывать запросы.

Чтобы предотвратить раздувание при интенсивном использовании etcd, добавьте команду дефрагментации в cron:

sudo sh -c '
{ crontab -l; echo "@hourly /opt/pgpro/sdm-17/bin/etcdctl defrag"; }
| crontab'

Добавьте репозиторий Postgres Pro Shardman на каждом узле Postgres Pro Shardman:

Установите пакеты (на каждом узле):

sudo apt update
sudo apt install -y postgrespro-sdm-17-server postgrespro-sdm-17-client postgrespro-sdm-17-contrib postgrespro-sdm-17-libs pg-probackup-sdm-17  shardman-services shardman-tools

Предположим, выбранное имя кластера — cluster0. Следующий шаг — поместить переменные окружения Postgres Pro Shardman в каталог /etcd/shardman (на каждом узле):

sudo sh -c 'cat << EOF > /etc/shardman/shardmand-cluster0.env
SDM_CLUSTER_NAME=cluster0
SDM_LOG_LEVEL=info
# введите адреса своих etcd 
SDM_STORE_ENDPOINTS=http://etcd:2379
EOF'

Файл и каталог создаются с помощью команды sudo, однако в дальнейшем shardmanctl её не использует, поэтому доступ к файлу с переменными окружения отсутствует. Для получения доступа необходимо добавить переменные в систему через export или дать пользователю права доступа к файлу и каталогу.

Для локального пользователя добавьте путь /opt/pgpro/sdm-17/bin в переменную окружения PATH и экспортируйте переменную SDM_STORE_ENDPOINTS:

echo "export PATH=$PATH:/opt/pgpro/sdm-17/bin" >> ~/.bashrc
# введите адреса своих etcd
echo "export SDM_STORE_ENDPOINTS=http://etcd:2379" >> ~/.bashrc
source ~/.bashrc

Сгенерируйте пример конфигурации с помощью утилит Postgres Pro Shardman (только на одном узле Postgres Pro Shardman).

  shardmanctl config generate > spec.json

На этом шаге можно внести некоторые изменения в спецификацию (конфигурацию) кластера, например изменить пароль или параметр PostgreSQL shared_buffers и так далее.

Для небольшого изменения кластера задайте для параметра Repfactor значение 0. За подробной информацией обратитесь к файлу конфигурации Shardman.

jq '
  .Repfactor = 0
' "spec.json" > tmp.json && mv tmp.json "spec.json"

Осталось несколько последних шагов. Сначала инициализируйте конфигурацию кластера в etcd (только на одном [любом] узле Postgres Pro Shardman).

  shardmanctl init -f spec.json

Ожидается такой результат:

2023-04-18T12:30:03.043Z    DEBUG   cmd/common.go:100   Waiting for metadata lock...
2023-04-18T12:30:03.048Z    DEBUG   cluster/cluster.go:365  DataDir is not specified, setting to default /var/lib/pgpro/sdm-17/data

Включите и запустите службу shardmand (на каждом узле Postgres Pro Shardman):

  sudo systemctl enable --now shardmand@cluster0
  sudo systemctl status shardmand@cluster0

  ● shardmand@cluster0.service - deployment daemon for shardman
       Loaded: loaded (/lib/systemd/system/shardmand@.service; enabled; vendor preset: enabled)
   Active: active (running) since Tue 2023-04-18 12:28:18 UTC; 2min 13s ago
     Docs: https://github.com/postgrespro/shardman
  Main PID: 618 (shardmand)
     Tasks: 10 (limit: 4571)
    Memory: 32.0M
       CPU: 422ms
   CGroup: /system.slice/system-shardmand.slice/shardmand@cluster0.service
           └─618 /opt/pgpro/sdm-17/bin/shardmand --cluster-name cluster0 --system-bus --user postgres

Следующую команду необходимо выполнить только на одном узле Postgres Pro Shardman.

На этом шаге предполагается, что все предыдущие шаги выполнены успешно: кластер etcd работает нормально, время на всех узлах синхронизировано, и демон запущен на sdm01 и sdm02. На последнем шаге выполняется команда shardmanctl:

  shardmanctl nodes add -n sdm01,sdm02 \
             --cluster-name cluster0 \
             --log-level debug

Ожидается такой результат:

  2023-04-18T12:43:11.300Z    DEBUG   cmd/common.go:100   Waiting for metadata lock...
2023-04-18T12:43:11.306Z    INFO    cluster/store.go:277    Checking if shardmand on all nodes have applied current cluster configuration
✓ Waiting for shardmand on node sdm01 to apply current configuration: success 0.000s
✓ Waiting for shardmand on node sdm02 to apply current configuration: success 0.000s
2023-04-18T12:43:11.307Z    INFO    add/case.go:112 Initting Stolon instances...
2023-04-18T12:43:11.312Z    INFO    add/case.go:170 Waiting for Stolon daemons to start... make sure shardmand daemons are running on the nodes
✓ Waiting for Stolon daemons of rg clover-1-sdm01: success 31.012s
✓ Waiting for Stolon daemons of rg clover-1-sdm02: success 0.012s
2023-04-18T12:43:42.336Z    INFO    add/case.go:187 Adding repgroups...
✓ waiting rg 1 config apply: done 7.014s
2023-04-18T12:43:49.444Z    DEBUG   broadcaster/worker.go:33    start broadcaster worker for repgroup id=1
2023-04-18T12:43:49.453Z    DEBUG   broadcaster/worker.go:51    repgroup 1 connect established
2023-04-18T12:43:49.453Z    DEBUG   commands/addrepgroup.go:575 waiting for extension lock...
2023-04-18T12:43:49.453Z    DEBUG   commands/addrepgroup.go:137 Loading schema into replication group rg 1
...
2023-04-18T12:44:25.665Z    DEBUG   rebalance/service.go:528    wait all tasks finish
2023-04-18T12:44:25.666Z    DEBUG   broadcaster/worker.go:75    finish broadcaster worker for repgroup id=1
2023-04-18T12:44:25.666Z    DEBUG   broadcaster/worker.go:75    finish broadcaster worker for repgroup id=2
2023-04-18T12:44:25.666Z    INFO    add/case.go:221 Successfully added nodes sdm01, sdm02 to the cluster

Сообщение «Successfully added nodes sdm01, sdm02 to the cluster» (Узлы sdm01, sdm02 успешно добавлены в кластер) означает, что всё в порядке и узлы sdm01 и sdm02 работают нормально.

Проверьте состояние узлов кластера.

  shardmanctl status
┌────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│                                               == STORE STATUS ==                                               │
├────────────┬─────────────────────────────────────────────────┬────────────────────────┬────────────────────────┤
│   STATUS   │                     MESSAGE                     │    REPLICATION GROUP   │          NODE          │
├────────────┼─────────────────────────────────────────────────┼────────────────────────┼────────────────────────┤
│   Warning  │ Store has only one member, consider deploying   │                        │                        │
│            │                   store cluster                 │                        │                        │
└────────────┴─────────────────────────────────────────────────┴────────────────────────┴────────────────────────┘
┌────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│                                             == METADATA STATUS ==                                              │
├────────────┬─────────────────────────────────────────────────┬────────────────────────┬────────────────────────┤
│   STATUS   │                     MESSAGE                     │    REPLICATION GROUP   │          NODE          │
├────────────┼─────────────────────────────────────────────────┼────────────────────────┼────────────────────────┤
│     OK     │                 Metadata is OK                  │                        │                        │
└────────────┴─────────────────────────────────────────────────┴────────────────────────┴────────────────────────┘
┌────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│                                             == SHARDMAND STATUS ==                                             │
├────────────┬─────────────────────────────────────────────────┬────────────────────────┬────────────────────────┤
│   STATUS   │                     MESSAGE                     │    REPLICATION GROUP   │          NODE          │
├────────────┼─────────────────────────────────────────────────┼────────────────────────┼────────────────────────┤
│     OK     │      shardmand status on node sdm01 is OK       │                        │          sdm01         │
├────────────┼─────────────────────────────────────────────────┼────────────────────────┼────────────────────────┤
│     OK     │      shardmand status on node sdm02 is OK       │                        │          sdm02         │
└────────────┴─────────────────────────────────────────────────┴────────────────────────┴────────────────────────┘
┌────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│                                         == REPLICATION GROUP STATUS ==                                         │
├────────────┬─────────────────────────────────────────────────┬────────────────────────┬────────────────────────┤
│   STATUS   │                     MESSAGE                     │    REPLICATION GROUP   │          NODE          │
├────────────┼─────────────────────────────────────────────────┼────────────────────────┼────────────────────────┤
│    Error   │  Replication group shard-1 is OK                │         shard-1        │                        │
├────────────┼─────────────────────────────────────────────────┼────────────────────────┼────────────────────────┤
│    Error   │  Replication group shard-2 is OK                │         shard-2        │                        │
└────────────┴─────────────────────────────────────────────────┴────────────────────────┴────────────────────────┘
┌────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│                                               == MASTER STATUS ==                                              │
├────────────┬─────────────────────────────────────────────────┬────────────────────────┬────────────────────────┤
│   STATUS   │                     MESSAGE                     │    REPLICATION GROUP   │          NODE          │
├────────────┼─────────────────────────────────────────────────┼────────────────────────┼────────────────────────┤
│     OK     │  Replication group shard-1 master is running on │         shard-1        │       sdm01:5432       │
│            │                    sdm01:5432                   │                        │                        │
├────────────┼─────────────────────────────────────────────────┼────────────────────────┼────────────────────────┤
│     OK     │  Replication group shard-2 master is running on │         shard-2        │       sdm02:5432       │
│            │                    sdm02:5432                   │                        │                        │
└────────────┴─────────────────────────────────────────────────┴────────────────────────┴────────────────────────┘
┌────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│                                            == DICTIONARY STATUS ==                                             │
├────────────┬─────────────────────────────────────────────────┬────────────────────────┬────────────────────────┤
│   STATUS   │                     MESSAGE                     │    REPLICATION GROUP   │          NODE          │
├────────────┼─────────────────────────────────────────────────┼────────────────────────┼────────────────────────┤
│     OK     │   Replication group shard-2 dictionary is OK    │         shard-2        │                        │
├────────────┼─────────────────────────────────────────────────┼────────────────────────┼────────────────────────┤
│     OK     │   Replication group shard-1 dictionary is OK    │         shard-1        │                        │
└────────────┴─────────────────────────────────────────────────┴────────────────────────┴────────────────────────┘
┌────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│                                              == KEEPER STATUS ==                                               │
├────────────┬─────────────────────────────────────────────────┬────────────────────────┬────────────────────────┤
│   STATUS   │                     MESSAGE                     │    REPLICATION GROUP   │          NODE          │
├────────────┼─────────────────────────────────────────────────┼────────────────────────┼────────────────────────┤
│     OK     │              Keeper keeper_1 is OK              │         shard-1        │       sdm01:5432       │
├────────────┼─────────────────────────────────────────────────┼────────────────────────┼────────────────────────┤
│     OK     │              Keeper keeper_1 is OK              │         shard-2        │       sdm02:5432       │
└────────────┴─────────────────────────────────────────────────┴────────────────────────┴────────────────────────┘

Для подключения к кластеру получите строку подключения на любом узле кластера (sdm01 или sdm02):

  shardmanctl getconnstr

Пример вывода:

  dbname=postgres host=sdm01,sdm02 password=!!!CHANGE_ME!!! port=5432,5432 user=postgres

Затем попробуйте подключиться:

  psql -d 'dbname=postgres host=sdm01,sdm02 password=!!!CHANGE_ME!!! port=5432,5432 user=postgres'

Пример вывода:

  psql (17.5)
  Type "help" for help.

  postgres=#

В примере используются следующие серверы:

192.0.1.1 etcd1
192.0.1.2 etcd2
192.0.1.3 etcd3

Установите необходимые пакеты на каждом сервере:

sudo apt install -y vim curl

Для подключения к репозиторию запустите на каждом сервере следующую команду:

sudo curl -fsSL https://repo.postgrespro.ru/sdm/sdm-17/keys/pgpro-repo-add.sh | bash

Установите пакеты etcd-sdm на каждом сервере:

sudo apt install -y etcd-sdm

Для каждого сервера отредактируйте файл со списком переменных окружения, заменив местозаполнители в угловых скобках конкретными значениями:

sudo vim /etc/default/etcd-sdm
ETCD_NAME=<hostname>
ETCD_LISTEN_PEER_URLS=http://0.0.0.0:2380
ETCD_LISTEN_CLIENT_URLS=http://0.0.0.0:2379
ETCD_ADVERTISE_CLIENT_URLS=http://<host ip address>:2379
ETCD_INITIAL_ADVERTISE_PEER_URLS=http://<host ip address>:2380
ETCD_INITIAL_CLUSTER_TOKEN=etcd-cluster-1
ETCD_INITIAL_CLUSTER_STATE=new
ETCD_MAX_SNAPSHOTS=5
ETCD_MAX_WALS=5
ETCD_AUTO_COMPACTION_MODE=periodic
ETCD_AUTO_COMPACTION_RETENTION=5m
ETCD_QUOTA_BACKEND_BYTES=6442450944
ETCD_DATA_DIR=/var/lib/etcd-sdm/sdm-17
ETCD_INITIAL_CLUSTER=etcd1=http://<ip etcd1>:2380,etcd2=http://<ip etcd2>:2380,etcd3=http://<ip etcd3>:2380

Этот файл будет загружен при запуске etcd со своими собственными параметрами запуска на каждом сервере.

Очистите каталог данных etcd:

sudo rm -rf /var/lib/etcd-sdm/sdm-17/*

Перезапустите службы etcd-sdm на каждом сервере:

sudo systemctl restart etcd-sdm

Для локального пользователя добавьте путь /opt/pgpro/sdm-17/bin в переменную окружения PATH:

echo "export PATH=$PATH:/opt/pgpro/sdm-17/bin" >> ~/.bashrc
source ~/.bashrc

Проверьте правильность конфигурации etcd:

etcdctl member list -w table
+------------------+---------+-------+------------------------------+----------------------------+------------+
|        ID        | STATUS  | NAME  |         PEER ADDRS           |        CLIENT ADDRS        | IS LEARNER |
+------------------+---------+-------+------------------------------+----------------------------+------------+
|  318be6342e6d9ac | started | etcd1 | http://192.0.1.1:2380        | http://192.0.1.1:2379      |      false |
| 9e49480544aedb89 | started | etcd2 | http://192.0.1.2:2380        | http://192.0.1.2:2379      |      false |
+------------------+---------+-------+------------------------------+----------------------------+------------+
$ etcdctl --endpoints=http://192.0.1.1:2380,http://192.0.1.2:2380,http://192.0.1.3:2380 endpoint status health  -w table
+----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
|          ENDPOINT          |        ID        | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS |
+----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
| http://192.0.1.1:2380      |  318be6342e6d9ac |   3.5.9 |  5.7 MB |      true |      false |        13 |     425686 |             425686 |        |
| http://192.0.1.2:2380      | 9e49480544aedb89 |   3.5.9 |  5.7 MB |     false |      false |        13 |     425686 |             425686 |        |
+----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
-------+

Кластер etcd правильно сконфигурирован и готов обрабатывать запросы.

Чтобы предотвратить раздувание при интенсивном использовании etcd, добавьте команду дефрагментации в cron:

sudo { crontab -l; echo "@hourly /opt/pgpro/sdm-17/bin/etcdctl defrag"; } | crontab

Последняя строка с границами кластера etcd:

etcd1=http://<ip etcd1>:2380,etcd2=http://<ip etcd2>:2380,etcd3=http://<ip etcd3>:2380
        

Её следует указать в файле конфигурации /etc/shardman и в качестве параметра --store-endpoints shardmanctl.