Add new fields to show pool_nodes command and friends.

pg_status: actual DB node status. Either "up" or "down". The status is
fetched by using pg_isready command while executing show
pool_nodes. Arguments for pg_isready are obtained from health check
parameters. The reason for this choice is, pgpool already checks the
availability of PostgreSQL by using health check parameters. If health
check is disabled (health_check_period = 0), the status will be
"unknown".

pg_role: actual DB node status. Only meaningful in streaming
replication mode. Either "primary" or "standby". If
pg_is_in_recovery() returns true, it will be represented as "standby",
otherwise "primary". In other clustering modes, same as "role" field.
Arguments for querying to backend are obtained from
sr_check_parameters. The reason for this choice is, pgpool already
checks the role of PostgreSQL by using sr_check parameters. If
sr_check is disabled (sr_check_period = 0), the status will be
"unknown". For other clustering mode, value of "role" field is copied
to pg_role field.

Modified commands/functions are: show poool_nodes, pcp_node_info and
pgpool_adm_pcp_node_info.

Doc: fix typo.

Doc: enhance pcp_detach_node manual.

Add more detailed description when the command is executed.

Update follow_primary.sh.sample due to the previous commit 7bd103a6a33a2a675bd37f996ab46b7819a731d7.

Add release note.

Doc: fix example in pgpool_adm pcp_node_info().

Per commit: https://git.postgresql.org/gitweb/?p=pgpool2.git;a=commit;h=caf5215479ee7a5b55c1dcdeb00a2fccf0ed7133

Fix pcp_node_info() in pgpool_adm extension.

The weight info was mistakenly handled by Float8GetDatum although the
function prototype is float4. The oversight made the weight value to 0
or certain insane value. Change it to Float4GetDatum.  It is amazing
that nobody (including me) did not notice it until today.

Fix follow_primary.sh.sample to avoid removing recovery.conf.

Fix follow_primary creation in pgpool_setup.

Since PostgreSQL 13 it is possible to reload the change of
recovery_conninfo, but it is not possible to reload
recovery_command. To fix this use pg_ctl restart regardless the
version of PostgreSQL.

Also fix an oversight: forgot to create standby.signal.

Fix watchdog leader sync process to start health check process.

When watchdog receives status change request from other watchdog node
and calls sync_backend_from_watchdog() to sync with status of leader
node, it forgot to start health check process. For example,

1) initial pgpool_status file indicates DB node 1 is down.
2) pgpool starts up but only starts health check process for DB node 0
   because node 1 is in down status.
3) pcp_attach_node is issued to other than leader pgpool node.
4) leader node updates the node status for DB node 1 and other node
   syncs the status. Since sync_backend_from_watchdog() does not start
   health check process, only on pgpool leader node starts health
   check process but other nodes do not.

To fix this starts health check process if necessary in
sync_backend_from_watchdog().

Doc: enhance "3.7. Temporarily Shutting Down PostgreSQL".

Explain that pcp_detach_node can immediate failover regardless
watchdog and health check settings. Also to enhance readability split
the chapter into two sections.

Doc: fix watchdog_setup manual.

Add snapshot isolation mode to the "mode" parameter which was
forgotten when adding the mode.

Fix follow_primary.sh creation in pgpool_setup.

While creating the script, it did not update restore_command to point
to the primary's archive directory.

Doc: enhance "5.3. Clustering mode".

- Reorder each clustering mode so that recommended clustering modes
  come first.

- Add drawbacks to each clustering mode.

Doc: enhance "3.3.2. Clustering mode of Pgpool-II".

Add link to "backend clustering mode". Change title of this section
from "3.3.2. Running mode of Pgpool-II" to 23.3.2. Clustering mode of
Pgpool-II".

Add support for snapshot isolation mode.

Also add "wal_level = archive" to all modes except streaming
replication mode to deal with online recovery enhancement.

Fix that DB cluster path was not correct in watchdog_setup installation.

In the watchdog_setup installation generated path to DB clusters did
not correctly point to pgpool0/data0 etc. Correct them by using sed
command.

Fix typos in message emitted by sync_backend_from_watchdog().

Fix pgpool_setup failure on raw mode.

Enhance pgpool_setup.

"shutdownall" script unconditionally waited for the pgpool.pid file is
gone after "pgpool stop".  But if invalid pgpool.pid file exists, it
waits forever. To avoid this check the exit status of "pgpool stop"
and only wait if the exit status is 0.

Doc: enhance "3.3.2. Running mode of Pgpool-II".

Arrange the order of each clustering mode to give more focus on
snapshot isolation mode.  Remove the limitations in snapshot isolation
mode because actually they are not the limitations.

Fix missing displaying of backend_clustering_mode mode in "show pool_status" command.

Fix messages when health check process starts.

Fix when health check process was restarted by reaper(), incorrect
"child process with pid: 14639 exited with success and will not be
restarted" was emitted.

Also enhance worker_fork_a_child() to emit a message that new worker
process started.

Doc: update failover command parameters order.

Doc: mention that the sample scripts doesn't support tablespaces in "Pgpool-II + Watchdog Setup Example".

Rewrite introduction to Pgpool-II.

Change the meaning of "pool" and make it clear that what are the
essential features of Pgpool-II.

Fix pgpool_setup for pre PostgreSQL case.

Now that native replication mode and snapshot isolation mode use
streaming replication for online recovery, unconditionally add
max_walsenders parameter to postgresql.conf.

Fix oversight in commit 3a36284c53c125389c999de5c6c4710973c4cb82.

When si_get_snapshot() is called, load balance node has not been
decided yet and we cannot use VALID_BACKEND macro.  Use
VALID_BACKEND_RAW instead.

Enhance online recovery script for native replication and snapshot isolation mode in pgpool_setup.

Use pg_stat_replication to get the log difference between main and
replica node while executing second stage so that reduces the number
of SQL issued.

Fix segfault in snapshot isolation mode.

If one DB nodes goes down, pgpool segfaulted in the mode. This
happened in si_get_snapshot(). This was caused because it did not
check whether DB node is alive or not.

Doc: add initial Chinese documentation directory.

Enhance native replication mode or snapshot isolation mode online
recovery case.

Use streaming replication in the first stage and replays WAL generated
during base copy as much as possible. In the second stage, now it just
promotes the standby server. If there are little or zero WAL to
replay, this will significantly reduce the duration of the second
stage. This is important because while the system in the second stage,
frontend cannot connect to Pgpool-II.

Fix pgpool_setup so that it creates separate archive directory for each DB node.

pgpool_setup created single archive directory for all PostgreSQL
nodes. This only works with streaming replication because only the
primary node produces archive log. However for native replication and
snapshot isolation mode this does not work as each node produces WAL.

In this fix dedicated archive directories like archivedir/data0
archivedir/data1 and so on are created.

Doc: enhance online recovery document.

Add explanation what should be done in the recovery first stage and
second stage. Also add mention about snapshot isolation mode where
native replication mode is explained.

Remove accidentally left caution of script timeout in the Japanese
document.

Fix pgpool_recovery_pitr generation pgpool_setup.

It generated redundant psql definition line.

Doc: fix indent.

Fix some variable names in follow_primary.sh.sample.

Fix some variable names of "main" to "primary" which should be used in streaming replication mode.

Enhance follow_primary.sh generation in pgpool_setup.

In the generated follow primary script pcp_recovery_node was used to
sync standby with new primary node.  However it is sufficient in
follow primary process to just restart standby with new recovery
configuration redirected to the new primary because we use the
"latest" timeline in the configuration file.

Moreover, from PostgreSQL 13, even restarting standby is not
needed. Just changing the recovery configuration and reloading is
enough. With these changes it is expected that the follow primary
process could be significantly faster than before.

Doc: add explanation about the shared memory required by shared relation cache.

Add description to "Memory requirement" section so that in Pgpool-II
4.1 and after require additional shared memory for shared relation
cache.

Adjusting the allowed range and default value for log_rotation_size

Fix error while allocating shared memory.

If num_init_children * max_pool is huge, pool_coninfo_size() failed to
calculate the size of required shared memory because the data type
used for the variable to store shared memory size was int and it
overflows for too large shared memory size. To fix this change
pool_coninfo_size() to size_t and use appropriate size_t for the
variable used within the function.

Also fix to use proper format qualifier in
pool_shared_memory_create().

Doc: fix typos.

Fix follow_primary script creation in pgpool_setup.

There were some confusions in variable names due to recent language
fix.  This fixes some of "main" to "primary" which should be used in
streaming replication mode.

Fix bug child_max_connections is not respected if ERROR occurs.

When frontend aborts, the counter for child_max_connections is rewound
because ereport(ERROR) issues long jump. Fix is declaring the variable
with volatile qualifier. This is a long standing bug, probably since
child_max_connections was introduced.

Doc: fix typos in docs.

Doc: fix a few typos in Japanese release notes.

Apply mega typo fixes.

Fixes for source code files including *.[chl] and regression scripts,
not only for comments but variable names and function names.

Documents (sgml and some text files) are also fixed.
See:
https://github.com/pgpool/pgpool2/pull/38
for more details.

Patch contributed by Josh Soref. Fixes for Japanese sgml files by me.

Doc: few typo fixes.

Doc: fix typo in the 4.2.1 release note.

Doc: add 4.2.1 release note.

Change all of the pgpool.conf samples socket path to "/var/run/postgresql".

Doc: Add missing raw mode to "5.3. Clustering mode" and fix typos.

Doc: fix indent.

Fix incorrect heartbeat related results of "pcp_pool_status" and "SHOW POOL_STATUS" commands.

Doc: fix installation tips section example.

Previous commit was not sufficient.

Doc: fix usage of firewall-cmd in the installation tips section.

firewall-cmd opened unnecessary ports in the example.

Fix segfault when ALWAYS_PRIMARY is set but DISALLOW_TO_FAILOVER.

If a primary node (for example node 0) has ALWAYS_PRIMARY but does
have DISALLOW_TO_FAILOVER, segfault happens in following step:

1) node 0 stops

2) failover happens. all children restart. The primary node is still 0
because ALWAYS_PRIMARY is set.

2) node 0 starts and it becomes online by using pcp_attach_node.

3) failback process is executed but child process do not restart.

4) child process accesses node 0 because Req_info->primary_node_id is
0 but connection to node 0 does not exist and this causes segfault.

To fix this, do additional check to make sure that failback node is
not former primary node. If it is, do full restart of child process.

Per bug 672.

Doc: fix missing configuration example of clustering mode.

Use single shared memory segment for all shared variables in Pgpool parent process

Shared memory segments is a limited resource and opening too many segments
should be avoided.
Also the default limit for on some operating systems like
OS/X (kern.sysv.shmmni: 32) is very small that you have to increase
shmmni just to run Pgpool-II. 
So to avoid creating too many shared memory segments, the commit creates a
single shared memory segment big enough to hold all required shared memory
and put all shared memory variables within that segment one after the other.

Doc: more language fixes.

Fix for inconsistent watchdog node_id problem in wd_cli

In watchdog node_id = 0 was reserved for local watchdog node
before 'simplifying watchdog configuration' patch, Now the watchdog
node IDshave become consistent across the cluster, but a couple of
places in the code were still expecting that node_id = 0 would
mean local node.

Fix "no watchdog configuration for local pgpool node" error.

If watchdog is disabled and wd_port is not defined (thus it's 0, which
is the default config value), the error occurred while checking
configured watchdog nodes. If watchdog is disabled, the check should
not be performed. Back patch to V4.2 stable when watchdog local node
was introduced.

Fix segfault in child pgpool process in certain failback case.

When previous primary node id is 0 and then it went down, restarted,
re-attached without promotion. Then existing child process loses
connection slot to node 0 and keeps on using it when node 0 comes
back. This could result in segfault later on in the child process
because there's no connection to node id 0. In summary we need to
restart all pgppol children in this case.

Per bug 672.

Doc: fix misleading description about reloading.

While taking care of this:
https://www.pgpool.net/mantisbt/view.php?id=671

I noticed our documentation gives misleading explanation about pgpool
behavior when pgpool.conf is reloaded:

https://www.pgpool.net/docs/latest/en/html/config-setting.html#CONFIG-SETTING-CONFIGURATION-FILE
The configuration file is reread whenever the main server process
receives a SIGHUP signal; this signal is most easily sent by running
pgpool reload from the command line. The main pgpool process also
propagates this signal to all its child processes, so that existing
sessions also adopt the new values. Some parameters can only be set at
server start; any changes to their entries in the configuration file
will be ignored until the server is restarted. Invalid parameter
settings in the configuration file are likewise ignored (but logged)
during SIGHUP processing.

The reality is, new parameter values will not be reflected to existing
sessions. They will be reflected when new session is
established. Reloading new config values is handled by
check_config_reload() in src/protocol/child.c. It's only called in the
beginning of establishing client sessions. It will not be called while
the session continues. Changing the place to call the function so that
it is called within a session maybe possible. But it will need
careful investigation to not break existing logic depending on
parameters.

Discussion: https://www.pgpool.net/pipermail/pgpool-hackers/2020-December/003856.html

Delete any pre-existing watchdog command socket file at startup

Abnormal termination of Pgpool leaves behind the dangling socket files
and prevent Pgpool-II from starting up.
The solution is to delete any pre-existing watchdog command socket
file before binding a watchdog command socket.

Patch provided by Masaya Kawamoto

Fix compiler error on FreeBSD.

Per bug report 670.
https://www.pgpool.net/mantisbt/view.php?id=670
Patch provided by ajs.

Fix compiler error due to the previous commit.

Add error message to the previous commit.

Fix file swapping race condition in pool_passwd.

Existing implementation first stats pool passwd file and then open the
file. To prevent file-swapping due to file race conditions, open the
key file before checking it by stat().

Patch by: Masaya Kawamoto

Update version.

Doc: update release-note.

Doc: update image files.

Doc: add documentation of "Pgpool-II on Kubernetes".

Removing strerror() call from ereports.

Call to ereport() resets the errno value and using the "strerror(errno)"
emmits the wrong error message. The right way is to use
%m format specifier instead.
 

Fix pgpool_setup to extract correct PostgreSQL version.

Doc: fix log_standy_delay description.

The description failed to explain actual behavior when
log_standy_delay = always is set. In fact it does not log if the
streaming delay is not greater than 0. Also added that 'none' is the
compiled default. Removed duplicate description in Japanese doc.

Discussion: https://www.pgpool.net/pipermail/pgpool-hackers/2020-November/003849.html

Doc: add release note.

Fix query rewrite syntax error of "INSERT ... ON CONFLICT" in native replication mode.

per bug 654.

Doc: update "Aurora Configuration Example".

Suppress a Coverity complain.

Cid = 1395058 (Unused value).

Doc: fix missing description of pgpool.conf samples.

Fix connection count when query is canceled.

Connection counter was not counted down when a query is canceled.

Per bug 656.

Update Makefile.

Doc: update release note.

Doc: add escalation.sh sample script that is executed by wd_escalation_command.

Patch is created by Kawamoto Masaya.

Use list_delete_cell instead of list_delete_ptr in some places.

Patch is created by Hou, Zhijie.

Doc: fix incorrect description about load balancing.

Doc: remove unnecessary sgml files.

Doc: remove unused SGML file entries.

Update version to Pgpool-II 4.3 devel.

Doc: fix typo in release 4.2 doc.

Also change supposed-to-be-released month from October to November
because it is more likely to happen.

Enable AM_MAINTAINER_MODE on master branch.

Disable AM_MAINTAINER_MODE.

Doc: update 4.2 release note.

Doc: update watchdog related documentation and remove "8.2. Watchdog Configuration Example".

Doc: mention that GSSAPI is not supported.

Deal with GSSAPI encrypted connection request from frontend.

If GSSAPI connection request comes from frontend, Pgpool-II responded
in inappropriate way.  For example,

psql: error: could not connect to server: server closed the connection unexpectedly
This probably means the server terminated abnormally
before or while processing the request.

or even:
FATAL:  client authentication failed
DETAIL:  no pool_hba.conf entry for host "x.x.x.x", user "", database "", SSL off
(https://www.pgpool.net/pipermail/pgpool-general/2020-September/007353.html)

With this commit Pgpool-II responds better. i.e. replies back to
frontend with "we don't support GSSAPI" and expects that the frontend
falls back to SSL connection (if frontend's param: gssencmode=prefer
(default) and SSL is configure when Pgpool-II was built) or fals back
to non-SSL connection.

Patch by me, reviewed and tested by Umar Hayat.

Add validation for pgpool_node_id file.

Fix test 032.dml_adaptive_load_balance failure.

Doc: fix index dupication.

This is caused by former slony mode was written as "native replication
mode".  This is obviously a mistake. Now we use the term "main replica
mode" (slony mode).