Fix watchdog leader sync process to start health check process.

When watchdog receives status change request from other watchdog node
and calls sync_backend_from_watchdog() to sync with status of leader
node, it forgot to start health check process. For example,

1) initial pgpool_status file indicates DB node 1 is down.
2) pgpool starts up but only starts health check process for DB node 0
   because node 1 is in down status.
3) pcp_attach_node is issued to other than leader pgpool node.
4) leader node updates the node status for DB node 1 and other node
   syncs the status. Since sync_backend_from_watchdog() does not start
   health check process, only on pgpool leader node starts health
   check process but other nodes do not.

To fix this starts health check process if necessary in
sync_backend_from_watchdog().

Doc: fix watchdog_setup manual.

Add snapshot isolation mode to the "mode" parameter which was
forgotten when adding the mode.

Fix follow_primary.sh creation in pgpool_setup.

While creating the script, it did not update restore_command to point
to the primary's archive directory.

Add support for snapshot isolation mode.

Also add "wal_level = archive" to all modes except streaming
replication mode to deal with online recovery enhancement.

Fix that DB cluster path was not correct in watchdog_setup installation.

In the watchdog_setup installation generated path to DB clusters did
not correctly point to pgpool0/data0 etc. Correct them by using sed
command.

Fix typos in message emitted by sync_backend_from_watchdog().

Enhance pgpool_setup.

"shutdownall" script unconditionally waited for the pgpool.pid file is
gone after "pgpool stop".  But if invalid pgpool.pid file exists, it
waits forever. To avoid this check the exit status of "pgpool stop"
and only wait if the exit status is 0.

Fix missing displaying of backend_clustering_mode mode in "show pool_status" command.

Fix messages when health check process starts.

Fix when health check process was restarted by reaper(), incorrect
"child process with pid: 14639 exited with success and will not be
restarted" was emitted.

Also enhance worker_fork_a_child() to emit a message that new worker
process started.

Doc: update failover command parameters order.

Doc: mention that the sample scripts doesn't support tablespaces in "Pgpool-II + Watchdog Setup Example".

Fix oversight in commit 3a36284c53c125389c999de5c6c4710973c4cb82.

When si_get_snapshot() is called, load balance node has not been
decided yet and we cannot use VALID_BACKEND macro.  Use
VALID_BACKEND_RAW instead.

Fix segfault in snapshot isolation mode.

If one DB nodes goes down, pgpool segfaulted in the mode. This
happened in si_get_snapshot(). This was caused because it did not
check whether DB node is alive or not.

Fix pgpool_setup so that it creates separate archive directory for each DB node.

pgpool_setup created single archive directory for all PostgreSQL
nodes. This only works with streaming replication because only the
primary node produces archive log. However for native replication and
snapshot isolation mode this does not work as each node produces WAL.

In this fix dedicated archive directories like archivedir/data0
archivedir/data1 and so on are created.

Doc: enhance online recovery document.

Add explanation what should be done in the recovery first stage and
second stage. Also add mention about snapshot isolation mode where
native replication mode is explained.

Remove accidentally left caution of script timeout in the Japanese
document.

Fix pgpool_recovery_pitr generation pgpool_setup.

It generated redundant psql definition line.

Doc: fix indent.

Fix some variable names in follow_primary.sh.sample.

Fix some variable names of "main" to "primary" which should be used in streaming replication mode.

Enhance follow_primary.sh generation in pgpool_setup.

In the generated follow primary script pcp_recovery_node was used to
sync standby with new primary node.  However it is sufficient in
follow primary process to just restart standby with new recovery
configuration redirected to the new primary because we use the
"latest" timeline in the configuration file.

Moreover, from PostgreSQL 13, even restarting standby is not
needed. Just changing the recovery configuration and reloading is
enough. With these changes it is expected that the follow primary
process could be significantly faster than before.

Doc: add explanation about the shared memory required by shared relation cache.

Add description to "Memory requirement" section so that in Pgpool-II
4.1 and after require additional shared memory for shared relation
cache.

Adjusting the allowed range and default value for log_rotation_size

Fix error while allocating shared memory.

If num_init_children * max_pool is huge, pool_coninfo_size() failed to
calculate the size of required shared memory because the data type
used for the variable to store shared memory size was int and it
overflows for too large shared memory size. To fix this change
pool_coninfo_size() to size_t and use appropriate size_t for the
variable used within the function.

Also fix to use proper format qualifier in
pool_shared_memory_create().

Doc: fix typos.

Fix follow_primary script creation in pgpool_setup.

There were some confusions in variable names due to recent language
fix.  This fixes some of "main" to "primary" which should be used in
streaming replication mode.

Fix bug child_max_connections is not respected if ERROR occurs.

When frontend aborts, the counter for child_max_connections is rewound
because ereport(ERROR) issues long jump. Fix is declaring the variable
with volatile qualifier. This is a long standing bug, probably since
child_max_connections was introduced.

Doc: fix typos.

Doc: fix typos in docs.

Doc: fix a few typos in Japanese release notes.

Doc: few typo fixes.

Doc: fix typo in the 4.2.1 release note.

Prepare 4.2.1.

Doc: update doc version.

Doc: add 4.2.1 release note.

Change all of the pgpool.conf samples socket path to "/var/run/postgresql".

Doc: Add missing raw mode to "5.3. Clustering mode" and fix typos.

Doc: fix indent.

Fix incorrect heartbeat related results of "pcp_pool_status" and "SHOW POOL_STATUS" commands.

Doc: fix installation tips section example.

Previous commit was not sufficient.

Doc: fix usage of firewall-cmd in the installation tips section.

firewall-cmd opened unnecessary ports in the example.

Use single shared memory segment for all shared variables in Pgpool parent process

Shared memory segments is a limited resource and opening too many segments
should be avoided.
Also the default limit for on some operating systems like
OS/X (kern.sysv.shmmni: 32) is very small that you have to increase
shmmni just to run Pgpool-II. 
So to avoid creating too many shared memory segments, the commit creates a
single shared memory segment big enough to hold all required shared memory
and put all shared memory variables within that segment one after the other.

Fix segfault when ALWAYS_PRIMARY is set but DISALLOW_TO_FAILOVER.

If a primary node (for example node 0) has ALWAYS_PRIMARY but does
have DISALLOW_TO_FAILOVER, segfault happens in following step:

1) node 0 stops

2) failover happens. all children restart. The primary node is still 0
because ALWAYS_PRIMARY is set.

2) node 0 starts and it becomes online by using pcp_attach_node.

3) failback process is executed but child process do not restart.

4) child process accesses node 0 because Req_info->primary_node_id is
0 but connection to node 0 does not exist and this causes segfault.

To fix this, do additional check to make sure that failback node is
not former primary node. If it is, do full restart of child process.

Per bug 672.

Doc: fix missing configuration example of clustering mode.

Doc: more language fixes.

Fix for inconsistent watchdog node_id problem in wd_cli

In watchdog node_id = 0 was reserved for local watchdog node
before 'simplifying watchdog configuration' patch, Now the watchdog
node IDshave become consistent across the cluster, but a couple of
places in the code were still expecting that node_id = 0 would
mean local node.

Fix "no watchdog configuration for local pgpool node" error.

If watchdog is disabled and wd_port is not defined (thus it's 0, which
is the default config value), the error occurred while checking
configured watchdog nodes. If watchdog is disabled, the check should
not be performed. Back patch to V4.2 stable when watchdog local node
was introduced.

Fix segfault in child pgpool process in certain failback case.

When previous primary node id is 0 and then it went down, restarted,
re-attached without promotion. Then existing child process loses
connection slot to node 0 and keeps on using it when node 0 comes
back. This could result in segfault later on in the child process
because there's no connection to node id 0. In summary we need to
restart all pgppol children in this case.

Per bug 672.

Delete any pre-existing watchdog command socket file at startup

Abnormal termination of Pgpool leaves behind the dangling socket files
and prevent Pgpool-II from starting up.
The solution is to delete any pre-existing watchdog command socket
file before binding a watchdog command socket.

Patch provided by Masaya Kawamoto

Fix compiler error on FreeBSD.

Per bug report 670.
https://www.pgpool.net/mantisbt/view.php?id=670
Patch provided by ajs.

Fix compiler error due to the previous commit.

Add error message to the previous commit.

Fix file swapping race condition in pool_passwd.

Existing implementation first stats pool passwd file and then open the
file. To prevent file-swapping due to file race conditions, open the
key file before checking it by stat().

Patch by: Masaya Kawamoto

Prepare 4.2.0.

Doc: update release-note.

Doc: update image files.

Doc: add documentation of "Pgpool-II on Kubernetes".

Removing strerror() call from ereports.

Call to ereport() resets the errno value and using the "strerror(errno)"
emmits the wrong error message. The right way is to use
%m format specifier instead.
 

Fix pgpool_setup to extract correct PostgreSQL version.

Doc: fix log_standy_delay description.

The description failed to explain actual behavior when
log_standy_delay = always is set. In fact it does not log if the
streaming delay is not greater than 0. Also added that 'none' is the
compiled default. Removed duplicate description in Japanese doc.

Discussion: https://www.pgpool.net/pipermail/pgpool-hackers/2020-November/003849.html

Doc: add release note.

Fix query rewrite syntax error of "INSERT ... ON CONFLICT" in native replication mode.

per bug 654.

Doc: update "Aurora Configuration Example".

Suppress a Coverity complain.

Cid = 1395058 (Unused value).

Doc: fix missing description of pgpool.conf samples.

Fix connection count when query is canceled.

Connection counter was not counted down when a query is canceled.

Per bug 656.

Prepare 4.2beta1.

Update Makefile.

Doc: update release note.

Doc: add escalation.sh sample script that is executed by wd_escalation_command.

Patch is created by Kawamoto Masaya.

Use list_delete_cell instead of list_delete_ptr in some places.

Patch is created by Hou, Zhijie.

Doc: fix incorrect description about load balancing.

Doc: fix typo in release 4.2 doc.

Also change supposed-to-be-released month from October to November
because it is more likely to happen.

Prepare 4.2alpha1.

Disable AM_MAINTAINER_MODE.

Doc: update 4.2 release note.

Doc: update watchdog related documentation and remove "8.2. Watchdog Configuration Example".

Doc: mention that GSSAPI is not supported.

Deal with GSSAPI encrypted connection request from frontend.

If GSSAPI connection request comes from frontend, Pgpool-II responded
in inappropriate way.  For example,

psql: error: could not connect to server: server closed the connection unexpectedly
This probably means the server terminated abnormally
before or while processing the request.

or even:
FATAL:  client authentication failed
DETAIL:  no pool_hba.conf entry for host "x.x.x.x", user "", database "", SSL off
(https://www.pgpool.net/pipermail/pgpool-general/2020-September/007353.html)

With this commit Pgpool-II responds better. i.e. replies back to
frontend with "we don't support GSSAPI" and expects that the frontend
falls back to SSL connection (if frontend's param: gssencmode=prefer
(default) and SSL is configure when Pgpool-II was built) or fals back
to non-SSL connection.

Patch by me, reviewed and tested by Umar Hayat.

Add validation for pgpool_node_id file.

Fix test 032.dml_adaptive_load_balance failure.

Doc: fix index dupication.

This is caused by former slony mode was written as "native replication
mode".  This is obviously a mistake. Now we use the term "main replica
mode" (slony mode).

Doc: fix usable versions of PostgreSQL.

Make usable versions of PostgreSQL to be 7.4 or later.

Discussion: https://www.pgpool.net/pipermail/pgpool-hackers/2020-September/003836.html

Doc: more language cleanup.

Replace "マスター" with "メイン".

Doc: more language cleanup.

Replace "フォローマスター" with "フォロープライマリ".

Fix some language cleanup mistakes.

test case for dml object level load balance support

Fixing for an issue in dml object level load balance support

The comparison of objects should be done case insensitive 

Logging sample scripts to pgpool stdout

More language cleanup.

Patch contributed by Umar Hayat.

Doc: update "Pgpool-II + Watchdog Setup Example".

Doc: update "Pgpool-II + Watchdog Setup Example" and sample scripts.

Doc: update 4.2 release notes.

Add language cleanup and wd_cli. Also fixes are from 4.1.4, rather
than 4.1.3 because 4.1.4 has been released.

Fix sample config files error.

Apply language cleanup mega patch.

black/white_function_list -> write_function_list, read_only_function_list
black_query_pattern -> primay_routing_query_pattern
black/white_memqcache_table_list -> cache_unsafe/cache_safe_table_list

Watchdog: replace master to 'leader' for 'master' watchdog nodes

ALWAYS_MASTER flag is changed to ALWAYS_PRIMARY.

Replace relcache_query_target option 'master' to 'primary'.

Replace Master Node with Main node ( node id with 0 or youngest live ).

Replace follow_master with follow_primary with parameters.

Replace some remaining occurrences of master with primary/main/leader

Patch contributed by: Umar Hayat
Reviewed by me:

Add wd_cli Japanese doc.

Also small tweaks to English doc.

Documentation update for wd_cli utility

Few typo fixes are also part of the commit

Doc: add more release note.

Doc: fix the incorrect description regarding the running modes of Pgpoo-II in which online recovery is available.

Refactor show pool_version and pool_processes.

Refactoring by using send_row_description_and_data_rows().

Refactor show pool_heath_check_stats.

Refactoring by using send_row_description_and_data_rows().

Doc: Add relesae note 3.5.27 - 4.1.4.