Doc: update copyright year.

Doc: fix description about heartbeat_device.

It did not mention the parameter can only be used if Pgpool-II started
as root.

Doc: enhance description on enable_consensus_with_half_votes.

Although this parameter is written in "Controlling the Failover
behavior" section, this does affect to not only the backend failover
but quorum of Pgpool-II itself. So add a note to make it clear.

Doc: remove incorrect description about failover_when_quorum_exists.

"Please note that if the number of watchdog nodes is even, we regard
that quorum exists when the number of live nodes is greater than or
equal to half of total watchdog nodes." This is not correct anymore
since Pgpool-II 4.1 in which enable_consensus_with_half_votes has been
introduced.

Doc: fix typo.

Doc: fix typo.

Fix broken database/app redirect preference in statement level load balancing mode.

Reported in bug707.

Update .gitignore file.

Update configure file.

Fix watchdog_setup to not fail when -n is not specified.

watchdog_setup failed if -n (number of PostgreSQL clusters) is not
specified. Now if -n is not specified, assume "-n = 2", which is same
as in pgpool_setup.

Doc: fix typo.

Doc: fix typo.

Allow to build pgpool with PostgreSQL 9.0 or before.

pool_process_reporting.c referrers to PQpingParams() which was
introduced in PostgreSQL 9.1. Check existence of the function in
configure and if it does not exist, set "pg_status" column of "show
pool_nodes" and "pcp_node_info" to be set "unknown".

Fix pgpool_setup to not show an error.

In the streaming replication mode pgpool_setup showed error:
:
:
recovery node 2...pcp_recovery_node -- Command Successful
done.
creating follow primary script
psql: error: server closed the connection unexpectedly
This probably means the server terminated abnormally
before or while processing the request.
shutdown all
:
:

While creating followers, pgpool_setup confirmed using
wait_for_pgpool_startup that pgpool comes up online except the last
node. This is unnecessary and it should confirm that pgpool comes up
even in the last node.

Add new option to pgpool_setup.

Add new option "-e" which omits to create PostgreSQL database
clusters.  This is option is intended to be used by watchdog_setup.
watchdog_setup needs to creates set of PostgreSQL database clusters
for each Pgpool-II node.  Actually it created identical database
clusters for each Pgpool-II node then replaced them with symlink to
pgpool node 0. This is waste of time. Now watchdog_setup invokes
pgpool_setup using "-e" option and for pgpool node 1 and so on to save
time and resource.

Change show pool_nodes/pcp_node_info to not use pg_isready.

Using extra PostgreSQL binary pg_isready is not comfortable for
packagers and container users.  Use libpq's PQpingParams instead.

Fix watchdog_setup.

watchdog_setup creates database cluster entity under pgpool0. In other
pgpool nodes's pgpool.conf just has the port number for PostgreSQL in
pgpool0.  But backend_data_directory remains their own PostgreSQL
cluster. For example:

backend_data_directory0 = '/home/t-ishii/work/Pgpool-II/current/x/pgpool2/data0'

This is fine until online recovery runs. If it referrers to the database
cluster directory, which is not correct of course.

Fix this by replacing database cluster directories with symlinks to
pgppol/data0 and so on. This will reduce disk space.

Also fix usage message that now Snapshot Isolation mode is supported.

Fix verify_backend_node_status().

It is possible that backend_hostname is Unix domain socket but
wal_receiver connects via TCP/IP localhost.
verify_backend_node_status() should accept this as normal.  This
actually happened in the Pgpool-II cluster created by pgpool_setup.  I
found this while testing detach_false_primary.

Fix default value of log_directory.

The value written in the configuration file was '/tmp/pgpool_log'
which was different from the compile time built-in value and the value
explained in the docs.

Patch contributed by KAWAMOTO Masaya.

Fix copyright.

Pgproto was originally written by me and then contributed to PgPool
Global Development Group in 2018.

Set application name to pgproto.

Now that from 4.2 application name can be used in the pgpool log,
pgproto now has its own application name "pgproto".

Also fix a bug in creating connection string. While adding user name,
it did not use strncat(), instead it used strcat().

Doc: add missing explanation about clear text password authentication.

Doc: enhance client authentication document.

Mention that pg_md5 command requires --config-file option.

Doc: enhance in memory query cache document.

Mention that in extended query mode, the cache registration time
varies depending on clustering mode.

Doc: enhance show pool_cache manual.

Add note that not all columns shows meaningful values when cache
storage is memcached.

Fix regression test 072 and 074.

In these tests pgproto is used. However the script forgot to specify
the path to the command.  It is interesting that test 072 is keeping
reporting ok. This is because the test script does not care even if
pgproto does not found.

Code restructuring for memory cache.

Add new function pool_discard_current_temp_query_cache(). We used to
do same thing in multiple places to discard temporary query cache of
current query context. The new function performs the work, which
should prevent mistakes like bug 700.

Since this is just a code restructuring, I only apply this to master
and 4.2 stable branches.

Add new regression test 074.bug700_memqcache_bug_segfault_at_close_complete which was missed in the previous commit.

The test was missed in commit: a531e783c90a88ab429d0de83fadb7e41c787a92

Fix pgpool crash when query cache enabled.

Pgpool-II crashed upon receiving CloseComplete.
This only happened in other than streaming and logical replication mode.

The minimum test case is as follows:

'P' "S1" "SELECT 1" 0
'B' "P1" "S1" 0 0 0
'E' "P1" 0
'C' 'P' "P1"
'B' "P2" "S1" 0 0 0
'E' "P2" 0
'C' 'P' "P2"
'S'
'Y'
'X'

A query statement S1 is bound to portal P1 and P1 is closed. When
CommandComplete message arrives, CloseComplete() discard temp query
cache buffer corresponding to the query context. Unfortunately it
forgot to set NULL to query_context->temp_cache. So whnen next time
other portal P2 which was also bound to S1 is closed, CloseComplete()
tries to free memory which was already freed by previous
CloseComplete. This leads to a segfault.

Fix is set NULL to query_context->temp_cache when the CloseComplete()
is called.

The reason why in streaming and logical replication this does occur
is, unlike other mode, in these mode query_context->temp_cache is
already freed and set to NULL when CommandComplete arrives.

Also new regression test
074.bug700_memqcache_bug_segfault_at_close_complete is added.

Per bug 700.

Doc: Fix documentation typos.

Improve sample scripts.
- Empty pg_replslot directory of the standby node after running pg_rewind, because pg_replslot directory may be copied from the primary node in old PostgreSQL versions.
- While creating/dropping replication slot, access remote database using psql instead of uing ssh.

Fix that query cache is not created in other than streaming and logical replication mode.

We used to create query cache in ReadyForQuery() in extended query
mode in other than streaming and logical replication mode. However if
following message sequence is sent from frontend, the query cache was
never created because pool_is_cache_safe() returns false in
pool_handle_query_cache(). Why? Because pool_is_cache_safe() examines
the current query context, and the current query context is for "END"
message.

'P' "" "BEGIN" 0
'B' "" "" 0 0 0
'E' "" 0
'P' "S1" "SELECT 1" 0
'B' "S1" "S1" 0 0 0
'E' "S1" 0
'P' "" "END" 0
'B' "" "" 0 0 0
'E' "" 0
'S'
'Y'
'X'

So this commit changes CommandComplete() so that
pool_handle_query_cache() gets called in not only streaming and
logical replication mode. pool_handle_query_cache() will create a
temporary query cache and it will be processed when next time
ReadyForQuery() is called for an END message.

I found the bug while taking care of:
https://www.pgpool.net/mantisbt/view.php?id=700

Note that if the transaction is ended by a simple query message "END",
the bug does not appear because extended query SELECT messages will be
followed by a SYNC message, which will produce a Ready for query
message, and ReadyForQuery() will happily register query cache since
this time pool_is_cache_safe() returns true.

I think this is a long standing bug. The reason why this was not found
earlier is, despite the similar message sequence is created by the JDBC
driver, CommandComplete() already handles in the way described above.

Fix show pool_nodes when pg_isready is not in command search path.

If pg_isready is not in the command search path, show pool_node's
"pg_status" showed "down" because pg_isready cannot be invoked. To fix
this, set Makefile variable PGSQL_BIN_DIR and use the path in the show
pool_nodes.

Fix pgpool_setup so that it fail back to full restore if failed in restarting.

While taking care of "[pgpool-general: 7456] Expected behaviour after pcp_detach_node ?"

https://www.pgpool.net/pipermail/pgpool-general/2021-March/007514.html

I noticed that restarting target server in follow primary script could
fail.  This could happen when former primary goes to down status using
pcp_detach_node.  The former primary will not start due to timeline
and LSN divergence.  To fix this, fail back to full restore using
pg_recovery if restarting server.

Fix comments in sample comfiguration files to avoid error occurred in pgpooladmin.

Fix hang with asyncpg.

asyncpg (Python frontend driver with asynchronous I/O) uses extended
protocol. When it issues describe message, it is followed by Flush
message. Unfortunately Pgpool-II just buffers flush message and
frontend cannot receive the message from pgpool. To fix this, Now
SimpleForwardToFrontend() flushes the send buffer while processing
describe message.

Discussion:
https://www.pgpool.net/pipermail/pgpool-general/2021-March/007495.html

Enhance debug message upon receiving startup packet.

While processing a startup packet, database name, user name and
application name are printed in DEBUG1, but other guc variables (if
any) were not printed. This is not helpful when studying errors like
"connection exists but startup packet length is not identical" problem
(see https://www.pgpool.net/mantisbt/view.php?id=696). With this
commit guc variables are now printed something like:

2021-03-16 10:21:32: child pid 5155: DEBUG:  reading startup packet
2021-03-16 10:21:32: child pid 5155: DETAIL:  guc name: client_encoding value: UTF8

Doc: fix typo.

Update comment lines of sample configuration files.

Fix pcp_node_info failure when backend is down.

From Pgpool-II 4.3, it calls db_node_role() and in turn it calls
make_persistent_db_connection_noerror(). make_persistent_db_connection_noerror()
called EmitErrorReport(), which sent an ERROR message to pcp frontend
in case of connection error to backend. Unfortunately pcp frontends
stops processing in case of receiving ERROR message from pcp
server. (see process_pcp_response() in src/libs/pcp/pcp.c).

To fix this eliminate calling EmitErrorReport() in
make_persistent_db_connection_noerror(). This also fixes the
inconsistency in the spec expressed in its comment ("does not ereports
in case of an * error") and the implementation.

Doc: update "Installation from RPM" section.

It referred to old Pgpool-II 4.1 and PostgreSQL 12. They now refer to
Pgpool-II 4.2 and PostgreSQL 13. Also use dnf command instead of yum
command.

Add new fields to show pool_nodes command and friends.

pg_status: actual DB node status. Either "up" or "down". The status is
fetched by using pg_isready command while executing show
pool_nodes. Arguments for pg_isready are obtained from health check
parameters. The reason for this choice is, pgpool already checks the
availability of PostgreSQL by using health check parameters. If health
check is disabled (health_check_period = 0), the status will be
"unknown".

pg_role: actual DB node status. Only meaningful in streaming
replication mode. Either "primary" or "standby". If
pg_is_in_recovery() returns true, it will be represented as "standby",
otherwise "primary". In other clustering modes, same as "role" field.
Arguments for querying to backend are obtained from
sr_check_parameters. The reason for this choice is, pgpool already
checks the role of PostgreSQL by using sr_check parameters. If
sr_check is disabled (sr_check_period = 0), the status will be
"unknown". For other clustering mode, value of "role" field is copied
to pg_role field.

Modified commands/functions are: show poool_nodes, pcp_node_info and
pgpool_adm_pcp_node_info.

Doc: fix typo.

Doc: enhance pcp_detach_node manual.

Add more detailed description when the command is executed.

Update follow_primary.sh.sample due to the previous commit 7bd103a6a33a2a675bd37f996ab46b7819a731d7.

Add release note.

Doc: fix example in pgpool_adm pcp_node_info().

Per commit: https://git.postgresql.org/gitweb/?p=pgpool2.git;a=commit;h=caf5215479ee7a5b55c1dcdeb00a2fccf0ed7133

Fix pcp_node_info() in pgpool_adm extension.

The weight info was mistakenly handled by Float8GetDatum although the
function prototype is float4. The oversight made the weight value to 0
or certain insane value. Change it to Float4GetDatum.  It is amazing
that nobody (including me) did not notice it until today.

Fix follow_primary.sh.sample to avoid removing recovery.conf.

Fix follow_primary creation in pgpool_setup.

Since PostgreSQL 13 it is possible to reload the change of
recovery_conninfo, but it is not possible to reload
recovery_command. To fix this use pg_ctl restart regardless the
version of PostgreSQL.

Also fix an oversight: forgot to create standby.signal.

Fix watchdog leader sync process to start health check process.

When watchdog receives status change request from other watchdog node
and calls sync_backend_from_watchdog() to sync with status of leader
node, it forgot to start health check process. For example,

1) initial pgpool_status file indicates DB node 1 is down.
2) pgpool starts up but only starts health check process for DB node 0
   because node 1 is in down status.
3) pcp_attach_node is issued to other than leader pgpool node.
4) leader node updates the node status for DB node 1 and other node
   syncs the status. Since sync_backend_from_watchdog() does not start
   health check process, only on pgpool leader node starts health
   check process but other nodes do not.

To fix this starts health check process if necessary in
sync_backend_from_watchdog().

Doc: enhance "3.7. Temporarily Shutting Down PostgreSQL".

Explain that pcp_detach_node can immediate failover regardless
watchdog and health check settings. Also to enhance readability split
the chapter into two sections.

Doc: fix watchdog_setup manual.

Add snapshot isolation mode to the "mode" parameter which was
forgotten when adding the mode.

Fix follow_primary.sh creation in pgpool_setup.

While creating the script, it did not update restore_command to point
to the primary's archive directory.

Doc: enhance "5.3. Clustering mode".

- Reorder each clustering mode so that recommended clustering modes
  come first.

- Add drawbacks to each clustering mode.

Doc: enhance "3.3.2. Clustering mode of Pgpool-II".

Add link to "backend clustering mode". Change title of this section
from "3.3.2. Running mode of Pgpool-II" to 23.3.2. Clustering mode of
Pgpool-II".

Add support for snapshot isolation mode.

Also add "wal_level = archive" to all modes except streaming
replication mode to deal with online recovery enhancement.

Fix that DB cluster path was not correct in watchdog_setup installation.

In the watchdog_setup installation generated path to DB clusters did
not correctly point to pgpool0/data0 etc. Correct them by using sed
command.

Fix typos in message emitted by sync_backend_from_watchdog().

Fix pgpool_setup failure on raw mode.

Enhance pgpool_setup.

"shutdownall" script unconditionally waited for the pgpool.pid file is
gone after "pgpool stop".  But if invalid pgpool.pid file exists, it
waits forever. To avoid this check the exit status of "pgpool stop"
and only wait if the exit status is 0.

Doc: enhance "3.3.2. Running mode of Pgpool-II".

Arrange the order of each clustering mode to give more focus on
snapshot isolation mode.  Remove the limitations in snapshot isolation
mode because actually they are not the limitations.

Fix missing displaying of backend_clustering_mode mode in "show pool_status" command.

Fix messages when health check process starts.

Fix when health check process was restarted by reaper(), incorrect
"child process with pid: 14639 exited with success and will not be
restarted" was emitted.

Also enhance worker_fork_a_child() to emit a message that new worker
process started.

Doc: update failover command parameters order.

Doc: mention that the sample scripts doesn't support tablespaces in "Pgpool-II + Watchdog Setup Example".

Rewrite introduction to Pgpool-II.

Change the meaning of "pool" and make it clear that what are the
essential features of Pgpool-II.

Fix pgpool_setup for pre PostgreSQL case.

Now that native replication mode and snapshot isolation mode use
streaming replication for online recovery, unconditionally add
max_walsenders parameter to postgresql.conf.

Fix oversight in commit 3a36284c53c125389c999de5c6c4710973c4cb82.

When si_get_snapshot() is called, load balance node has not been
decided yet and we cannot use VALID_BACKEND macro.  Use
VALID_BACKEND_RAW instead.

Enhance online recovery script for native replication and snapshot isolation mode in pgpool_setup.

Use pg_stat_replication to get the log difference between main and
replica node while executing second stage so that reduces the number
of SQL issued.

Fix segfault in snapshot isolation mode.

If one DB nodes goes down, pgpool segfaulted in the mode. This
happened in si_get_snapshot(). This was caused because it did not
check whether DB node is alive or not.

Doc: add initial Chinese documentation directory.

Enhance native replication mode or snapshot isolation mode online
recovery case.

Use streaming replication in the first stage and replays WAL generated
during base copy as much as possible. In the second stage, now it just
promotes the standby server. If there are little or zero WAL to
replay, this will significantly reduce the duration of the second
stage. This is important because while the system in the second stage,
frontend cannot connect to Pgpool-II.

Fix pgpool_setup so that it creates separate archive directory for each DB node.

pgpool_setup created single archive directory for all PostgreSQL
nodes. This only works with streaming replication because only the
primary node produces archive log. However for native replication and
snapshot isolation mode this does not work as each node produces WAL.

In this fix dedicated archive directories like archivedir/data0
archivedir/data1 and so on are created.

Doc: enhance online recovery document.

Add explanation what should be done in the recovery first stage and
second stage. Also add mention about snapshot isolation mode where
native replication mode is explained.

Remove accidentally left caution of script timeout in the Japanese
document.

Fix pgpool_recovery_pitr generation pgpool_setup.

It generated redundant psql definition line.

Doc: fix indent.

Fix some variable names in follow_primary.sh.sample.

Fix some variable names of "main" to "primary" which should be used in streaming replication mode.

Enhance follow_primary.sh generation in pgpool_setup.

In the generated follow primary script pcp_recovery_node was used to
sync standby with new primary node.  However it is sufficient in
follow primary process to just restart standby with new recovery
configuration redirected to the new primary because we use the
"latest" timeline in the configuration file.

Moreover, from PostgreSQL 13, even restarting standby is not
needed. Just changing the recovery configuration and reloading is
enough. With these changes it is expected that the follow primary
process could be significantly faster than before.

Doc: add explanation about the shared memory required by shared relation cache.

Add description to "Memory requirement" section so that in Pgpool-II
4.1 and after require additional shared memory for shared relation
cache.

Adjusting the allowed range and default value for log_rotation_size

Fix error while allocating shared memory.

If num_init_children * max_pool is huge, pool_coninfo_size() failed to
calculate the size of required shared memory because the data type
used for the variable to store shared memory size was int and it
overflows for too large shared memory size. To fix this change
pool_coninfo_size() to size_t and use appropriate size_t for the
variable used within the function.

Also fix to use proper format qualifier in
pool_shared_memory_create().

Doc: fix typos.

Fix follow_primary script creation in pgpool_setup.

There were some confusions in variable names due to recent language
fix.  This fixes some of "main" to "primary" which should be used in
streaming replication mode.

Fix bug child_max_connections is not respected if ERROR occurs.

When frontend aborts, the counter for child_max_connections is rewound
because ereport(ERROR) issues long jump. Fix is declaring the variable
with volatile qualifier. This is a long standing bug, probably since
child_max_connections was introduced.

Doc: fix typos in docs.

Doc: fix a few typos in Japanese release notes.

Apply mega typo fixes.

Fixes for source code files including *.[chl] and regression scripts,
not only for comments but variable names and function names.

Documents (sgml and some text files) are also fixed.
See:
https://github.com/pgpool/pgpool2/pull/38
for more details.

Patch contributed by Josh Soref. Fixes for Japanese sgml files by me.

Doc: few typo fixes.

Doc: fix typo in the 4.2.1 release note.

Doc: add 4.2.1 release note.

Change all of the pgpool.conf samples socket path to "/var/run/postgresql".

Doc: Add missing raw mode to "5.3. Clustering mode" and fix typos.

Doc: fix indent.

Fix incorrect heartbeat related results of "pcp_pool_status" and "SHOW POOL_STATUS" commands.

Doc: fix installation tips section example.

Previous commit was not sufficient.

Doc: fix usage of firewall-cmd in the installation tips section.

firewall-cmd opened unnecessary ports in the example.

Fix segfault when ALWAYS_PRIMARY is set but DISALLOW_TO_FAILOVER.

If a primary node (for example node 0) has ALWAYS_PRIMARY but does
have DISALLOW_TO_FAILOVER, segfault happens in following step:

1) node 0 stops

2) failover happens. all children restart. The primary node is still 0
because ALWAYS_PRIMARY is set.

2) node 0 starts and it becomes online by using pcp_attach_node.

3) failback process is executed but child process do not restart.

4) child process accesses node 0 because Req_info->primary_node_id is
0 but connection to node 0 does not exist and this causes segfault.

To fix this, do additional check to make sure that failback node is
not former primary node. If it is, do full restart of child process.

Per bug 672.

Doc: fix missing configuration example of clustering mode.

Use single shared memory segment for all shared variables in Pgpool parent process

Shared memory segments is a limited resource and opening too many segments
should be avoided.
Also the default limit for on some operating systems like
OS/X (kern.sysv.shmmni: 32) is very small that you have to increase
shmmni just to run Pgpool-II. 
So to avoid creating too many shared memory segments, the commit creates a
single shared memory segment big enough to hold all required shared memory
and put all shared memory variables within that segment one after the other.