Some changes to SPEC file.

Some changes to SPEC file.

Some changes to release-note.

Fix syntax error in native replication, when queries including now() etc. and "IN (SELECT ...)" in WHERE clause.

In native replication, queries including now() etc. are rewritten to a timestamp constant value.
However, Pgpool-II didn't support queries including now() etc. and "IN (SELECT ...)" in WHERE clause.

Per bug433.

Fix docuemnt typos and update release date.

 Change pgpool.spec file to install extension to server which supports LLVM JIT.

Fix occasional less data returned to frontend.

While piggy-packing queries to system catalog data,
pool_push_pending_data() is responsible for pushing response from
backend. To judge whether pending data remains or not, it checks
socket fd of backend and dummy close message response (close
complete). Problem is, if the socket is not ready and accidentally
actual (non dummy) close message response is returned,
pool_push_pending_data() believes that there's no pending data any
more. As a result, some of pending data is not recovered after
returning to normal process.

The idea for fix is, use pending message data list. It records
messages from frontend, and it is expected that we will receive same
number of messages (or more -- e.g. execute message). So we can use
the data to make above judgment more robust for the case described
above.

Initial patch is created by Yugo Nagata. Fix to the patch for certain
cases by me.

See:
https://www.pgpool.net/mantisbt/view.php?id=432
for more details.

Fix memory leak when query cache enabled in streaming replication mode + extended query case.

If BEGIN is executed in extended protocol, allocated temp buffer for
the command never discarded.  This is because in streaming replication
mode + extended query case, when handle_query_cache gets called at the
command complete timing, the reference counter to query context is not
0, which in turn prevents from calling
pool_discard_temp_query_cache().

In reality, we don't need to care about the query context here, so
let's proceed in streaming replication mode + extended query case.

Note that the memory leak case can be easily reproduced by "pgbench -M
extended" command (standard TPC-B).

doc: add note to online recovery doc.

This warns that client_idle_limit_in_recovery must be smaller than
recovery_timeout.

Add "log_client_messages = on" to pursue occasional failure of 065 test.

Sometimes it fails with:

Exception in thread "main" org.postgresql.util.PSQLException: ResultSet not positioned properly, perhaps you need to call next.
at org.postgresql.jdbc.PgResultSet.checkResultSet(PgResultSet.java:2789)
at org.postgresql.jdbc.PgResultSet.getString(PgResultSet.java:1887)
at Main.main(Main.java:26)

Fix memory leak pointed out by Coverity.

Fix memory leak in trigger_failover_command.

Pointed out by Coverity.

Allow to handle beta or rc version.

pgpool_setup failed to extract major version number if it includes non
numeric characters.

Fix memory leak when memory_cache_enabled = on and write SQLs are sent.

In a explicit transaction, we the SELECT results are cached in temporary buffer.
If a write SQL is sent which modifies the table, the temporary buffe should be reset.

Fix occasional failure in regression 065.bug152.

In the test first create a table with some data, then query
it. However sometimes it seems replication delay causes the table
still not ready in standby. Since there's no reason we need to a
standby or slave for this particular test, let the test have only
primary/master.

Fix comment broken by pgindent.

Revert "Fix comment broken by pgindent."

This reverts commit 228b20e43e7d719bb4acc5dc03e7c521f0099f3b.

Fix comment broken by pgindent.

Add "log_client_messages = on" to know more detailed info.

We see occasional failure of the test. To know what's going on, the
new parameter in 4.0 should help a lot.

Fix memory leak pointed out by 2018/10/5 Coverity scan.

While processing command complete message in extended query/streaming
replication mode, failure to read from socket leads to memory leak.

Fix some coverity warnings.

CommandComplete.c: fix memory leak
pool_memqcache.c: fix access to already freed data

Fix regression test 024 failure.

The generated SSL auth files, at least key files needed to be set
permissions to 600.

Fix document typo.

Try to fix regression test 024 failure.

It seems the valid period of root cert is default to now.
Set it to from now to 1 year after. See if this works.

Add cert authentication test.

Fix to add execution permission.

The regression 071 script lacked execution permission.

Add EXECUTE/DEALLOCATE regression test.

Patch created by Takuma Hoshiai.

Enable AM_MAINTAINER_MODE for master branch.

Update pgpool.spec.

Fix typos.

Change Makefile of pgpool_recovery.

Prepare 4.0beta1.

Update pgpool.spec file.

Some changes to 4.0 release-note and update release-note version.

Doc: Add Japanese release-note for Pgpool-II 4.0, and change some documents about authentication.

Disable AM_MAINTAINER_MODE.

Add missing pgpool_recovery--1.0--1.1.sql file to update pgpool_recovery() function version to 1.1.

Add pgpool_recovery--1.1--1.2.sql file to update pgpool_recovery() function version.

Fix kind mismatch error when DEALLOCATE statement is issued.

PREPARE should be add to pool_add_sent_message, so that EXECUTE and DEALLOCATE
can be sent to the same node as PREPARE.

See [pgpool-general: 6226] for more details.

Downgrade warning to debug5 when AES/PLAIN password not found in pool_passwd.

When health_check_password etc. is an empty string, Pgpool-II tries to
fetch AES/PLAIN password in pool_passwd. If other type of password
entry (actually it must be MD5), it warned it. However this is normal
setting till 3.7. Moreover, every time health check or streaming
replication delay check run, it emits the waring and the log file was
filled up with the message.

Solution is, downgrade the message to DEBUG5. Also add password type to
the message.

Add missing src/parser/scan.c file.

Fix buildfarm error of 023.ssl_connection.

It seems CentOS6/7 recognizes "localhost" as IPv6 ::1.

2018-09-08 17:04:06: pid 21508: DETAIL:  no pg_hba.conf entry for host "::1", user "postgres", database "postgres", SSL on

So add following line to pg_hba.conf.

host    all             all             ::1/128                 trust

Let's see if buildfarm still complains.

Prepare 4.0alpha2.

Add some changes to 4.0 english release note.

Add japanese docs for changes about client authentication, and fix some doc typos.

Patch provided by Takuma Hoshiai.

Fix for 0000428: Secure TCP/IP Connections with SSL...

check for empty string in pool_config->ssl_ca_cert before
trying to load root certificates

Add "Migration to Version 4.0" section to releasenote.

Miscellaneous fixes in the area of SCRAM authentication.

The commit takes care of resource leak warnings reported by coverity
in the authentication module of Pgpool-II, Apart from doing the individual
resource leak fixes I have made the authentication system to use the temporary
memory context which gets deleted after the authentication is done.

In addition to the memory related fixes the commit also contains the following.

-- TEXT prefix support for specifying plain text passwords in configuration
and pool_passwd file.
-- Documentation updates to use plain text passwords with TEXT prefix.
-- Fix for 0000427: pg_enc emits wrong warnings
-- Fix for 0000426: Pgpool-II contines to emit warning messages

Add missing gram.c by previous commit.

Add regression test for SSL connection.

This tests SSL connection between frontend <--> Pgpool-II and
Pgpool-II <--> backend.

Import PostgreSQL 11 beta3 parser.

Unbreak pgpool_setup and regression tests against pre-10 PostgreSQL.

Commit 26446126f36dcd34ea9032ac934aafe63acc0eee broke pgpool_setup and
regression tests against pre-10 PostgreSQL because they unconditionally
use feature introduced in PostgreSQL 10, i.e. SCRAM authentication. To
fix this, check PostgreSQL version using initdb -v and not use
PostgreSQL 10 specific feature if PostgreSQL 9.6 or earlier is used.
In this case regression tests 020, 021 and 022 always success.

Update copyright year.

Add notes regarding failover script.

It's not recommended to access against Pgpool-II itself from
failover/failback scripts.

Fix memory leak and typo in comments.

Fix memory leak pointed out by Coverity.

Add missing new file to previous commit.

Move pgproto header files to "include/pgproto".

Change test file name to avoid make dist error due to too long file name.

Change distdir to include new files.

Prepare 4.0alpha1.

Change follow_master_command description new master -> new primary.

Improve 4.0 release note.

Add .gitignore to doc and doc.ja.

Add .gitignore to pgenc and pgproto.
Patch provided by Jesper Pedersen.

Some document updates for SCRAM authentication feature

Patch contributed by Jesper Pedersen <jesper.pedersen@redhat.com>
against SCRAM branch and updated by me against master

Use failover instead of fail-over pr fail_over

Fix mistakes where "fail_over" and "fail-over" were used instead of the
"failover". And that also includes a wrongly spelled configuration parameter
"fail_over_on_backend_error",
Now we throw a warning message when old config name fail_over_on_backend_error
is used instead of failover_on_backend_error,
Using the old config variable name will have no effect.

Run pgindent.

Fix and unify indentation by using PostgreSQL 11's pgindent command.

Deal with pgindent.

Add Pgpool-II 4.0 release note.

Fix test directory name typos.

Add pgproto to Pgpool-II.

Now by installing pgpool, pgproto will also be installed.
Patch provided by Takuma Hoshiai.

Feature: Add SCRAM and Certificate authentication support

New feature to add scram and cert authentication method support in Pgpool-II.
Apart from supporting the new authentication methods the commit also includes
the following enhancements and changes in the authentication framework
of Pgpool-II

Different auth methods for frontend and backend for user session
================================================================
Now it possible to use different authentication method for client
application and backend PostgreSQL servers.
For example, a client application can use scram-sha-256 to connect to Pgpool-II
which in turn can use trust or md5 authentication to connect to
PostgreSQL backend for the same session.

Use MD5 and SCRAM without pool_passwd
=====================================
New configuration parameter allow_clear_text_frontend_auth, enables the Pgpool-II
to use clear-text-password authentication with frontend clients when pool_passwd
file does not contains the password for the connecting user.
For example: suppose PostgreSQL servers has a user named "some_user" which can
connect to database using SCRAM authentication, Now for this "some_user" to
connect to PostgreSQL using SCRAM through Pgpool-II we must have the some_user's
password stored in the pool_passwd file, but if in some case when pool_passwd does
not have the entry of "some_user" and allow_clear_text_frontend_auth is enabled
in the pgpool.conf then Pgpool-II will ask the connecting frontend to use
clear-text-password auth method for authentication, and after receiving the
password from the client, Pgpool-II will use that password to authenticate with
backend using the required SCRAM auth.

Note: allow_clear_text_frontend_auth only works when pool_hba.conf is not enabled.

Encrypted passwords in pool_passwd file
=======================================
Since the SCRAM authentication method explicitly guards against the
man-in-middle type attacks, so to use such authentication methods Pgpool-II
requires the PostgreSQL user password to authenticate with the backend.
But as storing the clear text password in the "pool_passwd" file is never a good
idea, so now you can store the AES256-CBC encrypted password in the "pool_passwd".
To store the AES encrypted password in the "pool_passwd" the password is first
encrypted using the AES256 encryption with the user provided key and then the
encrypted password is base64 encoded and AES prefix is added to
the encoded string.

New pg_enc utility to create encrypted passwords
================================================
A new utility pg_enc is added to create AES encrypted passwords. The utility
works similar in most ways as pg_md5 utility, with a some small differences,
pg_enc also requires the key for encrypting the password entries. later that
same key is required by Pgpool-II to decrypt the passwords to be used for
authentication.

Note: Pgpool-II must be build with ssl (--with-openssl) support to use
this encrypted password feature.

Providing encryption key to Pgpool-II
=====================================
If you have AES encrypted passwords stored in the pool_passwd file, then
Pgpool-II will require the decryption key to decrypt the passwords before
using them, Pgpool-II tries to read the decryption key at startup from
the pgpoolkey file.
By default the Pgpool-II will look for the pgpoolkey file in user's home
directory or the file referenced by environment variable PGPOOLKEYFILE.
You can also specify the key file using the (-k, --key-file=KEY_FILE)
command line argument to the Pgpool-II binary.

Encrypted Passwords in pgpool.conf
==================================
The commit also allows to specify the AES encrypted password in the pgpool.conf
file for healh_check_user, sr_check_user, wd_lifecheck_user and recovery_user
users, Additionally if the password field for any of these users is left blank
in pgpool conf then Pgpool-II will first try to get the password for that user
from pool_passwd file before using the empty password for the connection.
So now pgpool.conf can be made password free and single pool_passwd file can be
used to store all passwords for internal and external user connection

Documentation updates and regression test cases for the
feature are also part of the commit.
Thanks to jesperpedersen <jesper.pedersen@redhat.com> for helping
in documentation and testing for the feature

Fix too small buffer size in some configuration file process.

This was found by newer version of gcc warnings.

pool_config_variables.c: In function ‘BackendFlagsShowFunc’:
pool_config_variables.c:3809:57: warning: ‘__builtin_snprintf’ output truncated before the last format character [-Wformat-truncation=]
   snprintf(buffer, sizeof(buffer), "DISALLOW_TO_FAILOVER");
                                                         ^
In file included from /usr/include/stdio.h:862:0,
                 from pool_config_variables.c:1:
/usr/include/x86_64-linux-gnu/bits/stdio2.h:64:10: note: ‘__builtin_snprintf’ output 21 bytes into a destination of size 20
   return __builtin___snprintf_chk (__s, __n, __USE_FORTIFY_LEVEL - 1,
          ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
        __bos (__s), __fmt, __va_arg_pack ());
        ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

Improve documetation about "black_query_pattern_list".

Improve pg_md5 docs and error message.

Patch provided by Jesper Pedersen and modified by me.

Fix that if the last character of black_query_pattern_list is not ";",
the last SQL pattern was ignored.

Now wether or not the last character ";" exists, the SQL patterns
will be correctly handled.

Fix document example errors about "black_query_pattern_list".

Add some comments about performance to "black_query_pattern_list" docs.

Add definition of PGLIB in regress.sh.
Patch provided by Jesper Pedersen.

Update clean.sh which clean up regression test results.

Patch provided by Jesper Pedersen.

Add .gitignore files.

Patch provided by Jesper Pedersen.

Update expected data to adopt the lastest version of pgproto.

Fix regression test 008.dbredirect error.

Feature: allow to specify load balance weight ratio for load balance parameters.

Add a new feature to allow to specify load balance weight ratio for
"database_redirect_preference_list" and "app_name_redirect_preference_list"
parameters.

You can specify the list of "database-name:node id(ratio)" pairs to
send SELECT queries to a particular backend node for a particular
database connection at a specified load balance ratio.
Also you can specify list of "application-name:node id(ratio)" pairs to
send SELECT queries to a particular backend node for a particular client
application connection at a specified load balance ratio.

This load balance ratio specifies a value between 0 and 1,
and the default is 1.0.

For example, by specifying "database_redirect_preference_list = 'test:1(0.5)'",
Pgpool-II will redirect 50% SELECT queries to the backend node of ID 1
for the connection to "test" database. And the other 50% SELECT queries
will be sent to other backend nodes.

Fix segfault when node 0 is in down status.

MASTER_CONNECTION refers to the connection to "master"
node. "Master" means the first live backend appearing in
pgpool.conf. The master node is determined at the time of fail over.
Unfortunately with both health check and fail_over_on_backend_error
are disabled, there's no chance of failover, which means the master
node id is remained the default value 0. So the MASTER_CONNECTION
refers to the node 0, and the connection is NULL.

Fix is as follows.

If attempt to connection to backend fails, check the master node id in
the shared memory.  If the master node id is the failed node, then
look for new master node using get_next_master_node (this was a static
function, but now it's made to public) and set the node id to the
master node id in the shared memory area.

Problem reported by Muhammad Usama in [pgpool-hackers: 2905].

Fix typos in documents and scripts.

Patch contributed by Jesper Pedersen.

Fix redundant messages in log_client_messages.

Patch contributed by Takuma Hoshiai.

Fix redundant messages when log_client_messages is enabled.

Also add missing test files in the previous commit.
Patch contributed by Takuma Hoshiai.

Fix compiler error if HAVE_ASPRINTF is not defined.

Fix badly formatted comment out line.

Fix configure.ac to remove generating src/sql/pgpool_adm/Makefile.in.

Along with newer autoconf generated files.

Remove unnecessary files.

Add missing last newline.

I have found this while playing with pgindent. It is smart enough to
find out such problems.

Add release-notes 3.3.22-3.7.5.

Add new log_client_messages directive.

This allows to log messages from frontend.

Note that the regression test for this (019.log_client_messages)
requires pgproto command.  We will eventually import pgproto in the
future but for now we just check the existence of pgproto in
019.log_client_messages/test.sh. If pgproto does not exist in the
command search pass, just skip the test with "ok" status.

Patch contributed by Takuma Hoshiai.

Fix document typos.
Patch provided by Takuma Hoshiai.

Fix document typo.

Fix accessing already freed data in extended query.

When previous_message was set and accessed later on, it looked into
already freed data. This is because read_kind_from_backend() set the
pointer to the previous message in session context, and then released
the memory at the end of the function. No report from fields so far. I
just found this while testing Pgpool-II.

To fix this, store the previous message in the session context, rather
than storing the pointer. Also have a flag in the session context to
indicate whether a previous message is actually stored or not.

All the API for previous message has not been changed.

Try to reduce the chance of regression 006.memcache failure.

It seems the occasional failure of the test is caused by replication
lag.  The script tries to read tables from standby but it returns a
table not existing error.  So insert pg_sleep() after creation of
tables.