Merge branch 'master' of https://github.com/markokr/skytools

Merge remote-tracking branch 'gamato/master'

newgrants/pgq_node: another fix

Merge branch 'master' of https://github.com/markokr/skytools

docs

walmgr: small loglevel changes

data_maintainer: better way to handle .looping and .loop_delay

loop_delay: let class variable set default

This way it's easier to change default in subclass.

Merge branch 'master' of https://github.com/markokr/skytools

scripts/data_maintainer.py: fixes

Merge remote-tracking branch 'petr/master'

Revert "setup_skytools: install grant files under /usr/share/skytools"

This reverts commit c63236f11753c06a10dee125f2dc1cd241e92714.

setup_skytools.py wants ability to regenerate the fixes in pure-Python,
which is pain for grant files.  Will look into it later.

More newgrants fixes..

londiste: actually execute the ENABLE/DISABLE RULE query in londiste.create_partition

cascadeadmin status: wait for threads

Instead Queue.join(), call Thread.join() for each
thread.  Otherwise the thread can be active during
process shutdown and throw weird errors.

After that, calling Queue.join() seems useless; it can
even allow additional failure situations.

Also clarify thread count logic.

more newgrants fixes.

mostly works now.

only problem is that londiste_writer needs to be
superuser because of session_replication_role.
That can be fixed with secdef function, but that
means code needs to be installed separately.

setup_skytools: install grant files under /usr/share/skytools

create-node: validate, accept public location from config

configure.ac: check for -lrt

Needed when pgqd is built against libevent (--with-libevent)

Parse & merge Postgres connect strings

scripts: sweeping change to postpone log string formatting

setup_skytools.py: added data_maintainer.py

scripts/data_maintainer.py: updated

scripts/data_maintainer.py: imported from skytools 2.0

Merge branch 'master' of https://github.com/markokr/skytools

Merge branch 'master' of https://github.com/markokr/skytools

Merge remote-tracking branch 'gamato/master'

scripts: fixed shebang line

pgq.cascade.admin: amended threading

thread safety catchup

pgq/cascade: significant speed up of getting status on big cascades

e.g.: 1000 node cascade status went from minutes to seconds

Merge remote-tracking branch 'gamato/master'

walmgr: sweeping change to postpone log string formatting

Merge remote-tracking branch 'gamato/master'

noise

pgq: sweeping change to postpone log string formatting

londiste: sweeping change to postpone log string formatting

londiste: moved drop_obsolete_partitions() call to check_part()

Note that current behaviour is that dispatcher would crash if events older than retention period arrived.
Perhaps it is better than quietly recreating and redropping tables for too old events..?

londiste.drop_obsolete_partitions: changed back to return (and log) names of dropped tables

londiste.create_partition: properly quote owner in ddl

londiste.drop_obsolete_partitions: reformatted

kwcheck.py: compare postgres keywords table

skytools.quoting: add more keywords

Automatically compare pg-git kwlist.h with our list.

New words:

  cross current_catalog current_schema fetch freeze
  full ilike inner is isnull join lateral left like
  natural notnull outer over overlaps right similar
  variadic verbose window with

Merge pull request #23 from reinteractive-open/146bdc280056fcc4cd9bc0385601f03c8c62e01d

adding 'authorizations' as a keyword

make debclean: make it less broken

seems it has not been used for a long time.

londiste.create_trigger: use decode for _new_args[1]

Merge remote-tracking branch 'petr/master'

londiste: added dispatch handler arg retention_period

It controls how long to keep partitions around. Examples: '3 months', '1 year'

noise

londiste.drop_obsolete_partitions: changed to raise notice instead of returning rows; defaults to public schema.

londiste.drop_obsolete_partitions: amended

londiste.drop_obsolete_partitions: added support for different partitioning periods

londiste: reformatted drop_obsolete_partitions() to lower case

londiste: imported drop_obsolete_partitions(2) function

londiste: create_partition now sets owner to match parent table

doc/londiste3: catch up with recent "compare --count-only" commit

Merge remote-tracking branch 'tarvip/master'

added handling deletes to keep_latest row_mode

noise

londiste: added --count-only to compare command

For quickly checking whether tables have same number of rows,
without comparing tables' contents (data).

londiste: quote queue name in trigger args

londiste newgrants: update group names

scriptmgr: fix copy-paste error in full_path

PGQ: same bug different place...

Pgq: fix RetriableBatchWalker initialization

skytools_upgrae: make force option work properly

Remove typo in Event

skytools.Config: fix the case if filename is missing

Initialize Event properly in BaseConsumer

skytools_upgrade: add force option

scriptmgr: give -nH args to sudo

scriptmgr: fix ~ expansion

Merge remote-tracking branch 'petr/master'

scriptmgr: user= support

Daemon sections can now have user= option.  It makes
scriptmgr launch (and kill) daemons with sudo -u $user.

Regression test for previous commit

Londiste: fix trigger generation when extra params that are add-table specific are used (introduced in commit 364ade9)

Added pg keyword 'authorization'

Merge remote-tracking branch 'petr/master'

Londiste: make compare 8.2 compatible

Merge branch 'master' of https://github.com/markokr/skytools

londiste.handler: disable shortcut for specifying handler args together with its name

This will be allowed no more:  --handler="hname(arg1=123, …)"
It was a weak point through which Londiste setup could be broken.

skytools.Config: New default variables.

config_dir - directory where config is located at
config_file - config file itself.

Remove: pgqadm and related code, its unmaintained

Although it was nice to have Python code that shows
how PgQ ticker and maintenance operations should work,
if it's unmaintaned, it's pointless.

Merge pull request #20 from kitsemets/master

londiste3 add-table option --copy-condition removed from man page

BaseScript: skylog_locations config options

This allows to specify per-script skylog.ini

copy-condition removed from londiste3 man page

This option is no longer available as londiste3 add-table option.
Removed in ccfcf87df7fe0a123b563efec1639dec8367c2da

pgq.event: __slots__ cleanup

Merge remote-tracking branch 'petr/consumer_refactor'

Move more of retry logic away from BaseConsumer/Event classes

Store naturaldocs customizations in tree.

Now unpatched naturaldocs should work fine.

Fix basescript docstring

CascadedConsumer is now also subclass of BaseConsumer (does not allow retry)

Merge branch 'master' of skype-git:/git/dba/skytools-3

Refactor Consumer code.

    Common code from pgq.Consumer goes into new pgq.BaseConsumer, pgq.Consumer and pgq.LocalConsumer are now subclasses of pgq.BaseConsumer and pgq.Consumer adds retry api/logic.
    pgq.Event code is now split between pgq.Event and pgq.RetriableEvent.
    These changes reflect the fact that pgq.LocalConsumer should not be allowed to use retry logic.

londiste/handlers/dispatch: undocumented parent table cloning

Merge remote-tracking branch 'gamato/master'

londiste/handlers/dispatch: fixed issue with missing part_func description

Fixes the following issue with Dispatcher based handlers:
ValueError: Invalid handler argument: ['part_func']

debian: simplify more

* don't track sql files one-by-one
* remove genpg.sh
* remove local pg_buildext

deb cleanup

* use installed pg_buildext
* use installed pgxs_debian_control.mk
* 'make deb' forces control file regeneration

This reduces crap maintained locally.

It also does mean that to build against server-dev-X.Y package
that is not for Debians default Postgres version, following packages
need to be installed from PGDG (wiki.postgresql.org/wiki/Apt) repo:

  postgresql-client-common
  postgresql-common
  postgresql-server-dev-all

Merge remote-tracking branch 'remotes/marko-github/master'