walmgr.py: add --version option

Simplify the cleanup logic for partial wals.

"walmgr.py sync" now omits unneeded WAL segments if the
database has been cleanly shut down. This greatly reduces
sync time during planned swithcovers as usually there
is only a single WAL file to be synched to slave.

more files to ignore

Merge branch 'master' of git://github.com/markokr/skytools-dev

Configurable suffix support.

Apply suffix also to manpages, SQL and doc directories

dbstruct: save & restore clustering info

Original patch by André Malo, applied with minor modifications

skytools: export parse_sqltriga_sql

londiste: avoid zombie processes with P_WAIT

os.spawn(P_NOWAIT) leaves zombie childs.  P_WAIT is safe
to use here, as child should daemonize itself anyway.

qadmin: exit command

Merge commit 'upstream/master'

deb: accept modules-9.0

deb: Lets see what happens if package is named skytools3.

Clean ./build before install to avoid pkgloader installing too much.

Fix tgargs initialization for pgq.logtriga()

pgq_node.drop_node(): drop queue

londiste.global_add_table(): catch unique_violation

To avoid failure when both setup and replay add the table.

skytools.parse_sqltriga_sql(): extract PK field names

Move querybuilder code into separate file and refresh with some new code.

deb: deb90, keep debugging info.

It does not make sense to strip server packages.

Tune pylint quieter, to be more useful.

Update londiste test with new script names

pgqd: dont complain about 'no pgq' too loudly

qadmin: max_cnt->max_count as thats what is accepted by ALTER.

londiste: add compare/repair params to --ini

londiste compare: calculate checksum

Also allow specify format string.

Patch by Hannu Krosing

skytools.Config: .options() and .has_options() methods.

Fix double install on debian.

pgq.Consumer: Provide self.batch_info with batch details

sql/londiste: set client_min_messages = 'warning' for regtest

londiste.local_add_table(): skip triggers on leaf node

pgq_node.is_leaf_node()

helper function to detect leaf node.

dont install pgq.logtriga()

installer_find_file: stop searching from cwd

It was fine for some testing, but not for serious usage.

pgq/cascade: when reporting batch pos problem, allow None

pgqd: Detect and remove dropped databases.

pgq_node.set_consumer_error: ignore error for unknown consumer

Install queue_splitter

londiste.local_add_table: use pg_trigger instead of information_schema

information_schema uses ordinary strings as trigger names, so the
sorting order is random due to locale rules.

pgq,londite: support install over skytools 2

skytools.DBObject: remove duplicated file find logic

doc: move dox generation from apiupload to apidoc

pkgloader: avoid supressing any import errors

sql/pgq: compat with 9.0 bytea format

pgq_quote_ident: compat with newer ScanKeywordLookup

Also avoid quoting unreserved names

sql/londiste: 9.0 compat

- londiste.get_table_list(): qualify argument refs with function name
- regtest: load plpgsql ourself
- regtest: avoid contrib_regression on older postgres

londiste.local_remove_table: dynamically detect triggers to be dropped.

pgq/triggers: Survive setup errors better

londiste add-table: pass --skip-truncate to copy process

londiste add-table: --trigger-arg switch to set custom params

refresh libusual

londiste: test custom args

londiste: regtest: avoid 'data', seems its dirty word now

pgq_node: update regtest with new fields

pgq: random naturaldocs 1.4 changes

londiste.local_add_table: allow custom args to triggers

pgq_node.register_consumer: update existing reg info, instead erroring out

pgq: tune regtest to autovacuum=on, which is more common

pgq/triggers: Custom SQL expressions for field values

Move fields around for caching the trigger arguments
and cached plans for override queries.

pgq.Consumer: remove hardwired cursor name

pgq.get_batch_cursor: no need to calculate row count

pgqd: fix maint function names.

refresh libusual, add WFLAGS to CFLAGS

pgqd: fix help string, detect --help

Require [londiste3] in londiste config.

install: add suffix '3' to scripts that conflict with skytools 2

refresh libusual

refresh libusual, sync pgqd with changes in pgsocket

pgq upgrade: missed few obsoleted functions

Makefile: add configure.ac -> lib/m4/usual.m4 dependency

pgq: 2.1.x to 3.0 upgrade script

skytools.parse_pgarray(): ignore dimension prefix

pgqd: Add switch to show template config.

Fix slave_cleanup() so that partial files are not prematurely removed.

pgq/triggers: sprintf->snprintf

pgq/triggers: Fix crash in case invalidate happens from signal handler.

Currently code assumed the invalidate happens only from per-query checks,
but this seems not to be the case.

Fix it by moving reset code out from invalidate callback.

Also old code seemed to leak htab per full reset, because it assumed
to be located under cache context, but init code did not assign it there.

Thanks to Andrew Dunstan for the report.

Redundant pg_auth file synch removed. By Mark Kirkwood.

New python module: skytools.timeutil

ATM contains FixedOffsetTimezone class and parse_iso_timestamp()
function, which are sadly missing from core Python.

refresh libusual

sql/ticker: use usual/pgsocket for connection handling

the connection.c was already generalized and moved to libusual.
make the ticker use it now.

fix londiste import

temporarily install only minimal number of scripts

pgq/ticker: fix leaks

- make connection.c responsible for freeing PGresult
- free strlist
- make SIGINT free allocated resources

pgq/triggers: tag pgq.logtriga() as obsolete.

Plus few other docstring cleanups.

pgq_coop: test if main consumer has batch open

fix qadmin todo items

DBScript: move self.args check for config to load_config()

This allows config-less scripts to override it.

DBScript.run_func_safely: stop playing with prefer_looping

Precalculating 'prefer_looping' does not work as the parameters
may be changed inside called function.

DBscript.sleep(): wrapper around time.sleep()

This will allow smarter handling of sleep time in the future.
Eg. wake up on notice from db.

DBScript: quick exit on MemoryError

skytools.connect_database: avoid tuning keepalive on unix socket

skytools.Config: allow missing filename

Merge remote branch 'martin/master'

pgq.sqltriga/pgq.logutriga now fire in origin and replica roles.
This allows 'ENABLE ALWAYS' and 'ENABLE REPLICA' triggers to
fire on the target side. Previous behaviour was to only fire in
origin role.

Merge branch 'master' of git://github.com/markokr/skytools-dev

qadmin: parser cleanup, make * optional.

sql/pgq: make pgq.logutriga() ignore UPDATE when only ignored fields change

previously it behaved differently from sqltriga, as it did not need
to analyze which field change.  but it's better if it acts like
sqltriga when field ignoring is used.

sql/pgq: update regtest for get_batch_cursor() change

psycopgwrapper: Activate TCP keepalive on database connections

Turn on keepalive by default, to avoid hanged scripts in case of
network problems.

Also tune the keepalive timeouts smaller, on Linux at least,
so that the error happens after 5 min blackout.
(4 min idle + 4x15sec keepalive pings)

Merge branch 'master' of git://github.com/markokr/skytools-dev