Install queue_splitter

londiste.local_add_table: use pg_trigger instead of information_schema

information_schema uses ordinary strings as trigger names, so the
sorting order is random due to locale rules.

pgq,londite: support install over skytools 2

skytools.DBObject: remove duplicated file find logic

doc: move dox generation from apiupload to apidoc

pkgloader: avoid supressing any import errors

sql/pgq: compat with 9.0 bytea format

pgq_quote_ident: compat with newer ScanKeywordLookup

Also avoid quoting unreserved names

sql/londiste: 9.0 compat

- londiste.get_table_list(): qualify argument refs with function name
- regtest: load plpgsql ourself
- regtest: avoid contrib_regression on older postgres

londiste.local_remove_table: dynamically detect triggers to be dropped.

pgq/triggers: Survive setup errors better

londiste add-table: pass --skip-truncate to copy process

londiste add-table: --trigger-arg switch to set custom params

refresh libusual

londiste: test custom args

londiste: regtest: avoid 'data', seems its dirty word now

pgq_node: update regtest with new fields

pgq: random naturaldocs 1.4 changes

londiste.local_add_table: allow custom args to triggers

pgq_node.register_consumer: update existing reg info, instead erroring out

pgq: tune regtest to autovacuum=on, which is more common

pgq/triggers: Custom SQL expressions for field values

Move fields around for caching the trigger arguments
and cached plans for override queries.

pgq.Consumer: remove hardwired cursor name

pgq.get_batch_cursor: no need to calculate row count

pgqd: fix maint function names.

refresh libusual, add WFLAGS to CFLAGS

pgqd: fix help string, detect --help

Require [londiste3] in londiste config.

install: add suffix '3' to scripts that conflict with skytools 2

refresh libusual

refresh libusual, sync pgqd with changes in pgsocket

pgq upgrade: missed few obsoleted functions

Makefile: add configure.ac -> lib/m4/usual.m4 dependency

pgq: 2.1.x to 3.0 upgrade script

skytools.parse_pgarray(): ignore dimension prefix

pgqd: Add switch to show template config.

pgq/triggers: sprintf->snprintf

pgq/triggers: Fix crash in case invalidate happens from signal handler.

Currently code assumed the invalidate happens only from per-query checks,
but this seems not to be the case.

Fix it by moving reset code out from invalidate callback.

Also old code seemed to leak htab per full reset, because it assumed
to be located under cache context, but init code did not assign it there.

Thanks to Andrew Dunstan for the report.

Redundant pg_auth file synch removed. By Mark Kirkwood.

New python module: skytools.timeutil

ATM contains FixedOffsetTimezone class and parse_iso_timestamp()
function, which are sadly missing from core Python.

refresh libusual

sql/ticker: use usual/pgsocket for connection handling

the connection.c was already generalized and moved to libusual.
make the ticker use it now.

fix londiste import

temporarily install only minimal number of scripts

pgq/ticker: fix leaks

- make connection.c responsible for freeing PGresult
- free strlist
- make SIGINT free allocated resources

pgq/triggers: tag pgq.logtriga() as obsolete.

Plus few other docstring cleanups.

pgq_coop: test if main consumer has batch open

fix qadmin todo items

DBScript: move self.args check for config to load_config()

This allows config-less scripts to override it.

DBScript.run_func_safely: stop playing with prefer_looping

Precalculating 'prefer_looping' does not work as the parameters
may be changed inside called function.

DBscript.sleep(): wrapper around time.sleep()

This will allow smarter handling of sleep time in the future.
Eg. wake up on notice from db.

DBScript: quick exit on MemoryError

skytools.connect_database: avoid tuning keepalive on unix socket

skytools.Config: allow missing filename

Merge remote branch 'martin/master'

pgq.sqltriga/pgq.logutriga now fire in origin and replica roles.
This allows 'ENABLE ALWAYS' and 'ENABLE REPLICA' triggers to
fire on the target side. Previous behaviour was to only fire in
origin role.

Merge branch 'master' of git://github.com/markokr/skytools-dev

qadmin: parser cleanup, make * optional.

sql/pgq: make pgq.logutriga() ignore UPDATE when only ignored fields change

previously it behaved differently from sqltriga, as it did not need
to analyze which field change.  but it's better if it acts like
sqltriga when field ignoring is used.

sql/pgq: update regtest for get_batch_cursor() change

psycopgwrapper: Activate TCP keepalive on database connections

Turn on keepalive by default, to avoid hanged scripts in case of
network problems.

Also tune the keepalive timeouts smaller, on Linux at least,
so that the error happens after 5 min blackout.
(4 min idle + 4x15sec keepalive pings)

Merge branch 'master' of git://github.com/markokr/skytools-dev

qadmin: extend REGISTER CONSUMER

Custom tick pos: at <tick_id>
Copy other registration: copy <consumer>

todo update

DBScript: restore .looping variable

loop_delay is loaded from conf, so it conflicts with .set_single_loop()
in scripts which have both looping mode and non-looping mode.
Eg: londiste, walmgr

pgq.Consumer: report new class vars in top-level

qadmin: fix style problems

skytools_upgrade: add missing import

walmgr: remove double import

pychecker: dont warn for class docstrs, too much noise

sql/londiste: restore fkeys to local tables only

Fwd-port from 2.1-stable

DBScript: avoid second reload on startup

todo update

pgqadm status: show quick stats

sql/pgq: add quick stats to get_{queue|consumer}_info

get_consumer_info().pending_events

  How batched events are availble for read.

get_queue_info().ev_per_sec

  Average event creation speed, based on recent 20 batches.

get_queue_info().ev_new

  How many events have appreased in queue since recent tick.
  Those are not yet in any batch so consumers cannot read them yet.

DBScript: use log.exception also for psycopg errors

psycopgwrapper: make server_version int

fix pgq brokenness related to recent commits

- get_batch_cursor()
- loop_delay

testlib: set pipefail to catch errors in middle of pipe

londiste: copy expression support

pkgloader: allow non-numerics after '-'

Clean up few veriable names also

londiste copy: use TRUNCATE ONLY on 8.4+

psycopgwrapper: Fill .server_version on older psycopg

This make the parameter always available.

dbstruct: Remove ONLY from ADD CONSTRAINT.

Parent table cannot have contraints that the childs do not have.

Makefile: pass sub-* target exit status back

python/: Add --version switch to all scripts.

Based on patch by Hannu Krosing

londiste: make copy unlink inherited table from it's parents

Otherwise we cannot drop constraints.

Unlink from childs is not needed, so they are left as-is.

Patch by Hannu Krosing

skytools.DBScript: safer pidfile writing

- signal_pidfile: Clarify ValueError error message. Thrown usually
  on empty pidfiles, the error messega will now mention the pidfile name.

- run_single_process: restructure pidfile writing, so that
  the pidfile is removed if .write() failed, but not when open() failed.
  This should avoid the chance that empty pidfiles are hanging around.

python/skytools: add doctest-based regtests to few non-sql functions

Seems to be better testing method than ad-hoc scripts.  They will
serve as examples too.

Also fix few minor problems found in the process:
- parse_pgarray:  check if str ends with }
- parse_pgarray: support NULL
- quote_fqident: add 'public.' schema to idents without schema
- fq_name_parts: return always list

sql/pgq/triggers: magic fields to set event fields directly.

pgq.sqltriga() / pgq.logutriga() now consider following fields magic:

  _pgq_ev_type
  _pgq_ev_data
  _pgq_ev_extra1
  _pgq_ev_extra2
  _pgq_ev_extra3
  _pgq_ev_extra4

If any of them is present in table, corresponding event field is set directly
to it's value, overriding value generated by trigger.

Merge remote branch 'martin/master'

Merge branch 'master' of git://github.com/markokr/skytools-dev

Fix the pg_[x]log rsyncing code to leave out directory contents.

dbscript: rename connection_setup to connection_hook

DBScript: Simplify looping and docstring handling

- looping: remove .do_single_loop and .looping variables, let only .loop_delay
  control looping.  If loop_delay is missing from confing or 0, then
  instead sleep, the script will exit.

- docstr: print docstring fragments recursively, so each class
  needs to only document its own parameters.

- londiste.py: use Replicator class to print default config as it has
  proper class inheritance.

Add various junk to .gitignore

sqltools: make mk_update_sql()/mk_delete_sql() use ONLY

This will make urlencoded events behave same as sql events.

sql/pgq: trigger fixes

- pgq.logutriga() did not put custom pkey= value into events.

- pgq.logutriga() and pgq.sqltriga() did allow UPDATE and DELETE
  on tables without pkey, running into SQL errors downstream.
  They should throw error in such case.

pgq.maint_retry_events(): lock table to allow only single mover

Use SHARE UPDATE EXCLUSIVE lock, which will not conflict with inserts.

Disable archive_command in restored postgresql.conf
archive_command is set to /bin/true instead of disabling archive_mode
This avoids the extra reconfiguration restart when the slave is actually
booted and promoted to master. Based on patch by Mark Kirkwoord.