pgq.get_batch_cursor: no need to calculate row count

pgqd: fix maint function names.

refresh libusual, add WFLAGS to CFLAGS

pgqd: fix help string, detect --help

Require [londiste3] in londiste config.

install: add suffix '3' to scripts that conflict with skytools 2

refresh libusual

refresh libusual, sync pgqd with changes in pgsocket

pgq upgrade: missed few obsoleted functions

Makefile: add configure.ac -> lib/m4/usual.m4 dependency

pgq: 2.1.x to 3.0 upgrade script

skytools.parse_pgarray(): ignore dimension prefix

pgqd: Add switch to show template config.

pgq/triggers: sprintf->snprintf

pgq/triggers: Fix crash in case invalidate happens from signal handler.

Currently code assumed the invalidate happens only from per-query checks,
but this seems not to be the case.

Fix it by moving reset code out from invalidate callback.

Also old code seemed to leak htab per full reset, because it assumed
to be located under cache context, but init code did not assign it there.

Thanks to Andrew Dunstan for the report.

Redundant pg_auth file synch removed. By Mark Kirkwood.

New python module: skytools.timeutil

ATM contains FixedOffsetTimezone class and parse_iso_timestamp()
function, which are sadly missing from core Python.

refresh libusual

sql/ticker: use usual/pgsocket for connection handling

the connection.c was already generalized and moved to libusual.
make the ticker use it now.

fix londiste import

temporarily install only minimal number of scripts

pgq/ticker: fix leaks

- make connection.c responsible for freeing PGresult
- free strlist
- make SIGINT free allocated resources

pgq/triggers: tag pgq.logtriga() as obsolete.

Plus few other docstring cleanups.

pgq_coop: test if main consumer has batch open

fix qadmin todo items

DBScript: move self.args check for config to load_config()

This allows config-less scripts to override it.

DBScript.run_func_safely: stop playing with prefer_looping

Precalculating 'prefer_looping' does not work as the parameters
may be changed inside called function.

DBscript.sleep(): wrapper around time.sleep()

This will allow smarter handling of sleep time in the future.
Eg. wake up on notice from db.

DBScript: quick exit on MemoryError

skytools.connect_database: avoid tuning keepalive on unix socket

skytools.Config: allow missing filename

Merge remote branch 'martin/master'

pgq.sqltriga/pgq.logutriga now fire in origin and replica roles.
This allows 'ENABLE ALWAYS' and 'ENABLE REPLICA' triggers to
fire on the target side. Previous behaviour was to only fire in
origin role.

Merge branch 'master' of git://github.com/markokr/skytools-dev

qadmin: parser cleanup, make * optional.

sql/pgq: make pgq.logutriga() ignore UPDATE when only ignored fields change

previously it behaved differently from sqltriga, as it did not need
to analyze which field change.  but it's better if it acts like
sqltriga when field ignoring is used.

sql/pgq: update regtest for get_batch_cursor() change

psycopgwrapper: Activate TCP keepalive on database connections

Turn on keepalive by default, to avoid hanged scripts in case of
network problems.

Also tune the keepalive timeouts smaller, on Linux at least,
so that the error happens after 5 min blackout.
(4 min idle + 4x15sec keepalive pings)

Merge branch 'master' of git://github.com/markokr/skytools-dev

qadmin: extend REGISTER CONSUMER

Custom tick pos: at <tick_id>
Copy other registration: copy <consumer>

todo update

DBScript: restore .looping variable

loop_delay is loaded from conf, so it conflicts with .set_single_loop()
in scripts which have both looping mode and non-looping mode.
Eg: londiste, walmgr

pgq.Consumer: report new class vars in top-level

qadmin: fix style problems

skytools_upgrade: add missing import

walmgr: remove double import

pychecker: dont warn for class docstrs, too much noise

sql/londiste: restore fkeys to local tables only

Fwd-port from 2.1-stable

DBScript: avoid second reload on startup

todo update

pgqadm status: show quick stats

sql/pgq: add quick stats to get_{queue|consumer}_info

get_consumer_info().pending_events

  How batched events are availble for read.

get_queue_info().ev_per_sec

  Average event creation speed, based on recent 20 batches.

get_queue_info().ev_new

  How many events have appreased in queue since recent tick.
  Those are not yet in any batch so consumers cannot read them yet.

DBScript: use log.exception also for psycopg errors

psycopgwrapper: make server_version int

fix pgq brokenness related to recent commits

- get_batch_cursor()
- loop_delay

testlib: set pipefail to catch errors in middle of pipe

londiste: copy expression support

pkgloader: allow non-numerics after '-'

Clean up few veriable names also

londiste copy: use TRUNCATE ONLY on 8.4+

psycopgwrapper: Fill .server_version on older psycopg

This make the parameter always available.

dbstruct: Remove ONLY from ADD CONSTRAINT.

Parent table cannot have contraints that the childs do not have.

Makefile: pass sub-* target exit status back

python/: Add --version switch to all scripts.

Based on patch by Hannu Krosing

londiste: make copy unlink inherited table from it's parents

Otherwise we cannot drop constraints.

Unlink from childs is not needed, so they are left as-is.

Patch by Hannu Krosing

skytools.DBScript: safer pidfile writing

- signal_pidfile: Clarify ValueError error message. Thrown usually
  on empty pidfiles, the error messega will now mention the pidfile name.

- run_single_process: restructure pidfile writing, so that
  the pidfile is removed if .write() failed, but not when open() failed.
  This should avoid the chance that empty pidfiles are hanging around.

python/skytools: add doctest-based regtests to few non-sql functions

Seems to be better testing method than ad-hoc scripts.  They will
serve as examples too.

Also fix few minor problems found in the process:
- parse_pgarray:  check if str ends with }
- parse_pgarray: support NULL
- quote_fqident: add 'public.' schema to idents without schema
- fq_name_parts: return always list

sql/pgq/triggers: magic fields to set event fields directly.

pgq.sqltriga() / pgq.logutriga() now consider following fields magic:

  _pgq_ev_type
  _pgq_ev_data
  _pgq_ev_extra1
  _pgq_ev_extra2
  _pgq_ev_extra3
  _pgq_ev_extra4

If any of them is present in table, corresponding event field is set directly
to it's value, overriding value generated by trigger.

Merge remote branch 'martin/master'

Merge branch 'master' of git://github.com/markokr/skytools-dev

Fix the pg_[x]log rsyncing code to leave out directory contents.

dbscript: rename connection_setup to connection_hook

DBScript: Simplify looping and docstring handling

- looping: remove .do_single_loop and .looping variables, let only .loop_delay
  control looping.  If loop_delay is missing from confing or 0, then
  instead sleep, the script will exit.

- docstr: print docstring fragments recursively, so each class
  needs to only document its own parameters.

- londiste.py: use Replicator class to print default config as it has
  proper class inheritance.

Add various junk to .gitignore

sqltools: make mk_update_sql()/mk_delete_sql() use ONLY

This will make urlencoded events behave same as sql events.

sql/pgq: trigger fixes

- pgq.logutriga() did not put custom pkey= value into events.

- pgq.logutriga() and pgq.sqltriga() did allow UPDATE and DELETE
  on tables without pkey, running into SQL errors downstream.
  They should throw error in such case.

pgq.maint_retry_events(): lock table to allow only single mover

Use SHARE UPDATE EXCLUSIVE lock, which will not conflict with inserts.

Disable archive_command in restored postgresql.conf
archive_command is set to /bin/true instead of disabling archive_mode
This avoids the extra reconfiguration restart when the slave is actually
booted and promoted to master. Based on patch by Mark Kirkwoord.

pgq.Consumer: use next_batch_custom()

This brings new configurable params:

  pgq_min_delay, pgq_min_count, pgq_min_lag

make them also reloadable via SIGHUP.

pgq.get_batch_info(): show also seq values

pgq.Consumer: use lazy_fetch by default

New default_lazy_fetch class var to allow subclasses to turn it off.

pgq.Consumer: use get_batch_cursor()

pgq.next_batch_custom(): extended next_batch

Supports create batch of several ticks and also forced lag.

pgq: make test should also install

nodeinfo: show failed consumers

cascadeadmin: fix provider_node ref

refresh libusual

todo update

configure: add usual_port_check

cascadedconsumer: use exception_hook to store error in db

DBScript: exception_hook

londiste add-seq/tbl: fix --create bug

python/: clean up imports

- Remove unused imports
- Remove relative imports

run.lint: check all packages

Also tune down style warnings

londiste: on error, apply sql on-by-one

Check whether last loop got error (work_state = -1)
and apply sql one-by-one if thats true.

Also, apply TRUNCATE separately from other SQL.

skytools.DBScript: make work_state = -1 signal exception

If exception was thrown, set work_state = -1, to let consumer
handle next work differently.

pgq.CoopConsumer for Python

Simply wrapper around Consumer which redirects few calls to pgq_coop schema.

todo: merge queue loader to londiste

doc: fix html generation

refresh libusual

londiste.local_add_table: use information_schema to get trigger info

This allows to filter out only AFTER triggers without
depending on low-level details of pg_catalog.