python/pgq/cascade: proper process_root_node() calling

CascadedWorker did not call parent class method.

Also remove pointless logging from CascadedConsumer.

pgq.register_consumer_at(): update last seen timestamp on position move

INSTALL: automake seems needed for aclocal

tests/londiste: make logging verbose

cascade: make wm publish periods configurable

This is mostly meant for testing.  The options may be removed or
renamed in the future.

Also fix bug in local wm publish function

cascade: fix watermark publishing

* CascadedWorker:
  - fix time comparision in local wm handling
  - publish wm also for leaf nodes
  - fields node_type, node_name, local_watermark were missing in WorkerState
* pgq_node.get_node_info: on leaf node set local watermark to last consumer tick
* pgq_node.set_global_watermark: don't depend on exact code from pgq_node.get_node_info()

Trying to special-case leaf nodes does not seem to be good idea, because
then provider nodes also need to know subscriber node type.  So stop doing it.

added a small useful example consumer

Merge branch 'master' of git://github.com/markokr/skytools-dev

sql/ticker: make routine database detection work.

Previously databases were only detected at startup.

londiste: cmd_execute() did not check ret_code of londiste.execute_start()

Also unify checking in both places - dont depend on exactly
'200' code from there.

londiste copy: don't give -q unconditionally to copy process.

Seems the original logic assument pgbouncer-like -q,
which only disabled stdout.  But DBScript sets
global log level with it.

Merge commit 'origin/master'

Merge commit 'priit/master'

londiste: unregister fix in playback.py

sql/ticker: ifdef SIGPIPE, SIGHUP for win32

cquoting: compat macros for MSC, minor cleanups

- MSC: macros for 'inline', 'strcasecmp'
- Use stdbool.h instead custom enum for 'bool'.

devnotes: better formatting

tag the tree as 3.0git

sql/: Use more portable sed expression to get list of files.

Old expression was not sed 3.x compatible, used in mingw.

londiste add-table: if schema is missing, create

doc/devnotes: describe git usage more

docs: nicer code blocks

skytools.Config: use config file name as default job_name

DBScript: avoid double config reload

also remove pointless job_name default, as it is already
handled in Config class.

scripting: unify exception handling, show db name

Have single place where exceptions are handled.

psycopg attaches .cursor to each exception,
use that to show connection name in error messages.

Decrease log level in pgq_node.get_node_info.sql and pgq_node.get_consumer_state.sql

fix in admin.py in get_node_subscriber_list ... remove local_watermark column from select

hello world

..

pgq: some cleanups

also remove silly co_name default.

sql/pgq: pgq.batch_retry()

For use by pgq_coop.

pgq: Drop failed event handling.

Badly designed and unused concept.  If such thing is needed
it's much better to handle them via actual queue.

skytools3.txt: link to londiste demo

ticker: fix cfparser conversion

Agile copy-paste hurts.

Also mention heap-impl and base for libusual,
to get proper header dependencies.

Upgrade to newer libusual

- Use autoconf macros from usual.m4
- generate lib/usual/config.h
- ticker: use newer cfparser API
- ticker: use compat module

ticker: remove obsolete Assert()

Refresh libusual

fix query output formatting.

Add ; to commands strings specified via -c

Allow queue name to be specified for register/unregister consumer.

Allow quoted queue and consumer names.

Merge branch 'master' of git://github.com/markokr/skytools-dev

tests/londiste: reintroduce lost topo tests

doc: move html cleaning to realclean

tgz generation fixes

- include html files
- include scripts/*.ini
- include misc/*
- include *.ini under sql/

Merge branch 'master' of git@github.com:markokr/skytools-dev

last doc update

Merge branch 'master' of git@github.com:markokr/skytools-dev

pgq/triggers: remove double include

Both I and Martin added the builtins.h.

tests/londiste: new tests

sql/ticker: accept subsecond timeouts

also update it's todo

Merge branch 'master' of git://github.com/markokr/skytools-dev

tag tree as 3.0a1

sql/ticker: make timeouts work

source.cfg: include libusual in tgz

configure.ac: Detect working gcc warning flags

docs: more updates

New devnotes.txt to help developers.

Import fixes from 2.1-stable.

- make skytools pkg depend on rsync
- missing headers in Postgres modules
- quoting for numeric ident

top Makefile: instead of explicit targets, use subdir targets

doc: update INSTALL on how to build from git

sql/ticker: make pgqd compile & install without PGXS

PGXS used Postgres prefix, but we want executables to use
skytools prefix.

This needed also C compilation support from autoconf.
Lift it from pgbouncer.

sql/ticker: Convert pgqd to libusual.

Thus it aquires:
- daemonization
- logging
- config file
- event loop without full libevent

added missing header file "access/xact.h"

lib: Add libusual as subproject

Merge commit 'martin/master'

tests: move londiste test from cascade/ to londiste/

Apply ISC license clarification

  for f in `grep -rl 'and distribute' .`; do echo -e "%s;and distribute;and/or distribute;\nwq" | ed "$f"; done

More at: http://en.wikipedia.org/wiki/ISC_licence

import docs from 2.1

More doc updates for alpha

sql/pgq_coop: Cooperative consuming

This module allows several consumers (subconsumers)
to share events between them so each subconsumers
sees only part of .

Implementation uses design described here:

 http://lists.pgfoundry.org/pipermail/skytools-users/2008-July/000653.html
 http://lists.pgfoundry.org/pipermail/skytools-users/2008-July/000671.html

Except instead <group>.<consumer> terminology <consumer>.<subconsumer>
is used.  Having 'consumer' mean different things seemed confusing.

Implemented by Asko Tiidumaa

Separated queue pause from external ticker.

added missing header files.

sql/pgq: allow sub_last_tick to be NULL (pgq_coop)

sql/pgq: pgq.get_batch_cursor()

Helper function to fetch batch events using a cursor.

sql/londiste: types.sql was removed

- add PQerrorMessage to conn_error()
- reconnect on db error and timeout
- getopt parentheses bugfix

Merge branch 'master' of git://github.com/markokr/skytools-dev

Buildsystem update

- apply asciidoc/xmlto fixes from -stable
- make strip-ext default
- deb84 target
- reorder fields in setup.py
- email update
- install html docs under share/doc/skytools
- deb: build-dep on asciidoc+xmlto (temporarily?)

sql/londiste: update regtest for fixed message

sql/londiste: allow missing pkey in case of merged table.

Check if pkey is dropped by londiste itself.

Fix copy filtering.

Adding filtering in case of sending events into combined queue
broke default copy-everything for plain cascading.  Fix it by
adding addition argument to .copy_event() whether filtering
should be performed or not.

Merge branch 'master' of git://github.com/markokr/skytools-dev

Various doc updates in preparation for alpha.

sql/ticker: experimental multi-database ticker written in C

The new ticker is based on libevent, uses single-threaded
async  architecture.

It can handle all databases in one Postgres instance, so you
need only one ticker instance per Postgres instance.

By default it autodetects all accessible databases and
whether they have PGQ installed.

Missing features ATM:
- logging
- config files
- daemonizing
- error handling

So it's not production quality yet..

pgq: Ability to limit the number of events inserted by one TX

As PgQ can split batches only on transaction boundaries,
it does not tolerate huge number of events inserted by one TX.

This batch adds per-queue field queue_per_tx_limit, which can be
set to reasonable number and PgQ will enforce the limit, by throwing
error if event counts gets larger, thus rollbacking the problematic TX.

Such limit also adds possibility to survive UPDATE/DELETE statements,
where the WHERE clause is missing or buggy.

sql/pgq: reindent C code

Several places had whitespace bugs, probably due to copy-paste.

As there is no point keeping historical PG style around here,
reindent with proper -kr -i8.

Implemented SHOW CONSUMER command.

- added pgq.set_queue_config function
- almost usable ALTER QUEUE
- simple feedback for non-show commands

Preparation for pgq_coop: make sub_id non-unique.

To allow sharing retry events between coop consumers,
the simplest way is to make then share same sub_id.
So remove any assumptions from the code that
sub_id is unique.

This patch also fixes 2 long-standing bugs:
- pgq.retry_queue had double index
- pgq.subscription.batch_id did not had index

As both had only minor effect on performance, they went
unnoticed so long.

newadm.txt: refresh and mention pending issues

newadm: SHOW HELP

newadm: more commands work now

- register
- unregister
- create queue
- drop queue
- show batch
- show queue

experimental newadm code

todo: update

tests for combined queue_loader

parsing.py: export sql_tokenizer, tag errors

proper error message in pgq_code.create_node()

psycopgwrapper: export connect_database()

pgq: disable manual vacuuming if autovacuum works

log message fix.