Refresh libusual

fix query output formatting.

Add ; to commands strings specified via -c

Allow queue name to be specified for register/unregister consumer.

Allow quoted queue and consumer names.

Merge branch 'master' of git://github.com/markokr/skytools-dev

tests/londiste: reintroduce lost topo tests

doc: move html cleaning to realclean

tgz generation fixes

- include html files
- include scripts/*.ini
- include misc/*
- include *.ini under sql/

Merge branch 'master' of git@github.com:markokr/skytools-dev

last doc update

Merge branch 'master' of git@github.com:markokr/skytools-dev

pgq/triggers: remove double include

Both I and Martin added the builtins.h.

tests/londiste: new tests

sql/ticker: accept subsecond timeouts

also update it's todo

Merge branch 'master' of git://github.com/markokr/skytools-dev

tag tree as 3.0a1

sql/ticker: make timeouts work

source.cfg: include libusual in tgz

configure.ac: Detect working gcc warning flags

docs: more updates

New devnotes.txt to help developers.

Import fixes from 2.1-stable.

- make skytools pkg depend on rsync
- missing headers in Postgres modules
- quoting for numeric ident

top Makefile: instead of explicit targets, use subdir targets

doc: update INSTALL on how to build from git

sql/ticker: make pgqd compile & install without PGXS

PGXS used Postgres prefix, but we want executables to use
skytools prefix.

This needed also C compilation support from autoconf.
Lift it from pgbouncer.

sql/ticker: Convert pgqd to libusual.

Thus it aquires:
- daemonization
- logging
- config file
- event loop without full libevent

added missing header file "access/xact.h"

lib: Add libusual as subproject

Merge commit 'martin/master'

tests: move londiste test from cascade/ to londiste/

Apply ISC license clarification

  for f in `grep -rl 'and distribute' .`; do echo -e "%s;and distribute;and/or distribute;\nwq" | ed "$f"; done

More at: http://en.wikipedia.org/wiki/ISC_licence

import docs from 2.1

More doc updates for alpha

sql/pgq_coop: Cooperative consuming

This module allows several consumers (subconsumers)
to share events between them so each subconsumers
sees only part of .

Implementation uses design described here:

 http://lists.pgfoundry.org/pipermail/skytools-users/2008-July/000653.html
 http://lists.pgfoundry.org/pipermail/skytools-users/2008-July/000671.html

Except instead <group>.<consumer> terminology <consumer>.<subconsumer>
is used.  Having 'consumer' mean different things seemed confusing.

Implemented by Asko Tiidumaa

Separated queue pause from external ticker.

added missing header files.

sql/pgq: allow sub_last_tick to be NULL (pgq_coop)

sql/pgq: pgq.get_batch_cursor()

Helper function to fetch batch events using a cursor.

sql/londiste: types.sql was removed

- add PQerrorMessage to conn_error()
- reconnect on db error and timeout
- getopt parentheses bugfix

Merge branch 'master' of git://github.com/markokr/skytools-dev

Buildsystem update

- apply asciidoc/xmlto fixes from -stable
- make strip-ext default
- deb84 target
- reorder fields in setup.py
- email update
- install html docs under share/doc/skytools
- deb: build-dep on asciidoc+xmlto (temporarily?)

sql/londiste: update regtest for fixed message

sql/londiste: allow missing pkey in case of merged table.

Check if pkey is dropped by londiste itself.

Fix copy filtering.

Adding filtering in case of sending events into combined queue
broke default copy-everything for plain cascading.  Fix it by
adding addition argument to .copy_event() whether filtering
should be performed or not.

Merge branch 'master' of git://github.com/markokr/skytools-dev

Various doc updates in preparation for alpha.

sql/ticker: experimental multi-database ticker written in C

The new ticker is based on libevent, uses single-threaded
async  architecture.

It can handle all databases in one Postgres instance, so you
need only one ticker instance per Postgres instance.

By default it autodetects all accessible databases and
whether they have PGQ installed.

Missing features ATM:
- logging
- config files
- daemonizing
- error handling

So it's not production quality yet..

pgq: Ability to limit the number of events inserted by one TX

As PgQ can split batches only on transaction boundaries,
it does not tolerate huge number of events inserted by one TX.

This batch adds per-queue field queue_per_tx_limit, which can be
set to reasonable number and PgQ will enforce the limit, by throwing
error if event counts gets larger, thus rollbacking the problematic TX.

Such limit also adds possibility to survive UPDATE/DELETE statements,
where the WHERE clause is missing or buggy.

sql/pgq: reindent C code

Several places had whitespace bugs, probably due to copy-paste.

As there is no point keeping historical PG style around here,
reindent with proper -kr -i8.

Implemented SHOW CONSUMER command.

- added pgq.set_queue_config function
- almost usable ALTER QUEUE
- simple feedback for non-show commands

Preparation for pgq_coop: make sub_id non-unique.

To allow sharing retry events between coop consumers,
the simplest way is to make then share same sub_id.
So remove any assumptions from the code that
sub_id is unique.

This patch also fixes 2 long-standing bugs:
- pgq.retry_queue had double index
- pgq.subscription.batch_id did not had index

As both had only minor effect on performance, they went
unnoticed so long.

newadm.txt: refresh and mention pending issues

newadm: SHOW HELP

newadm: more commands work now

- register
- unregister
- create queue
- drop queue
- show batch
- show queue

experimental newadm code

todo: update

tests for combined queue_loader

parsing.py: export sql_tokenizer, tag errors

proper error message in pgq_code.create_node()

psycopgwrapper: export connect_database()

pgq: disable manual vacuuming if autovacuum works

log message fix.

add-table improvements.

add-seq improvements

- bring londiste.ini up to date
- bring londiste help message more up to date
- add --help hint for DBScript start error msg
- bump pgq version to 3.0devel

Merge branch 'master' of git://github.com/markokr/skytools-dev

Handle PostgreSQL configuration files as part of backup/restore.
New configuration variables for the config locations plus the
documentation changes.

Mark Kirkwoord, with some editorialization by me.

Signed-off-by: Marko Kreen <markokr@gmail.com>

Handle PostgreSQL configuration files as part of backup/restore.
New configuration variables for the config locations plus the
documentation changes.

Mark Kirkwoord, with some editorialization by me.

Merge branch 'master' of git://github.com/markokr/skytools-dev

Combined queue_loader

Merge table_dispatcher, cube_dispatcher and bulk_loader together

plainworker: process_remote_event takes cursors not dbs

New UsageError exception class.

When thrown, the DBScript will just print the error message,
without traceback and any additional noise

To be used to show user simple error messages.

Can be used to build own Exception classes.

Add skytools.exists_temp_table() to test if temp table exists.

CascadeAdmin: check if --provider is set

This needs to be tested early or rather confusing
error messages will appear.

Merge branch 'master' of git://github.com/markokr/skytools-dev

test fixes.

Signed-off-by: Marko Kreen <markokr@gmail.com>

test fixes.

test installed code not code in source dir

build fixes:

- install pgq.cascade package
- use proper date format in debian/changelog

remove obsolete files

Various doc updates.

build system update

- make check target to use pychecker on codebase
- configure switch to install user-runnable python
  scripts without .py extension
- reset debian/changelog
- deb: drop psycopg1, pg8.0, pg8.1

scripts/ update, mostly from 2.1-stable

Some docsrting updates also.

Dispatchers have not upgraded for cascading yet.

new tests for cascading

python/londiste rewrite for cascading

New features:
- Cascading
- 'execute' command for running SQL scripts on nodes
- Parallel COPY
- Partition merge
- Sequences are pushed from root
- Rename 'add' command to 'add-table'
- --create switch to add-seq / add-table

also drop the never-implemented file-based transport classes.

python/pgq update

- remove the obsolete setconsumer stuff
- New CascadedConsumer / CascadedWorker classes,
  that are based on regular pgq.Consumer

- move RemoteConsumer / SerialConsumer out of pgq/consumer.py

pgq.Consumer:
- rename conf params and instance variables:
  pgq_queue_name -> queue_name
  pgq_consumer_id -> consumer_name
- disable automatic registration on the queue,
  now script needs to be called with switches --register / --unregister
- drop code to read from multiple-queues at once

pgq.ticker:
- drop event seq tracking code, this is now done in db

Rewrite sql/londiste for cascading.

Noteworthy changes:
- EXECUTE
- Parallel copy from partitions into single table.
- Sequences are now pushed, instead of pulled.
  Root node will periodically send values with reasonable
  safety-room into queue.

Rewrite sql/pgq_set as sql/pgq_node

Main change is that there is no 'set' concept anymore.
Everything is queue-based.

sql/pgq update

structure:
- event_seq field for pgq.tick table, to store last value
  from event_id_seq
- 'disabled' field for pgq.queue, which can disable any
  direct inserts to queue.  inserts are allowed only
  if session_role = 'replica'

functions:

- pgq.next_batch_info() as next_batch() but returns full details
- pgq.ticker(): now contains ticker logic that previously
  was located in python code - it uses the event_seq field
  in tick table to know about last sequence value
- pgq.insert_event_raw() - check disabled flag
- pgq.seq_getval() / pgq.seq_setval() functions for safe
  sequence variable manipulation

- remove denytriga, now regular triggers can play the role
- use OUT parameters instead of ret types
- pgq.force_tick(): silently ignore the request on disabled queues
- pgq.maint_retry_events(): fwd port bugfix from 2.1-stable
- pgq.maint_rotate_tables(): cleanup from 2.1-stable
- pgq.maint_tables_to_vacuum(): add more tables
- triggers/common.c: bugfix from 2.1-stable

python/skytools update

- docstrings
- some preliminary python 3.0 compat (var names, print())
- sync with 2.1-stable

adminscript:
- move exec_cmd function to dbscript

dbstruct:
- support sequnces.  SERIAL columns are not automatically created,
  but the link beteween column and sequence is.

psycopgwrapper:
- drop support for psycopg1
- beginnings of quick DB-API / DictRow description.

quoting:
- new unquote_fqident() function, reverse of quote_fqident()
- quote_statement() accepts both row and dict

dbscript:
- catch startup errors
- use log.exception for exceptions, will result in nicer logs

sqltools:
- exists_sequence()

_pyquoting:
- fix typo in variable name

tag the tree as 3.0-git

If possible, use %r in restore_command. Based on patch by
Mark Kirkwood and Omar Kilani.

fix a crash in master_stop if pidfile not present in config file.
from Mark Kirkwood.

- documentation update.
- upgraded configuration to use 8.3

bugfix for archive_mode detection.

- improved archive_mode handling, loosely based on patch by Mark Kirkwood
- replaced os.system with exec_system, that pays attention to 'not_really'
- separate class for the configuration modifier

skytools.DBScript: better pidfile handling (from 2.2)

skytools.full_copy(): quoting, copy_expert (from 2.2)