pgq_node.version(): 3.0.0.8

londiste.handlers.dispatch: use 'global' instead 'globals()[]'

fix: table rules are incorrect after londiste3 table (re)sync

part handler

handler adds trigger argument to full extra3 field with hash value and
filter to event_processing and full_copy

sqltools.full_copy variable name fix

sort table list by name

fix for "NoneType object not subscriptable" error in dispatcher encoding validation

fixed merge testcode

leaf branch now accepts add-table events

fake_local and qsplitter handlers

added new handlers:
* fake_local  - dummy handler to setup queue tables. All events are ignored. Table structure is not required. Use in branch/leaf
* qsplitter  -  dummy handler to setup queue tables. All events are ignored. Table structure is not required. All table events are inserted to destination queue, specified with handler arg 'queue'.

changed local_add_table to allow adding of non-existing tables

renamed direct handler func name

Merge branch 'master' of lux-dbeer:code/skytools-3

no crash when column detection fails

Merge branch 'master' of https://github.com/markokr/skytools

direct handler

direct handler is functionally identical with
table handler (default when no handler specified),
but uses dispatch handler logic

error when fixing utf8 in rows with null values

cascade event log level to debug

skytools.Config: switch to turn off all default values

table locality check for multi-source leaf

subconsumer (un)registration to qadmin

OCM-2211 pgq_coop doesnt remove timed out subconsumers without active batch

OCM-2279: londiste3 should translate everything to utf8, in a lossy way
where appropriate

* added argument 'encoding' to dispatcher handler
* tests for invalid utf8 sequences
* support for renamed table copy in dispatcher handler

table name and columns change support for full_copy

added support for destination table and columns with
different name than source

applyfunc handler

fixed failed sync exit code

pgq.triggers: Fix potential rare crash.

The bad hash_search(HASH_ENTER) + SPI_execute() pattern
is used here also.  Fix it by always properly initializing
the info structure.

The similar pattern exist also in PgqTriggerInfo, but that
is already handled via ->finalized flag.

pgq.insert_event: Fix rare crash

If hash_search(HASH_ENTER) succeeds, but make_plan() fails,
due to statement_timeout/deadlock, then HTAB entry will
contain invalid values which leads to crash on next call.

Fix it by always fully initializing struct before calling make_plan().

Debugged-by: Martin Pihlak

make deb: shortcut for unofficial packages

deb: Improve dependencies

Source:
- Ticker is not built with libevent-dev
- python-psycopg2 is not needed for building

python-pgq3
- Depends on python-psycopg2

skytools3-walmgr:
- Depends on python-psycopg2
- Does not depend on postgresql-server, it is reasonable to use
  it to manage non-debian Postgres instances.  Make it 'Enhances:'
  instead.

python-skytools3:
- Suggest: python-psycopg2.  Needed for DB functionality, not otherwise.

skytools.natsort: natural sorting of strings

skytools: Option of non-lazy loading for various checkers

skytools: Separate generic scripting from DBScript

split skytools3 in several packages for debian

skytools3              Skytool's replication and queuing
python-pgq3            Skytool's PGQ python library
python-skytools3       python scripts framework for skytools
skytools-ticker3       PGQ ticker daemon service
skytools-walmgr3       high-availability archive and restore commands
postgresql-8.4-pgq3    PGQ server-side code (C module for PostgreSQL)
postgresql-9.0-pgq3    PGQ server-side code (C module for PostgreSQL)

You can install your script in /etc/skytools/*.ini and the skytools package
will try to start them automatically, using scriptmgr.  Of course you still
need to install pgq for ticker services and londiste for replication.

OCM-1524: merge_all switch for non-queue merge leaf

OCM-1524: syntax error fix and added tests

OCM-704: creating merge-leaf with non-existing queue on leaf side should throw an error

OCM-1581: skytools3 script error "Config value not set: subconsumer_timeout"

OCM-1538: londiste3 qtable plugin behaves dangerously when adding skip trigger to a existing queue table

OCM-1524: adding table to n:1 cascade merge should work as with merge-leaf scenario

Avoid direct symbol imports

Always use

  import skytools
  def xx():
   skytools.foo

this allows maximum laziness when importing.

refresh libusual

skytools: Convert __init__ module to apipkg

skytools: Include apipkg module

Include Holger Krekel's apipkg module in skytools.

It allows top module to lazily load symbols from submodules.

londiste.setup: simplify table attr show expression

Added "compression" to master config template.

ignore missing authorized_keys file on wal slave cleanup.

Merge branch 'master' of internal-git:/git/dba/skytools-3

debian: Instead depending, suggest skytools-modules

.gitignore: added *~ and .DS_Store

Added ignoring of VIM's backup files and Mac OS X Finder's custom
folder attributes' files.

fix pid writing in slave xlock.

Slave xlock should not attempt to write pid to BACKUPLOCK
if none was specified on command line.

python/pkgloader.py: removed duplicate raise

generated handlers have keep_latest as default row_mode

fix: temp table schema & quoting, update & delete sql, bulk load count checks

removed next arg from generated dispatcher handler init

fix --ssh-add-key with missing authorized_keys file

empty handler bug fix

Couple of bugfixes for stale backup lock handling.

Move the pg_stop_backup() into a finally: block.
Some instances were reported where the base backup failed with some issue
but pg_stop_backup() hadn't been called and had to be called manually.
This should make that less likely

Add support for detecting stale locks and releasing them instead of aborting

walmgr.py: add "cleanup" command

modernize wal-master.ini

doc/todo: expand some points

todo cleanup

make test: quickly test doctest-enabled modules

cascade status: avoid negative lag, sort by name

negative lag can happen if info fetching takes too long.

CoopConsumer: subconsumer_timeout config param

Merge remote-tracking branch 'intgit/master'

bump db ver

pgq_coop: add version() function

pgq_coop: add possibility to take over dead subconsumer batch

Dispatcher handler

bulk-handler: sync with new api, add GP compat

londiste: new qtable handler

londiste; drop chained handler, use single handler per table

Original idea was to let admins cascade different handlers,
but that seems too complicated.  Instead let programmer
use subclassing to create handlers with required functionality.

dbstruct: GP dist key support

AdminScript.display_table: allow field formatter function

serialconsumer: fix batch_info usage

gitignore: dont ignore too much

SSH batch mode and no strict host checking for remote_walmgr

Create log,pid,conf directories during --init

dbscript: make db service-api errors noiseless

python/pgq: batch_info cleanup

- move batch_info compat from sql to python
- get rid of get_batch_info(), self.batch_info is always defined
- make remoteconsumer use self.batch_info

sql/pgq: separate out the truncate trigger tests

this makes success/failure on 8.3 clearer.

pgq.get_queue_info: report last tick in queue

pgq_node.get_worker_state: new function

combines get_node_info & get_consumer_info

cascadedworker: fix tick tx handling on branch

pgqd: set defaults for pidfile & logfile

cascade tag-dead: spread info over all nodes

refresh libusual

psycopgwrapper: export psycopg2.Error as DBError

status: info improvements

- show queue name
- show local node
- show lag in nicer way
- show last tick on node

cascade status: catch node errors, instead of aborting

pgq_node.get_node_info: set worker_last_tick to last tick on root.

refresh libusual

bump db ver

CascadedWorker: call pgq_node.set_global_watermark() only on branch

dbscript: debug log for new connections

todo: drop done items

pgq/cascade/admin: make tag-dead store into db

pgq_node.drop_node.sql: on local drop, delete all locations