make deb: shortcut for unofficial packages

deb: Improve dependencies

Source:
- Ticker is not built with libevent-dev
- python-psycopg2 is not needed for building

python-pgq3
- Depends on python-psycopg2

skytools3-walmgr:
- Depends on python-psycopg2
- Does not depend on postgresql-server, it is reasonable to use
  it to manage non-debian Postgres instances.  Make it 'Enhances:'
  instead.

python-skytools3:
- Suggest: python-psycopg2.  Needed for DB functionality, not otherwise.

skytools.natsort: natural sorting of strings

skytools: Option of non-lazy loading for various checkers

skytools: Separate generic scripting from DBScript

split skytools3 in several packages for debian

skytools3              Skytool's replication and queuing
python-pgq3            Skytool's PGQ python library
python-skytools3       python scripts framework for skytools
skytools-ticker3       PGQ ticker daemon service
skytools-walmgr3       high-availability archive and restore commands
postgresql-8.4-pgq3    PGQ server-side code (C module for PostgreSQL)
postgresql-9.0-pgq3    PGQ server-side code (C module for PostgreSQL)

You can install your script in /etc/skytools/*.ini and the skytools package
will try to start them automatically, using scriptmgr.  Of course you still
need to install pgq for ticker services and londiste for replication.

OCM-1524: merge_all switch for non-queue merge leaf

OCM-1524: syntax error fix and added tests

OCM-704: creating merge-leaf with non-existing queue on leaf side should throw an error

OCM-1581: skytools3 script error "Config value not set: subconsumer_timeout"

OCM-1538: londiste3 qtable plugin behaves dangerously when adding skip trigger to a existing queue table

OCM-1524: adding table to n:1 cascade merge should work as with merge-leaf scenario

Avoid direct symbol imports

Always use

  import skytools
  def xx():
   skytools.foo

this allows maximum laziness when importing.

refresh libusual

skytools: Convert __init__ module to apipkg

skytools: Include apipkg module

Include Holger Krekel's apipkg module in skytools.

It allows top module to lazily load symbols from submodules.

londiste.setup: simplify table attr show expression

Added "compression" to master config template.

ignore missing authorized_keys file on wal slave cleanup.

Merge branch 'master' of internal-git:/git/dba/skytools-3

debian: Instead depending, suggest skytools-modules

.gitignore: added *~ and .DS_Store

Added ignoring of VIM's backup files and Mac OS X Finder's custom
folder attributes' files.

fix pid writing in slave xlock.

Slave xlock should not attempt to write pid to BACKUPLOCK
if none was specified on command line.

python/pkgloader.py: removed duplicate raise

generated handlers have keep_latest as default row_mode

fix: temp table schema & quoting, update & delete sql, bulk load count checks

removed next arg from generated dispatcher handler init

fix --ssh-add-key with missing authorized_keys file

empty handler bug fix

Couple of bugfixes for stale backup lock handling.

Move the pg_stop_backup() into a finally: block.
Some instances were reported where the base backup failed with some issue
but pg_stop_backup() hadn't been called and had to be called manually.
This should make that less likely

Add support for detecting stale locks and releasing them instead of aborting

walmgr.py: add "cleanup" command

modernize wal-master.ini

doc/todo: expand some points

todo cleanup

make test: quickly test doctest-enabled modules

cascade status: avoid negative lag, sort by name

negative lag can happen if info fetching takes too long.

CoopConsumer: subconsumer_timeout config param

Merge remote-tracking branch 'intgit/master'

bump db ver

pgq_coop: add version() function

pgq_coop: add possibility to take over dead subconsumer batch

Dispatcher handler

bulk-handler: sync with new api, add GP compat

londiste: new qtable handler

londiste; drop chained handler, use single handler per table

Original idea was to let admins cascade different handlers,
but that seems too complicated.  Instead let programmer
use subclassing to create handlers with required functionality.

dbstruct: GP dist key support

AdminScript.display_table: allow field formatter function

serialconsumer: fix batch_info usage

gitignore: dont ignore too much

SSH batch mode and no strict host checking for remote_walmgr

Create log,pid,conf directories during --init

dbscript: make db service-api errors noiseless

python/pgq: batch_info cleanup

- move batch_info compat from sql to python
- get rid of get_batch_info(), self.batch_info is always defined
- make remoteconsumer use self.batch_info

sql/pgq: separate out the truncate trigger tests

this makes success/failure on 8.3 clearer.

pgq.get_queue_info: report last tick in queue

pgq_node.get_worker_state: new function

combines get_node_info & get_consumer_info

cascadedworker: fix tick tx handling on branch

pgqd: set defaults for pidfile & logfile

cascade tag-dead: spread info over all nodes

refresh libusual

psycopgwrapper: export psycopg2.Error as DBError

status: info improvements

- show queue name
- show local node
- show lag in nicer way
- show last tick on node

cascade status: catch node errors, instead of aborting

pgq_node.get_node_info: set worker_last_tick to last tick on root.

refresh libusual

bump db ver

CascadedWorker: call pgq_node.set_global_watermark() only on branch

dbscript: debug log for new connections

todo: drop done items

pgq/cascade/admin: make tag-dead store into db

pgq_node.drop_node.sql: on local drop, delete all locations

pgq_node.register_location: NULL location keeps old value

londiste: change behaviour of --create* flags

--create now does minimal pkey-only structure

--create-full does maximal structure

--create-only is dropped as too complex

Tweaking --init to work on custom postgres setup

Added --init-X commands to simplify walmgr setup.

- Both wal-master and slave now use [walmgr] configuration section.
- Added --init-master and --init-slave command to set up configuration files.
- Various path are guessed from PGDATA, optionally override with --set X=Y
- "slave" config key in wal-master.ini now only contains hostname
- "slave" config key in wal-slave.ini has been replaced with walmgr_data
- ssh-keygen option to init-master, ssh-add-key option to init-slave
- most of the cf.get() calls for directories have been replaced with cf.getfile()

rewrote netxt_batch for coop consumer to be more flexible, using next_batch_custom

Ignore pgsql_tmp directory while creating base backup.

bug reported by Guillaume Smet

DBScript: allow override config parameters from command line (--set).

pgq/triggers: sanitize some dubious code

bump db ver

pgq.ticker(): rework the old tick sanity check

due to good-enough timing, seq and xmax may appear reversed.

only error out when xmin is wrong.

otherwise throw warning, to debug the issue.

fixed case when event id is NULL on retry

Merge remote branch 'mpihlak/master'

Fix "walmgr stop" not to disable archive_mode.

That is, unless master_restart_cmd is defined.

tests/londiste: test lagging takeover

nodeinfo status: show only first line of error

doc/devnotes: point to new repo

refresh libusual

tests: default to tcp connection

cascadedworker: create ticks on branch in separate tx

txid_visible_in_snapshot() does not consider same txid
as visible in current snapshot.

tests/londiste: generate some load when testing

pgq/triggers: disallow primary key updates

pgq.ticker: better error message when sanity check fails

Merge branch 'master' of internal-git:/git/dba/skytools-3

fixes to producer sql filtering

update syslog settings in pgqd.ini

change default syslog=1 for pgqd.

Merge remote branch 'intgit/master'