python/pgq update

- remove the obsolete setconsumer stuff
- New CascadedConsumer / CascadedWorker classes,
  that are based on regular pgq.Consumer

- move RemoteConsumer / SerialConsumer out of pgq/consumer.py

pgq.Consumer:
- rename conf params and instance variables:
  pgq_queue_name -> queue_name
  pgq_consumer_id -> consumer_name
- disable automatic registration on the queue,
  now script needs to be called with switches --register / --unregister
- drop code to read from multiple-queues at once

pgq.ticker:
- drop event seq tracking code, this is now done in db

Rewrite sql/londiste for cascading.

Noteworthy changes:
- EXECUTE
- Parallel copy from partitions into single table.
- Sequences are now pushed, instead of pulled.
  Root node will periodically send values with reasonable
  safety-room into queue.

Rewrite sql/pgq_set as sql/pgq_node

Main change is that there is no 'set' concept anymore.
Everything is queue-based.

sql/pgq update

structure:
- event_seq field for pgq.tick table, to store last value
  from event_id_seq
- 'disabled' field for pgq.queue, which can disable any
  direct inserts to queue.  inserts are allowed only
  if session_role = 'replica'

functions:

- pgq.next_batch_info() as next_batch() but returns full details
- pgq.ticker(): now contains ticker logic that previously
  was located in python code - it uses the event_seq field
  in tick table to know about last sequence value
- pgq.insert_event_raw() - check disabled flag
- pgq.seq_getval() / pgq.seq_setval() functions for safe
  sequence variable manipulation

- remove denytriga, now regular triggers can play the role
- use OUT parameters instead of ret types
- pgq.force_tick(): silently ignore the request on disabled queues
- pgq.maint_retry_events(): fwd port bugfix from 2.1-stable
- pgq.maint_rotate_tables(): cleanup from 2.1-stable
- pgq.maint_tables_to_vacuum(): add more tables
- triggers/common.c: bugfix from 2.1-stable

python/skytools update

- docstrings
- some preliminary python 3.0 compat (var names, print())
- sync with 2.1-stable

adminscript:
- move exec_cmd function to dbscript

dbstruct:
- support sequnces.  SERIAL columns are not automatically created,
  but the link beteween column and sequence is.

psycopgwrapper:
- drop support for psycopg1
- beginnings of quick DB-API / DictRow description.

quoting:
- new unquote_fqident() function, reverse of quote_fqident()
- quote_statement() accepts both row and dict

dbscript:
- catch startup errors
- use log.exception for exceptions, will result in nicer logs

sqltools:
- exists_sequence()

_pyquoting:
- fix typo in variable name

tag the tree as 3.0-git

If possible, use %r in restore_command. Based on patch by
Mark Kirkwood and Omar Kilani.

fix a crash in master_stop if pidfile not present in config file.
from Mark Kirkwood.

- documentation update.
- upgraded configuration to use 8.3

bugfix for archive_mode detection.

- improved archive_mode handling, loosely based on patch by Mark Kirkwood
- replaced os.system with exec_system, that pays attention to 'not_really'
- separate class for the configuration modifier

skytools.DBScript: better pidfile handling (from 2.2)

skytools.full_copy(): quoting, copy_expert (from 2.2)

skytools.magic_insert: quoting, work on DictRow

skytools.quote_statement: accept arg list (from 2.2)

skytools.dbstruct: import quoting from 2.2 branch

Fix cquoting crash with Decimal() type.

Seems there can be types which have buffer operations struct,
but no function pointers.  So check also for called functions.

WalMgr changes:
- Added recovery restart point handling, retain WAL files since the last
  restart point. Additional slave config parameter "slave_bin" for specifying
  location for postgres binaries.
- Slave backup now creates backup_label and history files.

- s/self.jobs/jobs/ in "reload"
- fix "start" error message when job is already running

proper quoting for dispatcher scripts

- improved error messages on startup if no config file specified.
- walmgr.py stop now also stops syncdaemon
- pg_auth file is copied to slave as part of archiving. restored during boot.
- cleanup in remote_walmgr() to always pass config file to slave walmgr.
- master_backup() now reports exceptions.

import typo fix from -stable, restore stat_add
to keep the differences minimal

DBScript.stat_add - keep the old function for compat

add new files

cascading work:

- let AdminScript detect number of args by introspection
- track event_id_seq downstream
- on rename update subscribers too
- slightly more fleshed out switchover

Postgres 8.0.x requires <utils/hsearch.h> for oid_hash.

Per report by Marcin Stępnicki

test/londiste: create sys dir if not exists

set tags as phony target

pgq_set: pause/resume/change-provider/rename-node work now

skytools.quote_statement(): support list/tuple args too

doc update

tests/londiste: clean sys dir more

sql/pgq: convert pgq.get_batch_info() to use out parameters

python/pgq: more set work

- use worker_name == node_name
- make status command show lag
- pass root tick_time downstream

sql/pgq_set: remove explicit node worker name, it will be equal to node_name

sql/pgq: allow external ticker to specify tick_time

pgq.event: forgot to export EV_UNTAGGED

forgot couple files

more pgq_set/londiste cleanup

pgq.Consumer - complain on untagged events, instead of sending them to retry queue

parse_logtriga_sql - epydoc complained on bad docstring

move common db patterns to skytools.adminscript module

python: rework imports to get better docs...

doc/Makefile: use standard epydoc launcher

make tags file for python

fix retry/failed event handling in pgq.Consumer

more londiste work

- parallel copy
- dont error out in 'copy' when columns differ - its add-table problem
- test big cascade with lot of tables

todo update

dont log so excessively

forget db completely on close_database() to allow location change

fix more bugs - stats, trigger type

todo update

wrong file

more setconsumer/londiste work.

simple init/event processing/copy seems to work.

Use $(MAKE) consistently instead of plain 'make'.

Patch by Pierre-Emmanuel André

drop support for psycopg1

fix root notifications

send events

use empty DESTDIR

more test

txid: install dummy empty txid.sql on 8.3

set registration functions

triggers kinda work

pgq.denytriga - simple deny trigger

remove debug print

proper messages, fq name

new file

fix record SELECT, allow NULL column

missing file

tiny fixes

AUTHORS update from -stable

todo update

more admin work

rename ProviderSetup to LondisteSetup

Couple fixes for 'walmgr restore' from -stable:

- Make sure pg_tblspc exists, 8.3 seems to require it
- Copy config files/symlinks from old data dir over

Original patch by Zoltán Böszörményi, applied with minor rework

clarify var names

setconsumer conversion, copy fix from -stable

new londiste wrapper

make fkeys work

simplify psycopgwrapper:

- remove QuotedString, its unused now
- drop the ugly __setitem__ implementation
- drop __setattr__, __delattr_

row is supposed to be r/o

dollar quoting

import fixes

detect postgres death in recovery

walmgr: Detect stale pidfile by doing kill(pid, 0) to see if process exists.

Patch by Charles Duffy

slight comments cleanup

Fix bugs in previous commit.

very experimental row.col access, add __slots__

new tokenizer that handles quotes properly, use it everywhere

unquote_ident() + unquote_literal()

refresh regtests

unfinished londiste reorg, backup commit

use E quoting if backslash appears

pgq/triggers: allow making backup of old row in ev_extra2

also clean up some common code

use E quoting in sql triggers

sqltools: experimental code - dbdict, mk_*_sql

quoting.py: remove unnecessary urllib import

sql/pgq/Makefile: explicit file list

pgq/triggers/common.h: reorder fields, comment them

pgq/lowlevel: fix error messages

pgq_set: is_root() functions