Merge branch 'master' of git://github.com/markokr/skytools-dev

Buildsystem update

- apply asciidoc/xmlto fixes from -stable
- make strip-ext default
- deb84 target
- reorder fields in setup.py
- email update
- install html docs under share/doc/skytools
- deb: build-dep on asciidoc+xmlto (temporarily?)

sql/londiste: update regtest for fixed message

sql/londiste: allow missing pkey in case of merged table.

Check if pkey is dropped by londiste itself.

Fix copy filtering.

Adding filtering in case of sending events into combined queue
broke default copy-everything for plain cascading.  Fix it by
adding addition argument to .copy_event() whether filtering
should be performed or not.

Merge branch 'master' of git://github.com/markokr/skytools-dev

Various doc updates in preparation for alpha.

sql/ticker: experimental multi-database ticker written in C

The new ticker is based on libevent, uses single-threaded
async  architecture.

It can handle all databases in one Postgres instance, so you
need only one ticker instance per Postgres instance.

By default it autodetects all accessible databases and
whether they have PGQ installed.

Missing features ATM:
- logging
- config files
- daemonizing
- error handling

So it's not production quality yet..

pgq: Ability to limit the number of events inserted by one TX

As PgQ can split batches only on transaction boundaries,
it does not tolerate huge number of events inserted by one TX.

This batch adds per-queue field queue_per_tx_limit, which can be
set to reasonable number and PgQ will enforce the limit, by throwing
error if event counts gets larger, thus rollbacking the problematic TX.

Such limit also adds possibility to survive UPDATE/DELETE statements,
where the WHERE clause is missing or buggy.

sql/pgq: reindent C code

Several places had whitespace bugs, probably due to copy-paste.

As there is no point keeping historical PG style around here,
reindent with proper -kr -i8.

Implemented SHOW CONSUMER command.

- added pgq.set_queue_config function
- almost usable ALTER QUEUE
- simple feedback for non-show commands

Preparation for pgq_coop: make sub_id non-unique.

To allow sharing retry events between coop consumers,
the simplest way is to make then share same sub_id.
So remove any assumptions from the code that
sub_id is unique.

This patch also fixes 2 long-standing bugs:
- pgq.retry_queue had double index
- pgq.subscription.batch_id did not had index

As both had only minor effect on performance, they went
unnoticed so long.

newadm.txt: refresh and mention pending issues

newadm: SHOW HELP

newadm: more commands work now

- register
- unregister
- create queue
- drop queue
- show batch
- show queue

experimental newadm code

todo: update

tests for combined queue_loader

parsing.py: export sql_tokenizer, tag errors

proper error message in pgq_code.create_node()

psycopgwrapper: export connect_database()

pgq: disable manual vacuuming if autovacuum works

log message fix.

add-table improvements.

add-seq improvements

- bring londiste.ini up to date
- bring londiste help message more up to date
- add --help hint for DBScript start error msg
- bump pgq version to 3.0devel

Merge branch 'master' of git://github.com/markokr/skytools-dev

Handle PostgreSQL configuration files as part of backup/restore.
New configuration variables for the config locations plus the
documentation changes.

Mark Kirkwoord, with some editorialization by me.

Signed-off-by: Marko Kreen <markokr@gmail.com>

Handle PostgreSQL configuration files as part of backup/restore.
New configuration variables for the config locations plus the
documentation changes.

Mark Kirkwoord, with some editorialization by me.

Merge branch 'master' of git://github.com/markokr/skytools-dev

Combined queue_loader

Merge table_dispatcher, cube_dispatcher and bulk_loader together

plainworker: process_remote_event takes cursors not dbs

New UsageError exception class.

When thrown, the DBScript will just print the error message,
without traceback and any additional noise

To be used to show user simple error messages.

Can be used to build own Exception classes.

Add skytools.exists_temp_table() to test if temp table exists.

CascadeAdmin: check if --provider is set

This needs to be tested early or rather confusing
error messages will appear.

Merge branch 'master' of git://github.com/markokr/skytools-dev

test fixes.

Signed-off-by: Marko Kreen <markokr@gmail.com>

test fixes.

test installed code not code in source dir

build fixes:

- install pgq.cascade package
- use proper date format in debian/changelog

remove obsolete files

Various doc updates.

build system update

- make check target to use pychecker on codebase
- configure switch to install user-runnable python
  scripts without .py extension
- reset debian/changelog
- deb: drop psycopg1, pg8.0, pg8.1

scripts/ update, mostly from 2.1-stable

Some docsrting updates also.

Dispatchers have not upgraded for cascading yet.

new tests for cascading

python/londiste rewrite for cascading

New features:
- Cascading
- 'execute' command for running SQL scripts on nodes
- Parallel COPY
- Partition merge
- Sequences are pushed from root
- Rename 'add' command to 'add-table'
- --create switch to add-seq / add-table

also drop the never-implemented file-based transport classes.

python/pgq update

- remove the obsolete setconsumer stuff
- New CascadedConsumer / CascadedWorker classes,
  that are based on regular pgq.Consumer

- move RemoteConsumer / SerialConsumer out of pgq/consumer.py

pgq.Consumer:
- rename conf params and instance variables:
  pgq_queue_name -> queue_name
  pgq_consumer_id -> consumer_name
- disable automatic registration on the queue,
  now script needs to be called with switches --register / --unregister
- drop code to read from multiple-queues at once

pgq.ticker:
- drop event seq tracking code, this is now done in db

Rewrite sql/londiste for cascading.

Noteworthy changes:
- EXECUTE
- Parallel copy from partitions into single table.
- Sequences are now pushed, instead of pulled.
  Root node will periodically send values with reasonable
  safety-room into queue.

Rewrite sql/pgq_set as sql/pgq_node

Main change is that there is no 'set' concept anymore.
Everything is queue-based.

sql/pgq update

structure:
- event_seq field for pgq.tick table, to store last value
  from event_id_seq
- 'disabled' field for pgq.queue, which can disable any
  direct inserts to queue.  inserts are allowed only
  if session_role = 'replica'

functions:

- pgq.next_batch_info() as next_batch() but returns full details
- pgq.ticker(): now contains ticker logic that previously
  was located in python code - it uses the event_seq field
  in tick table to know about last sequence value
- pgq.insert_event_raw() - check disabled flag
- pgq.seq_getval() / pgq.seq_setval() functions for safe
  sequence variable manipulation

- remove denytriga, now regular triggers can play the role
- use OUT parameters instead of ret types
- pgq.force_tick(): silently ignore the request on disabled queues
- pgq.maint_retry_events(): fwd port bugfix from 2.1-stable
- pgq.maint_rotate_tables(): cleanup from 2.1-stable
- pgq.maint_tables_to_vacuum(): add more tables
- triggers/common.c: bugfix from 2.1-stable

python/skytools update

- docstrings
- some preliminary python 3.0 compat (var names, print())
- sync with 2.1-stable

adminscript:
- move exec_cmd function to dbscript

dbstruct:
- support sequnces.  SERIAL columns are not automatically created,
  but the link beteween column and sequence is.

psycopgwrapper:
- drop support for psycopg1
- beginnings of quick DB-API / DictRow description.

quoting:
- new unquote_fqident() function, reverse of quote_fqident()
- quote_statement() accepts both row and dict

dbscript:
- catch startup errors
- use log.exception for exceptions, will result in nicer logs

sqltools:
- exists_sequence()

_pyquoting:
- fix typo in variable name

tag the tree as 3.0-git

If possible, use %r in restore_command. Based on patch by
Mark Kirkwood and Omar Kilani.

fix a crash in master_stop if pidfile not present in config file.
from Mark Kirkwood.

- documentation update.
- upgraded configuration to use 8.3

bugfix for archive_mode detection.

- improved archive_mode handling, loosely based on patch by Mark Kirkwood
- replaced os.system with exec_system, that pays attention to 'not_really'
- separate class for the configuration modifier

skytools.DBScript: better pidfile handling (from 2.2)

skytools.full_copy(): quoting, copy_expert (from 2.2)

skytools.magic_insert: quoting, work on DictRow

skytools.quote_statement: accept arg list (from 2.2)

skytools.dbstruct: import quoting from 2.2 branch

Fix cquoting crash with Decimal() type.

Seems there can be types which have buffer operations struct,
but no function pointers.  So check also for called functions.

WalMgr changes:
- Added recovery restart point handling, retain WAL files since the last
  restart point. Additional slave config parameter "slave_bin" for specifying
  location for postgres binaries.
- Slave backup now creates backup_label and history files.

- s/self.jobs/jobs/ in "reload"
- fix "start" error message when job is already running

proper quoting for dispatcher scripts

- improved error messages on startup if no config file specified.
- walmgr.py stop now also stops syncdaemon
- pg_auth file is copied to slave as part of archiving. restored during boot.
- cleanup in remote_walmgr() to always pass config file to slave walmgr.
- master_backup() now reports exceptions.

import typo fix from -stable, restore stat_add
to keep the differences minimal

DBScript.stat_add - keep the old function for compat

add new files

cascading work:

- let AdminScript detect number of args by introspection
- track event_id_seq downstream
- on rename update subscribers too
- slightly more fleshed out switchover

Postgres 8.0.x requires <utils/hsearch.h> for oid_hash.

Per report by Marcin Stępnicki

test/londiste: create sys dir if not exists

set tags as phony target

pgq_set: pause/resume/change-provider/rename-node work now

skytools.quote_statement(): support list/tuple args too

doc update

tests/londiste: clean sys dir more

sql/pgq: convert pgq.get_batch_info() to use out parameters

python/pgq: more set work

- use worker_name == node_name
- make status command show lag
- pass root tick_time downstream

sql/pgq_set: remove explicit node worker name, it will be equal to node_name

sql/pgq: allow external ticker to specify tick_time

pgq.event: forgot to export EV_UNTAGGED

forgot couple files

more pgq_set/londiste cleanup

pgq.Consumer - complain on untagged events, instead of sending them to retry queue

parse_logtriga_sql - epydoc complained on bad docstring

move common db patterns to skytools.adminscript module

python: rework imports to get better docs...

doc/Makefile: use standard epydoc launcher

make tags file for python

fix retry/failed event handling in pgq.Consumer

more londiste work

- parallel copy
- dont error out in 'copy' when columns differ - its add-table problem
- test big cascade with lot of tables

todo update

dont log so excessively

forget db completely on close_database() to allow location change

fix more bugs - stats, trigger type

todo update

wrong file