londiste: on error, apply sql on-by-one

Check whether last loop got error (work_state = -1)
and apply sql one-by-one if thats true.

Also, apply TRUNCATE separately from other SQL.

skytools.DBScript: make work_state = -1 signal exception

If exception was thrown, set work_state = -1, to let consumer
handle next work differently.

pgq.CoopConsumer for Python

Simply wrapper around Consumer which redirects few calls to pgq_coop schema.

todo: merge queue loader to londiste

doc: fix html generation

refresh libusual

londiste.local_add_table: use information_schema to get trigger info

This allows to filter out only AFTER triggers without
depending on low-level details of pg_catalog.

londiste: helper function to extract parts from fqname

Fetch libusual fix

Merge commit 'martin/master'

Remove unused --overwrite option.

Create pg_xlog/archive_status directory for slave restore.

Patch by Mark Kirkwood.

libusual: refresh

sql/londiste: refresh regtests for table_attrs

local_add_table: FOUND does not work with MAX()

londiste: fix missing END IF and some ws in local_add_table()

Warn user when adding a table to replicate if it has triggers which will fire before londiste ones, and change trigger name to prefix with '_londiste_', per discussion.

Make --expect-sync use londiste.local_set_table_state()

fixed display_table to properly display long table names.

Reduced logging level for maintenance and retry commands.

londiste: make --expect-sync work

todo update

Merge commit 'martin/master'

pgq_node.set_consumer_error(): to store pending error condition

this may help admin tools which can show also pending error
of why processing last batch failed.

Fixed variable name mismatch.

Merge branch 'master' of git://github.com/markokr/skytools-dev

pgq_node.set_global_watermark: ignore missing ticks

set_global_watermark() can be called with non-existing tick-ids
if worker is processing old batches.

buildsystem reorg

- put python modules under 'skytools-3.0'
- install pkgloader separately
- install scripts in Makefile instead setup.py (it did not support rename)
  removing .py afterwards is dangerous as we may overwrite old scripts.
- move setup.py under misc/ as it really is not usable standalone
- drop override PYTHON

doc: clean up files under doc/

- move extra.css, fixman.py and getattrs.py under misc/
- move .html, .xml, .1 files to subdir
- remove londiste.5
- standardise: pgq-admin->pgqadm, londiste.cmdline -> londiste

pkgloader module to be able to coexist with 2.x

Use scheme that pygtk uses to support parallel installations:

  import pkgloader
  pkgloader.require('skytools', '3.0')

  import skytools

This will allow keeping old module installed by default and new
version is used only by request.

move bulk_loader/cube_dispatcher/table_dispatcher to old/

The scripts are obsolete but kept as samples.  To notify
that they are not maintained actively, move them away.

londiste: replace skip_trunc columns with table attrs

this allows to store more extra data and avoid table
struct change for each item.  only items that the
SQL code does not need to care about can be stored
that way.

doc update

Merge branch 'master' of git://github.com/markokr/skytools-dev

Merge commit 'martin/master'

Merge branch 'master' of git://github.com/markokr/skytools-dev

WalMgr backup retains symlinks for pg_log and pg_xlog.

Attempt to keep symlinks for pg_log and pg_xlog. Add a
new configuration parameter for controlling the behaviour.

londiste: make compare/repair work with new cascade code

update todo

python/pgq: relaxed event handling

.tag_done() call is no more required.  Events are by default in
'done' state.

In 2.x events were in 'retry' state by default, which was very bad
idea in retrospect.  Changing them to 'untagged' and still requiring
tag_done() does not seem too good either.  Original reasoning was to
detect and survive errors in scripts, but the result was only
confusion to everybody.

So instead of assuming that script may be buggy, now we assume
that script knows what it does.  And only by explicit action
can they be tagged as retry.

update TODO, fix londiste doc

londiste: local_add_seq() - log seq name

londiste: globbing, --all

londiste: fix resync / missing commands

python scripts: Move template config to docstring.

* Template config is now in docstring to make to more
  easy to keep up-to-date.

* dbscript: --ini option to show template config.

pgqd: use strlist

pgqd: support database_list

upgrade libusual

cascade: more takeover work

docheck: allow files from cmdline

dbscript: better desc for -q/-v

cascade status: work on broken tree, show node type

- Show node type after name

- Allow several roots, take nodes with missing parents as roots

It still cannot work on cycles.  But as the change-provider code
should avoid making those, maybe it's not worth worrying about.

tests: move common test code to under tests/*.sh

cascade: takeover

Instead of switchover/failover commands have 'takeover' command,
to be launched from new node.

doc updates

Merge commit 'askotm/master'

DBScript: bad argument reference in run_safely

CascadeAdmin: add missing import

skytools.Config: getdict() method

sql/*: update regtests with new messages

fixed error message

fixed error message

fixed two error messages that were copied from log(u)triga

Add querybuilder into sql tools

Querybulder is used to manage parametrisized queries both in
plpython/dbservice stored procedures and python scripts.

Merge commit 'martin/master'

pgq_node, londiste: improve log messages from db

londiste.global_add_table()
londiste.global_remove_table()
pgq_node.set_global_watermark()

 - Replace 'Ok' with actual sentence

londiste.root_check_seqs():
 - improved message, downgrade to debug level

pgq_node.set_subscriber_watermark():
 - improve message
 - check tick value sanity

python/pgq/cascade: proper process_root_node() calling

CascadedWorker did not call parent class method.

Also remove pointless logging from CascadedConsumer.

pgq.register_consumer_at(): update last seen timestamp on position move

INSTALL: automake seems needed for aclocal

tests/londiste: make logging verbose

cascade: make wm publish periods configurable

This is mostly meant for testing.  The options may be removed or
renamed in the future.

Also fix bug in local wm publish function

cascade: fix watermark publishing

* CascadedWorker:
  - fix time comparision in local wm handling
  - publish wm also for leaf nodes
  - fields node_type, node_name, local_watermark were missing in WorkerState
* pgq_node.get_node_info: on leaf node set local watermark to last consumer tick
* pgq_node.set_global_watermark: don't depend on exact code from pgq_node.get_node_info()

Trying to special-case leaf nodes does not seem to be good idea, because
then provider nodes also need to know subscriber node type.  So stop doing it.

added a small useful example consumer

Merge branch 'master' of git://github.com/markokr/skytools-dev

Queue connection improvements.

- Ability to disconnect from queue by specifying empty qname.
- Verify that the queue exists before connecting.

sql/ticker: make routine database detection work.

Previously databases were only detected at startup.

Finalize newadm to qadmin rename.

Create documentation directory before attempting to install.

"newadm" renamed to "qadmin"
Documentation and install scripts modified accordingly.

londiste: cmd_execute() did not check ret_code of londiste.execute_start()

Also unify checking in both places - dont depend on exactly
'200' code from there.

Merge branch 'master' of git://github.com/markokr/skytools-dev

londiste copy: don't give -q unconditionally to copy process.

Seems the original logic assument pgbouncer-like -q,
which only disabled stdout.  But DBScript sets
global log level with it.

Merge branch 'master' of git://github.com/markokr/skytools-dev

Conflicts:

python/pgq/cascade/admin.py

Merge commit 'origin/master'

Merge commit 'priit/master'

londiste: unregister fix in playback.py

sql/ticker: ifdef SIGPIPE, SIGHUP for win32

cquoting: compat macros for MSC, minor cleanups

- MSC: macros for 'inline', 'strcasecmp'
- Use stdbool.h instead custom enum for 'bool'.

devnotes: better formatting

tag the tree as 3.0git

sql/: Use more portable sed expression to get list of files.

Old expression was not sed 3.x compatible, used in mingw.

londiste add-table: if schema is missing, create

doc/devnotes: describe git usage more

docs: nicer code blocks

skytools.Config: use config file name as default job_name

DBScript: avoid double config reload

also remove pointless job_name default, as it is already
handled in Config class.

scripting: unify exception handling, show db name

Have single place where exceptions are handled.

psycopg attaches .cursor to each exception,
use that to show connection name in error messages.

Decrease log level in pgq_node.get_node_info.sql and pgq_node.get_consumer_state.sql

fix in admin.py in get_node_subscriber_list ... remove local_watermark column from select

hello world