pgq_node.upgrade_schema(): magic schema upgrade

also sync regtest output

pgq.upgrade_schema(): magic schema upgrade

scripts/scriptmgr.py: ignoring stale pid files when starting scripts

setup_skytools: add vars to turn of script/sql installation

CascadedConsumer: allow --reset without consumer info

Can happen for worker on root node.

setup_skytools: no rename by default on win32

Don't build C module on windows, minor fixes

More build work

- separate build dir for setup_skytools, to avoid conflict with pkgloader
- pass configure switches to setup.py

doc: remove obsolete documentation

handlers/dispatch.py: temporarily use real table

Move install logic from Makefile to setup_skytools.py

.itignore: remove .sql files

pgq_coop: use 'install.sql' file

pgq_node: use 'install.sql' file

sql/londiste: use 'install.sql' file

pgq_ext: use single 'install.sql' file

pgq_lowlevel.sql: stop building it

pgq_triggers.sql: stop building the file

due to new extensions work, the file is now fixed

londiste.handlers.bulk: fix real table creation

londiste.handlers.bulk: hack - try to use real table

Merge remote-tracking branch 'martino/master'

scripting.py: added some aliases in BaseScript

stat_add -> stat_put
stat_inc -> stat_increase

londiste.table_copy/merge: don't restart failed DDL restore

it will start truncate/copy again, which will be unnoticeable
to other partitions.

Proper fix would be to restart DDL-only, but currently
there is no way to detect the situation.

tests/noqueue: minor improvements

- avoid hardcoded sleeps
- avoid hardcoded part count

skytools.BaseScript: fix attribute typo (cf_override)

config.py: added items() and has_section() methods to simplify certain usecases

minor typos fixed

cascaded unregister-location

Instead of running drop_node function on every node in cascade,
unregister-location event added to queue by master

changed invalid utf8 log level to info

fix: expect_sync to londiste.local_add_table i_trg_args

multimaster handler

no-merge argument

when using it table is not merged from source queues

sql/conflicthandler: experimental conflict handler.

skytools.plpy_applyrow: low-level helper module

conflicthandler/merge_on_time.sql: sample time-based conflict handler

handlers.dispatch: utf8 fix - show values only in debug level

CoopConsumer: another fix for --unregister

for out param table_name intermediate variable used var_table_name

safe_utf8_decode: stop using builtin 'replace', its broken

Default 'replace' can eat several symbols, which means
it can corrupt even regular ascii.

CascadeAdmin: node-info command

Shows detailed info about local node.

Currently the info needs to be gathered from different places,
which is annoying.

CoopConsumer: Fix --unregister command.

DB function has 4 arguments not 3

skytools.DBScript: drop connection if connect string has changed

.reload() happens between .work() calls, so it's safe to
drop connection on first .get_database()

misc/bumpver: add pgq_coop schema for checking

pgq_coop.version(): 3.0.0.2

pgq_coop.next_batch: do not kill master consumer

skytools.sockutil: separate module for low-level socket stuff

Move set_tcp_keepalive() here, plus set_nonblocking() and
set_cloexec().

Fix various pylint errors

pgq_coop.register_subconsumer: make sure main consumer exists

pgq_coop: add public grant for schema

Makefile: add more modules to doctest

Simplify utf8 sanitizer and move under skytools/

This patch moves sanitizer under skytools.utf8 and makes
is generally usable, also better testable.

skytools/__init__: setup proper __all__

londiste.handlers: .needs_table method

handler can specify whether is actually operates on table

londiste.setup: disable existence check when --force is used

this is (temp) solution for handlers that do not need
actual table.

parse_pgarray: more strict error checking

encodingvalidator: fix utf16 surrogate pairs

seems like python does not think of them as errors

handlers.dispatch: move encoding validator upwards

Otherwise it may miss bad pkey values.

misc/bumpver: add db ver scripts to git

londiste.version(): 3.0.0.8

pgq_node.version(): 3.0.0.8

londiste.handlers.dispatch: use 'global' instead 'globals()[]'

fix: table rules are incorrect after londiste3 table (re)sync

part handler

handler adds trigger argument to full extra3 field with hash value and
filter to event_processing and full_copy

sqltools.full_copy variable name fix

sort table list by name

fix for "NoneType object not subscriptable" error in dispatcher encoding validation

fixed merge testcode

leaf branch now accepts add-table events

fake_local and qsplitter handlers

added new handlers:
* fake_local  - dummy handler to setup queue tables. All events are ignored. Table structure is not required. Use in branch/leaf
* qsplitter  -  dummy handler to setup queue tables. All events are ignored. Table structure is not required. All table events are inserted to destination queue, specified with handler arg 'queue'.

changed local_add_table to allow adding of non-existing tables

renamed direct handler func name

Merge branch 'master' of lux-dbeer:code/skytools-3

no crash when column detection fails

Merge branch 'master' of https://github.com/markokr/skytools

direct handler

direct handler is functionally identical with
table handler (default when no handler specified),
but uses dispatch handler logic

error when fixing utf8 in rows with null values

cascade event log level to debug

skytools.Config: switch to turn off all default values

table locality check for multi-source leaf

subconsumer (un)registration to qadmin

OCM-2211 pgq_coop doesnt remove timed out subconsumers without active batch

OCM-2279: londiste3 should translate everything to utf8, in a lossy way
where appropriate

* added argument 'encoding' to dispatcher handler
* tests for invalid utf8 sequences
* support for renamed table copy in dispatcher handler

table name and columns change support for full_copy

added support for destination table and columns with
different name than source

applyfunc handler

fixed failed sync exit code

pgq.triggers: Fix potential rare crash.

The bad hash_search(HASH_ENTER) + SPI_execute() pattern
is used here also.  Fix it by always properly initializing
the info structure.

The similar pattern exist also in PgqTriggerInfo, but that
is already handled via ->finalized flag.

pgq.insert_event: Fix rare crash

If hash_search(HASH_ENTER) succeeds, but make_plan() fails,
due to statement_timeout/deadlock, then HTAB entry will
contain invalid values which leads to crash on next call.

Fix it by always fully initializing struct before calling make_plan().

Debugged-by: Martin Pihlak

make deb: shortcut for unofficial packages

deb: Improve dependencies

Source:
- Ticker is not built with libevent-dev
- python-psycopg2 is not needed for building

python-pgq3
- Depends on python-psycopg2

skytools3-walmgr:
- Depends on python-psycopg2
- Does not depend on postgresql-server, it is reasonable to use
  it to manage non-debian Postgres instances.  Make it 'Enhances:'
  instead.

python-skytools3:
- Suggest: python-psycopg2.  Needed for DB functionality, not otherwise.

skytools.natsort: natural sorting of strings

skytools: Option of non-lazy loading for various checkers

skytools: Separate generic scripting from DBScript

split skytools3 in several packages for debian

skytools3              Skytool's replication and queuing
python-pgq3            Skytool's PGQ python library
python-skytools3       python scripts framework for skytools
skytools-ticker3       PGQ ticker daemon service
skytools-walmgr3       high-availability archive and restore commands
postgresql-8.4-pgq3    PGQ server-side code (C module for PostgreSQL)
postgresql-9.0-pgq3    PGQ server-side code (C module for PostgreSQL)

You can install your script in /etc/skytools/*.ini and the skytools package
will try to start them automatically, using scriptmgr.  Of course you still
need to install pgq for ticker services and londiste for replication.

OCM-1524: merge_all switch for non-queue merge leaf

OCM-1524: syntax error fix and added tests

OCM-704: creating merge-leaf with non-existing queue on leaf side should throw an error

OCM-1581: skytools3 script error "Config value not set: subconsumer_timeout"

OCM-1538: londiste3 qtable plugin behaves dangerously when adding skip trigger to a existing queue table

OCM-1524: adding table to n:1 cascade merge should work as with merge-leaf scenario

Avoid direct symbol imports

Always use

  import skytools
  def xx():
   skytools.foo

this allows maximum laziness when importing.

refresh libusual

skytools: Convert __init__ module to apipkg

skytools: Include apipkg module

Include Holger Krekel's apipkg module in skytools.

It allows top module to lazily load symbols from submodules.