skytools.scripting: fix fileConfig on python 2.5

There is no disable_existing_loggers argument so
we need manually enable all loggers again.

skytools.BaseScript: fix use_skylog vs. module level loggers.

We want to support loggers initialized on module import time,
but for some reason logging.config.fileConfig() disables all
existing loggers by default.

Set disable_existing_loggers=False when calling to stop such behaviour.

pgq_node.version(): 3.0.0.11

pgq.version(): 3.0.0.10

todo: few ideas to avoid connstrings on command line

tests: replace 'replay' with 'worker'

drop-node: better behaviour when node is down

pgq_node.drop_node: refuse to drop if node is our provider.

safety check, admin tool should have done change-provider
before dropping.

londiste: remove 'replay' alias for 'worker'

skytools3.txt: Minor cleanup

pgq_node.drop_node: cleanup

- dont catch errors from pgq_node.unregister_subscriber,
  pgq.unregister_consumer is now silent.

- use pgq_node.unregister_location() to drop location, that will also
  send event on root.

- delete all state on pgq_node.subscriber_info when local node is dropped

- call pgq_node.unregister_subscriber() only when non-local node is dropped

pgq.unregister_consumer: do not raise errors

- be silent if consumer does not exist
- if subconsumers exist, unregister those too

create_partition.sql: regtests, add indexes

- add indexes and constraints from parent table
- use timestamptz instead of timestamptz
- regtests

dbstruct.rx_replace: report all input in exception.

This helps to debug failures.

londiste copy: fast exit if table is removed

Old code crashed, which sucks.

It can leave constraints/fkeys unapplied, but its to complex to restore here.
Better let the trigger-happy admins clean after themselves.

README: draft upgrade description

pgq.insert_event: support working with pgq 2.x schema

this allows to upgrade module without uprading schema.

upgrade/final/v3.0_pgq_core.sql: generate, based on skytools_3_0_b0 tag

Merge remote-tracking branch 'martino/master'

londiste.version(): 3.0.0.10

pgq_node.version(): 3.0.0.10

pgq.version(): 3.0.0.9

change-provider: catch error when unregistering

doc/todo: remove old/done items

skytools.scripting: datefmt support in logging

Merge remote-tracking branch 'intgit/master'

doc/devnotes: way to make 'git log' nicer

sql/pgq_node: doc: describe workflow for cascaded consumer

skytools.AdminScript: fix typo

skytools.BaseScript: .cf_defaults attribute

This gives simple way to add defaults

change-provider: move old-provider ops to the end

That means even if they fail, all the other nodes are already updated.

pgq_node.register_location: skip insert if location is null

This allows tag-dead for non-existing node.

Master xarchive now runs "sync" on slave.

This is an attempt at minimizing the chance of WAL file corruption
on slave server crash -- master xarchive command does not return
success until the the buffers on slave have been flushed to disk.

scripts/scriptmgr.py: added --wait option

The new option will make ScriptMgr to wait for all jobs to finish their processing.
This applies to both "stop" and "restart" commands.
Btw, restarting should be (much) faster now.

scriptmgr.py: fix small logging bug

config.py: resubmit lost commit

skytools.scripting: logging cleanup

- allow different log format when logging verbosely
- don't assign to self.log during __init__, instead use class var
  This allows subclass var to override self.log

skytools: make apipkg visible outside

Now it should be possible to re-use the module elsewhere.

skytools.dedent: new function for removing indent

extract code from .print_ini and make usable elsewhere too.

skytools.sqltools: tolerate missing installer_config

londiste.playback: move plugin-only dest_table to table_info

its pain to do in sql, so lets do it in python

tests/rename: test for --dest-table

Cleanup and fix remaining bugs in --dest-table code

pgq.Consumer: support .consumer_filter with lazy_fetch

londiste: support table renaming

- add .dest_table field to londiste.table_info
- use it for mapping merged tables on leaf
- make handlers use it for sql generaion
- fkey-related functions keep using real table name

londiste.handlers: turn off REAL_TABLE by default

does not work on merged tables.

handlers.dispatch: Fix quoting in temp table naming

Merge remote-tracking branch 'intgit/master'

setup_skytools: rename scripts in build dir, not install dir

This avoids install overwriting compat scripts.

Stop supporting --script-suffix switch, too annoying.
Custom suffix is still possible via config.mak.

tests/londiste: sanitize a bit

turn off log grep to make output human-viewable

testlib: use code blocks

londiste.handlers.dispatch: 'analyze' argument for handlers

Make ANALYZE on temp tables configurable and off by default

londiste.handlers.dispatch: cache dist fields

Fix skytools3-walmgr dependencies (support 9.1)

Merge pull request #3 from lalinsky/splitkeys

skytools.parse_sqltriga_sql: Split key and value fields in parse_logtriga_sql

Merge pull request #2 from lalinsky/master

Fix compilation of logtriga on PostgreSQL 9.0

Add an option to split the key and value fields

Fix compilation of logtriga on PostgreSQL 9

This patch copies the is_keyword function from sql/pgq/triggers/stringutil.c
and uses it instead of calling ScanKeywordLookup directly. It also avoid
quoting some strings that are not reserved keywords.

reset synchronous_standby_names on walmgr "stop".

Merge branch 'master' of internal-git:/git/dba/skytools-3

add "pg_archivecleanup" to recovery.conf.

add "primary_conninfo" option to --init-slave

added init.d script guessing.

skytools.scripting: make non-skylog logging attach to root

use_skylog logging was already doing it.  Now that simple
logging does it do, using self.log is not mandatory anymore,
code can use 'logging' module directly.

Also make console and logfile output configurable.

Fix invalid reference to os.path.mkdir

misc/bumpver: show current version for all schemas

londiste.version(): 3.0.0.9

pgq_node.version(): 3.0.0.9

doc/Makefile: remove more refs to old docs

ticker/makefile: stop using so many PG_* vars

sql/Makefile started to pass PG_CPPFLAGS on cmdline,
this breaks custom vars here.

Merge remote-tracking branch 'intgit/master'

Fix breakage from doc removal

tests/londiste: test pgq_autocommit

londiste copy: fix broken lock table

pgq.Consumer: pgq_autocommit config params

for setting source side db into autocommit mode

skytools.DBscript: set_database_defaults method

Mainly for simple way to set db mode across all get_database() calls.

CascadedConsumer: consistent access to provider db

handlers.dispatch: skip pk-only table update earlier

handlers.bulk: avoid updates on pk-only table

pgq_node.drop_node: non-existing queue should not be error

londiste: local_only - give sane filter if no local tables

handlers.dispatch: skip update on pk-only table

Import debian/ fixes from Dimitri Fontaine

Due to some miscommunication the branches got out-ot-sync
and needed squashing now.

changelog:
- Fix known bugs in packaging (Replaces, update-alternatives, prerm scripts)
- Forgot to delete the postrm script in the merge.
- Get rid of example *) cases in postinst scripts.
- Remove debhelper automatic code from the scripts.
- The PostgreSQL extensions should provide the virtual package skytools-modules.
- By producing a clean orig archive, it's possible to avoid the *.o in debian/source/include-binaries
- Another round of review with Christoph Berg
- Remove debian/README.source
- Add some more specific copyright notices, per debian FTP Master
- Reproduce the whole copyright of lib/test/attregex/testregex.c
- The doc/ needs to get realclean'ed, distclean is shy of a brick here.
- Add a build-depend on automake, which provides /usr/bin/aclocal
- Changelog entry for bug #632574, and some cleanup
- Add the pgq upgrade script to the packaging
- Allow for cleanup up the debian tree when the upgrade script never was build before.
- Add a useful debian/README.source
- Better debian/rules orig target (exclude vcs, automatic grabbing of the package version)
- Fix debian/rules for building when postgresql-server-dev-9.1 is installed too.
- Update packaging for postgresql-9.1, make 8.3 8.4 and 9.0 compat optional
- Typo fix in postgresql-9.1-pgq3 depends

londiste copy: support startup isolation level

when switching back from serializable level, use old level.

This will help support autocommit on source side.

londiste copy: dont set empty string as ddl

Rename fake_local to vtable, move to separate file

londiste x.ini show-handlers: info about handlers

londiste.local_add_table: merge-leaf: add table to combined-root too

It will be added with same trigger_args & table_attrs as leaf table.
If this is unwanted, add table to combined-root first.

Fix a bug introduced by a bugfix b08445.

sql/*/Makefile: stop depending on config.mak

Only vars taken from there were PG_CONFIG and PGXS.
Instead let sql/Makefile give PG_CONFIG as param.

This makes easier to test across multiple Postgres versions.

londiste regtest: dont assign to IN param (8.3)

qadmin: better ident unquoting

old one did fail on '.' inside "".

Fix bad var in plpy_applyrow

londiste copy: reorganize DDL restoration logic

Fix transactionality around merge-node ddl handling.

Move restoration to playback, happens when 'catching-up' has ddl.
This allows DDL restoration in separate tx (merge node) to fail.

Also lock table before ddl reading, this avoid concurrent ddl droppers.

londiste.get_table_list: make sure all state combinations work

Although we may not support all combinations from UI side,
it does not guarantee that some combination cannot happen,
so try to give reasonable roles in any case.

New logic:

- if table has ddl, it's lead
- in case of no dll and at least one complete copy, let the copy be follower:
  that means it will do copy into table without touching ddl.

sql/pgq_coop: sync tests

londiste.handlers.dispatch: USE_REAL_TABLE is not under self.

gq_node.get_worker_state: avoid convlicting var name

sql/londiste: sync regtests with changes

contains:

- avoid 'default' function arg
- override CONTRIB_TESTDB for 9.1
- unidiff for regression.diffs
- quiet plpgsql install
- 'merge_all' when adding table

londiste.upgrade_schema: move table_info check upgrade here