pgq_node.version(): 3.0.0.12

pgq.version(): 3.0.0.11

pgq_node.drop_node: fix bugs in recent changes

Add function to regtests to avoid such problems in future.

DBScript: simpler removal of password info

PG connect strings can be quite free-form.
So remove everything after 'password'.

skylog: use LoggerAdapter to give .trace method

Replacing the default logger class seems dubious.

Merge remote branch 'martino/master'

londiste.handlers.dispatch: make part_func name configurable

londiste.local_add_table: ignore merge situation if copy is not needed

This allows unsyncromized adding in different leafs, with --expect-sync.

No reason to throw error in such case.

londiste.local_remove_table: clean table_attrs

Still no good idea what to do with dropped_ddl

Merge branch 'master' of git://github.com/markokr/skytools

skytools.signal_pidfile: ignore empty pidfile, some cleanups

Empty pidfile can happen if old process failed to write it
for some reason.

Merge pull request #6 from antiveeranna/master

Filter password in connstr before logging it

skytools.__init__: alphabetically ordered modules / symbols

Merge branch 'master' of skype-git:/git/dba/skytools-3

skytools.skylog: fixed SkyLogger.trace() vs funcName format attribute

filter potential passwords in connstr before logging it

reworked custom logging init

SkyLogger is no more installed automatically on scripting.py loading,
rather exlicitly when our custom getLogger() function is called.

skylog: add job_name, service_name, hostname to LogRecord

This makes those fields usable everywhere.

As discussed in comment, no better way to do it.

Also remove few per-msg gethostname() calls.

skylog.ini: sample for syslog

sql upgrade cleanup

- use 'structure/upgrade.sql' to generate X.upgrade.sql
- add pgq_ext to upgraded schemas
- move non-standard upgrade scripts to extra/
- setup_skytools: build sql files in 'build' target, not always
- pgq_ext.version: bump ver to 3.0.0.1

skytools_upgrade: if schema too old, stop touching it

setup_skytools: install skytools_upgrade.py

skylog: record.name is not jobname anymore

pgq.register_consumer_at: fix docstring

skytools/scripting.py: added new log level TRACE that is below DEBUG level

Added new "debug-2" log level that is intended for finer-grained informational events than DEBUG log level.

Merge remote-tracking branch 'klando/for_marko'

Conflicts:
README

README: PgQ review

Improve the PgQ overview and add some sentences from Hannu

doc/Makefile: update for walmgr3 and londiste3

so the new file is build and the renamed one is still build

doc/londiste3.txt: add londiste3 manpage

Up to date with --help
Londiste man page is mostly written, it lacks maybe a QUICK START.

doc/qadmin.txt: Update the man page

The manpage contains now all the options and console commands
as well as not implemented commands.

there are items in the TODO list in the source, what about them in
the documentation ?

doc/walmgr.txt: walmgr manpage review

The review is based on walmgr3 --help output and partial code review.

File has been rename from walmgr.txt

QUICK START reviewed for warm-standby.

python/walmngr.py: update help and usage

Add the xpartialsync command description and remove the -n switch
from usage (it is already present in --help)

londiste.global_add_table: automatically add table to combined node

sql/londiste: fix comment

skytools_upgrade: support 3.0-upgrades, walk databases

londiste.handlers.dispatch: mention table name in mismatch warnings

skytools.scripting: fix fileConfig on python 2.5

There is no disable_existing_loggers argument so
we need manually enable all loggers again.

skytools.BaseScript: fix use_skylog vs. module level loggers.

We want to support loggers initialized on module import time,
but for some reason logging.config.fileConfig() disables all
existing loggers by default.

Set disable_existing_loggers=False when calling to stop such behaviour.

pgq_node.version(): 3.0.0.11

pgq.version(): 3.0.0.10

todo: few ideas to avoid connstrings on command line

tests: replace 'replay' with 'worker'

drop-node: better behaviour when node is down

pgq_node.drop_node: refuse to drop if node is our provider.

safety check, admin tool should have done change-provider
before dropping.

londiste: remove 'replay' alias for 'worker'

skytools3.txt: Minor cleanup

pgq_node.drop_node: cleanup

- dont catch errors from pgq_node.unregister_subscriber,
  pgq.unregister_consumer is now silent.

- use pgq_node.unregister_location() to drop location, that will also
  send event on root.

- delete all state on pgq_node.subscriber_info when local node is dropped

- call pgq_node.unregister_subscriber() only when non-local node is dropped

pgq.unregister_consumer: do not raise errors

- be silent if consumer does not exist
- if subconsumers exist, unregister those too

create_partition.sql: regtests, add indexes

- add indexes and constraints from parent table
- use timestamptz instead of timestamptz
- regtests

dbstruct.rx_replace: report all input in exception.

This helps to debug failures.

londiste copy: fast exit if table is removed

Old code crashed, which sucks.

It can leave constraints/fkeys unapplied, but its to complex to restore here.
Better let the trigger-happy admins clean after themselves.

README: draft upgrade description

pgq.insert_event: support working with pgq 2.x schema

this allows to upgrade module without uprading schema.

upgrade/final/v3.0_pgq_core.sql: generate, based on skytools_3_0_b0 tag

Merge remote-tracking branch 'martino/master'

londiste.version(): 3.0.0.10

pgq_node.version(): 3.0.0.10

pgq.version(): 3.0.0.9

change-provider: catch error when unregistering

doc/todo: remove old/done items

skytools.scripting: datefmt support in logging

Merge remote-tracking branch 'intgit/master'

doc/devnotes: way to make 'git log' nicer

sql/pgq_node: doc: describe workflow for cascaded consumer

skytools.AdminScript: fix typo

skytools.BaseScript: .cf_defaults attribute

This gives simple way to add defaults

change-provider: move old-provider ops to the end

That means even if they fail, all the other nodes are already updated.

pgq_node.register_location: skip insert if location is null

This allows tag-dead for non-existing node.

Master xarchive now runs "sync" on slave.

This is an attempt at minimizing the chance of WAL file corruption
on slave server crash -- master xarchive command does not return
success until the the buffers on slave have been flushed to disk.

scripts/scriptmgr.py: added --wait option

The new option will make ScriptMgr to wait for all jobs to finish their processing.
This applies to both "stop" and "restart" commands.
Btw, restarting should be (much) faster now.

scriptmgr.py: fix small logging bug

config.py: resubmit lost commit

skytools.scripting: logging cleanup

- allow different log format when logging verbosely
- don't assign to self.log during __init__, instead use class var
  This allows subclass var to override self.log

skytools: make apipkg visible outside

Now it should be possible to re-use the module elsewhere.

skytools.dedent: new function for removing indent

extract code from .print_ini and make usable elsewhere too.

skytools.sqltools: tolerate missing installer_config

londiste.playback: move plugin-only dest_table to table_info

its pain to do in sql, so lets do it in python

tests/rename: test for --dest-table

Cleanup and fix remaining bugs in --dest-table code

pgq.Consumer: support .consumer_filter with lazy_fetch

londiste: support table renaming

- add .dest_table field to londiste.table_info
- use it for mapping merged tables on leaf
- make handlers use it for sql generaion
- fkey-related functions keep using real table name

londiste.handlers: turn off REAL_TABLE by default

does not work on merged tables.

handlers.dispatch: Fix quoting in temp table naming

Merge remote-tracking branch 'intgit/master'

setup_skytools: rename scripts in build dir, not install dir

This avoids install overwriting compat scripts.

Stop supporting --script-suffix switch, too annoying.
Custom suffix is still possible via config.mak.

tests/londiste: sanitize a bit

turn off log grep to make output human-viewable

testlib: use code blocks

londiste.handlers.dispatch: 'analyze' argument for handlers

Make ANALYZE on temp tables configurable and off by default

londiste.handlers.dispatch: cache dist fields

Fix skytools3-walmgr dependencies (support 9.1)

Merge pull request #3 from lalinsky/splitkeys

skytools.parse_sqltriga_sql: Split key and value fields in parse_logtriga_sql

Merge pull request #2 from lalinsky/master

Fix compilation of logtriga on PostgreSQL 9.0

Add an option to split the key and value fields

Fix compilation of logtriga on PostgreSQL 9

This patch copies the is_keyword function from sql/pgq/triggers/stringutil.c
and uses it instead of calling ScanKeywordLookup directly. It also avoid
quoting some strings that are not reserved keywords.

reset synchronous_standby_names on walmgr "stop".

Merge branch 'master' of internal-git:/git/dba/skytools-3

add "pg_archivecleanup" to recovery.conf.

add "primary_conninfo" option to --init-slave

added init.d script guessing.

skytools.scripting: make non-skylog logging attach to root

use_skylog logging was already doing it.  Now that simple
logging does it do, using self.log is not mandatory anymore,
code can use 'logging' module directly.

Also make console and logfile output configurable.