skylog.py: added missing logger aliases (fatal, warn)

dbdict: on attribute access convert KeyError to AttributeError

Otherwise it confuses some code (copy.deepcopy())

basescript: exception_sleep param to configure sleep-on-exception

Drop all txid install code.

It's obsolete since 8.3.  Drop it.

pgq_node.version(): 3.0.0.13

pgq_node: good looking regression diffs

--sync-watermark: limit watermark to specific nodes

This will allow specified nodes to sync global watermark
with each other, without sending it upwards.

This isolates root node from lag on downstream nodes.

Update INSTALL instructions

pgq_node.set_global_watermark: fix wm=null check for branch node

It was in wrong IF section

pgq.version(): 3.0.0.13

pgq.maint_operations: re-check the need for step2

Previously the need for step2 was decided by need for step1.

But if pgqd stops/crashed after step1 but before step2,
the step2 will not be run anymore.

Fix this by rechecking if no step1 was needed.

pkgloader: better version number cleanup

pgq_ext.version(): 3.0.0.3

pgq_ext: add default value to subconsumer_id column

There is historical code that accesses table directly,
so function defaults are not enough.

Use 3.0b1 as version, to get consistent results.

debian: stop launching autogen, it must be done before building .deb

Should matter only to somebody building directly from git,
otherwise the build is always from tgz, where the files exist

source.cfg: include autogen.sh

debian: use 3.0 (native) as source format

otherwise it tries to create diff

configure: use londiste.py instead pgqadm.py to detect source dir

source.cfg: include debian files in tgz

debian: add libtool into build-deps

It is used to bring config.* files into tree.

Although it would be prefereable to get rid of all
autogen stuff, it is needed only when building
from GIT, but not from .orig.tar.gz

debian: drop very suspicious ../include-binaries file

debian: dont install txid.sql, its obsolete since 8.3

debian: drop SQLDIR, simplify module install

debian: orig - use top-level 'make tgz' to make tarball

Otherwise we need to maintain two ways to build source.

debian: more cleanups

- Use ./autgen instead autoreconf.  Latter is broken on non-automake trees.
- Drop override_dh_auto_build, seems unnecessary.
- Move config.mak dep from override_dh_auto_build to override_dh_auto_configure

debian: add support files for 8.3 and 9.2

debian/: cleanup and sync with other build changes

- remove hardwired 9.1
- dont touch anything under upgrade/
- configure: use --with-sk3-subdir
- install under /usr/share/skytools3 is done by setup_skytools.py

doc: restore queue_mover & queue_splitter docs

as we still install those scripts, keep their doc around

create partition: cleanup code

- use proper quoting
- simplify grants
- use "including defaults" to lessen differences from "including all"

londiste.version(): 3.0.0.13

londiste.get_table_list: move complex copy logic away

It is now in separate function and called only
for 'in-copy' and 'catching-up' tables.

Should make things more maintainable and speed up common case.

dbstruct: support grants 'WITH GRANT OPTION'

handlers.dispatch: Move grants into sql function

The grants can be loaded via information_schema,
thus no need to do it in Python.

londiste: allow whitespace for key in --handler-arg

as we already do it for value, we can aswell do it for key.

tests/handler: test dispatcher too

handlers.dispatch: in case of part-func, apply master grants later

the problem is there is no good way to do it with plpgsql.

dbstruct: sync acl list with 9.2 git

londiste.syncer: load per-table handler

this is preparation for compare/repair for subset of table.

tgz: update libusual include

config.mak.in: add more replacement vars.

they are currently unused in makefiles tho,
but its the first step.

dbservice: another cleanup

dbservice: clean unused imports, make rest available on top-level

dbservice.TableAPI: cast id to int8

This makes possible to use prepared plans with tapi.

querybuilder: take type from last ':'

this allows ':' in variable name

doc/makefile: simplify sed expression

older seds dont like ';'

makefile: remove subdir dep from python-install

otherwise it wont work on machine without postgres

londiste add-table: dont check provider tables on root

does not make sense, and creates failure if table
happens to be local=f.

londiste.local_show_missing: show local=f on root as missing

this can happen in merge situations.

pgq_ext.version(): 3.0.0.2

londiste.version(): 3.0.0.12

londiste.get_table_list: If no merge happens return copy_role=NULL

Seems we started to return 'lead' in such case, which turned on
multi-tx copy.  Although it works, it's annoying.

Add regtest for such case.

londiste copy: fix after-copy wait

Wait now on any non-NULL role.

The string changed in .sql but code here was not updated.
But new simpler rule is that role will be NULL it catchup
can proceed.  So follow that.

Also dont do some potentially dangerous operations (lock, drop-fkey)
on follow-up copies.

tests/merge: make test run again

Now local_add adds table to combined-root too.
Test did not consider that.

Refresh libusual, provide ./autogen.sh

londiste repair: set session role for apply conneciton

otherwise changes cannot be applied

dbservice.make_record: convert list to pgarray

This makes the behaviour compatible with 8.3 plpython,
with did not know arrays and returned text strings.

More general solution would be to use urlenc arrays (same key repeats),
except that not general enough - there is no transparent way
to encode lists with 0 and 1 elements.  So caller must always
be aware whether a key is list or not.  Thus no advantages
over this pgarray solution and disadvantaga is incompatibility.

make_pgarray(): convert python list to postgres array

SkyLogger: addHandler() compat method

Merge remote branch 'martino/master'

gitignore: add more files

pgq_ext: support coop consumers

Add subconsumer_id to all tables and function params.

pgq_ext: split functions into separate files

tests/londiste: test repair

Merge branch 'master' of skype-git:/git/dba/skytools-3

added skytools.hashtext module

imported from skytools-2.0 (written by marko)

pgq.version(): 3.0.0.12

pgq.register_consumer_at: if tick is given, drop open batch

Old behaviour could catch (maybe) some bugs, but made
life hard for consumers that know what they are doing.

Basically, non-NULL tick pos is taken as "consumer knows better".

londiste compare: use number of failed tables as exit code

handlers.dispatch: fix part_func usage

pgq_coop.version(): 3.0.0.3

pgq_coop.next_batch: automatically register subconsumer

londiste repair: add --apply flag

this will auto-apply fixes, instead writing them out.

londiste repair: some cleanups

- get_pkeys, get_columns: use functions from skytools
- replace os.system with subprocess

londiste: replace SERIALIZABLE with REPEATABLE_READ

On < 9.1 they are same.  On 9.1+ REPEATABLE_READ is
same as old SERIALIZABLE, but SERIALIZABLE is rather heavy.

skytools: seems psycopg2 isolation constants do change

Psycopg 2.4.2 moved them around.

Stop hard-coding them, instead import from psycopg2.externsions

Also have a symbol for repeatable read.

pgq_ext.version: more rename

pgq_ext.version: rename to proper file.

londiste.version(): 3.0.0.11

pgq_node.version(): 3.0.0.12

pgq.version(): 3.0.0.11

pgq_node.drop_node: fix bugs in recent changes

Add function to regtests to avoid such problems in future.

DBScript: simpler removal of password info

PG connect strings can be quite free-form.
So remove everything after 'password'.

skylog: use LoggerAdapter to give .trace method

Replacing the default logger class seems dubious.

Merge remote branch 'martino/master'

londiste.handlers.dispatch: make part_func name configurable

londiste.local_add_table: ignore merge situation if copy is not needed

This allows unsyncromized adding in different leafs, with --expect-sync.

No reason to throw error in such case.

londiste.local_remove_table: clean table_attrs

Still no good idea what to do with dropped_ddl

Merge branch 'master' of git://github.com/markokr/skytools

skytools.signal_pidfile: ignore empty pidfile, some cleanups

Empty pidfile can happen if old process failed to write it
for some reason.

Merge pull request #6 from antiveeranna/master

Filter password in connstr before logging it

skytools.__init__: alphabetically ordered modules / symbols

Merge branch 'master' of skype-git:/git/dba/skytools-3

skytools.skylog: fixed SkyLogger.trace() vs funcName format attribute

filter potential passwords in connstr before logging it

reworked custom logging init

SkyLogger is no more installed automatically on scripting.py loading,
rather exlicitly when our custom getLogger() function is called.

skylog: add job_name, service_name, hostname to LogRecord

This makes those fields usable everywhere.

As discussed in comment, no better way to do it.

Also remove few per-msg gethostname() calls.

skylog.ini: sample for syslog

sql upgrade cleanup

- use 'structure/upgrade.sql' to generate X.upgrade.sql
- add pgq_ext to upgraded schemas
- move non-standard upgrade scripts to extra/
- setup_skytools: build sql files in 'build' target, not always
- pgq_ext.version: bump ver to 3.0.0.1

skytools_upgrade: if schema too old, stop touching it