Merge branch 'master' of skype-git:/git/dba/skytools-3

v3.0.1-real

pgq_coop.version(): 3.0.0.4

pgq_node.version(): 3.0.0.14

pgq.version(): 3.0.0.14

londiste.handlers.dispatch: Detailed exception if part_field is NULL

Give enough details to locate the event in queue

Merge branch 'master' of skype-git:/git/dba/skytools-3

skytools.skylog: make sysloghander compatible with both 2.6 and 2.7

v3.0.1

Merge remote branch 'intgit/master'

Refresh libusual

debian: include skytools.ini in tgz

skylog: stop using standard SysLogHandler, it's broken

It fails to handle unicode strings - it puts BOM in
wrong place.  Wrap logging.handlers implementation
in class that simply drops the BOM addition.

skytools.sqltools: dbdict got merge support

skytools.config: improved compatibility with logging.Logger

Merge remote branch 'intgit/master'

v3.0

debian: Use new htmlinstall target to get html docs

source.cfg: improve source filters

Refresh libusual

londiste.handler: dont crash if handler module does not load

As it's not known whether the module is actually needed,
its not good to crash here.

Better would be to import the module only when actually needed,
but lets use this quick fix as temporary solution.

Add howtos and clean up docs

Include howtos written by Hannu Krosing.

Clean up rest of the docs for release.

Clean up SQL documentation

By Hannu Krosing, applied with some fixing

sql/logtriga: compile on 9.2

sql/pgq: 9.2 compat

pgq/makefile: report errors from subdirs properly

added support for sizes specified in human readable format

Config options that hold size in bytes can now be specified in human readable format.
Examples: 1, 2 B, 3K, 4 MB

skylog.py: added missing logger aliases (fatal, warn)

dbdict: on attribute access convert KeyError to AttributeError

Otherwise it confuses some code (copy.deepcopy())

basescript: exception_sleep param to configure sleep-on-exception

Drop all txid install code.

It's obsolete since 8.3.  Drop it.

pgq_node.version(): 3.0.0.13

pgq_node: good looking regression diffs

--sync-watermark: limit watermark to specific nodes

This will allow specified nodes to sync global watermark
with each other, without sending it upwards.

This isolates root node from lag on downstream nodes.

Update INSTALL instructions

pgq_node.set_global_watermark: fix wm=null check for branch node

It was in wrong IF section

pgq.version(): 3.0.0.13

pgq.maint_operations: re-check the need for step2

Previously the need for step2 was decided by need for step1.

But if pgqd stops/crashed after step1 but before step2,
the step2 will not be run anymore.

Fix this by rechecking if no step1 was needed.

pkgloader: better version number cleanup

pgq_ext.version(): 3.0.0.3

pgq_ext: add default value to subconsumer_id column

There is historical code that accesses table directly,
so function defaults are not enough.

Use 3.0b1 as version, to get consistent results.

debian: stop launching autogen, it must be done before building .deb

Should matter only to somebody building directly from git,
otherwise the build is always from tgz, where the files exist

source.cfg: include autogen.sh

debian: use 3.0 (native) as source format

otherwise it tries to create diff

configure: use londiste.py instead pgqadm.py to detect source dir

source.cfg: include debian files in tgz

debian: add libtool into build-deps

It is used to bring config.* files into tree.

Although it would be prefereable to get rid of all
autogen stuff, it is needed only when building
from GIT, but not from .orig.tar.gz

debian: drop very suspicious ../include-binaries file

debian: dont install txid.sql, its obsolete since 8.3

debian: drop SQLDIR, simplify module install

debian: orig - use top-level 'make tgz' to make tarball

Otherwise we need to maintain two ways to build source.

debian: more cleanups

- Use ./autgen instead autoreconf.  Latter is broken on non-automake trees.
- Drop override_dh_auto_build, seems unnecessary.
- Move config.mak dep from override_dh_auto_build to override_dh_auto_configure

debian: add support files for 8.3 and 9.2

debian/: cleanup and sync with other build changes

- remove hardwired 9.1
- dont touch anything under upgrade/
- configure: use --with-sk3-subdir
- install under /usr/share/skytools3 is done by setup_skytools.py

doc: restore queue_mover & queue_splitter docs

as we still install those scripts, keep their doc around

create partition: cleanup code

- use proper quoting
- simplify grants
- use "including defaults" to lessen differences from "including all"

londiste.version(): 3.0.0.13

londiste.get_table_list: move complex copy logic away

It is now in separate function and called only
for 'in-copy' and 'catching-up' tables.

Should make things more maintainable and speed up common case.

dbstruct: support grants 'WITH GRANT OPTION'

handlers.dispatch: Move grants into sql function

The grants can be loaded via information_schema,
thus no need to do it in Python.

londiste: allow whitespace for key in --handler-arg

as we already do it for value, we can aswell do it for key.

tests/handler: test dispatcher too

handlers.dispatch: in case of part-func, apply master grants later

the problem is there is no good way to do it with plpgsql.

dbstruct: sync acl list with 9.2 git

londiste.syncer: load per-table handler

this is preparation for compare/repair for subset of table.

tgz: update libusual include

config.mak.in: add more replacement vars.

they are currently unused in makefiles tho,
but its the first step.

dbservice: another cleanup

dbservice: clean unused imports, make rest available on top-level

dbservice.TableAPI: cast id to int8

This makes possible to use prepared plans with tapi.

querybuilder: take type from last ':'

this allows ':' in variable name

doc/makefile: simplify sed expression

older seds dont like ';'

makefile: remove subdir dep from python-install

otherwise it wont work on machine without postgres

londiste add-table: dont check provider tables on root

does not make sense, and creates failure if table
happens to be local=f.

londiste.local_show_missing: show local=f on root as missing

this can happen in merge situations.

pgq_ext.version(): 3.0.0.2

londiste.version(): 3.0.0.12

londiste.get_table_list: If no merge happens return copy_role=NULL

Seems we started to return 'lead' in such case, which turned on
multi-tx copy.  Although it works, it's annoying.

Add regtest for such case.

londiste copy: fix after-copy wait

Wait now on any non-NULL role.

The string changed in .sql but code here was not updated.
But new simpler rule is that role will be NULL it catchup
can proceed.  So follow that.

Also dont do some potentially dangerous operations (lock, drop-fkey)
on follow-up copies.

tests/merge: make test run again

Now local_add adds table to combined-root too.
Test did not consider that.

Refresh libusual, provide ./autogen.sh

londiste repair: set session role for apply conneciton

otherwise changes cannot be applied

dbservice.make_record: convert list to pgarray

This makes the behaviour compatible with 8.3 plpython,
with did not know arrays and returned text strings.

More general solution would be to use urlenc arrays (same key repeats),
except that not general enough - there is no transparent way
to encode lists with 0 and 1 elements.  So caller must always
be aware whether a key is list or not.  Thus no advantages
over this pgarray solution and disadvantaga is incompatibility.

make_pgarray(): convert python list to postgres array

SkyLogger: addHandler() compat method

Merge remote branch 'martino/master'

gitignore: add more files

pgq_ext: support coop consumers

Add subconsumer_id to all tables and function params.

pgq_ext: split functions into separate files

tests/londiste: test repair

Merge branch 'master' of skype-git:/git/dba/skytools-3

added skytools.hashtext module

imported from skytools-2.0 (written by marko)

pgq.version(): 3.0.0.12

pgq.register_consumer_at: if tick is given, drop open batch

Old behaviour could catch (maybe) some bugs, but made
life hard for consumers that know what they are doing.

Basically, non-NULL tick pos is taken as "consumer knows better".

londiste compare: use number of failed tables as exit code

handlers.dispatch: fix part_func usage

pgq_coop.version(): 3.0.0.3

pgq_coop.next_batch: automatically register subconsumer

londiste repair: add --apply flag

this will auto-apply fixes, instead writing them out.