debian: orig - use top-level 'make tgz' to make tarball

Otherwise we need to maintain two ways to build source.

debian: more cleanups

- Use ./autgen instead autoreconf.  Latter is broken on non-automake trees.
- Drop override_dh_auto_build, seems unnecessary.
- Move config.mak dep from override_dh_auto_build to override_dh_auto_configure

debian: add support files for 8.3 and 9.2

debian/: cleanup and sync with other build changes

- remove hardwired 9.1
- dont touch anything under upgrade/
- configure: use --with-sk3-subdir
- install under /usr/share/skytools3 is done by setup_skytools.py

doc: restore queue_mover & queue_splitter docs

as we still install those scripts, keep their doc around

create partition: cleanup code

- use proper quoting
- simplify grants
- use "including defaults" to lessen differences from "including all"

londiste.version(): 3.0.0.13

londiste.get_table_list: move complex copy logic away

It is now in separate function and called only
for 'in-copy' and 'catching-up' tables.

Should make things more maintainable and speed up common case.

dbstruct: support grants 'WITH GRANT OPTION'

handlers.dispatch: Move grants into sql function

The grants can be loaded via information_schema,
thus no need to do it in Python.

londiste: allow whitespace for key in --handler-arg

as we already do it for value, we can aswell do it for key.

tests/handler: test dispatcher too

handlers.dispatch: in case of part-func, apply master grants later

the problem is there is no good way to do it with plpgsql.

dbstruct: sync acl list with 9.2 git

londiste.syncer: load per-table handler

this is preparation for compare/repair for subset of table.

tgz: update libusual include

config.mak.in: add more replacement vars.

they are currently unused in makefiles tho,
but its the first step.

dbservice: another cleanup

dbservice: clean unused imports, make rest available on top-level

dbservice.TableAPI: cast id to int8

This makes possible to use prepared plans with tapi.

querybuilder: take type from last ':'

this allows ':' in variable name

doc/makefile: simplify sed expression

older seds dont like ';'

makefile: remove subdir dep from python-install

otherwise it wont work on machine without postgres

londiste add-table: dont check provider tables on root

does not make sense, and creates failure if table
happens to be local=f.

londiste.local_show_missing: show local=f on root as missing

this can happen in merge situations.

pgq_ext.version(): 3.0.0.2

londiste.version(): 3.0.0.12

londiste.get_table_list: If no merge happens return copy_role=NULL

Seems we started to return 'lead' in such case, which turned on
multi-tx copy.  Although it works, it's annoying.

Add regtest for such case.

londiste copy: fix after-copy wait

Wait now on any non-NULL role.

The string changed in .sql but code here was not updated.
But new simpler rule is that role will be NULL it catchup
can proceed.  So follow that.

Also dont do some potentially dangerous operations (lock, drop-fkey)
on follow-up copies.

tests/merge: make test run again

Now local_add adds table to combined-root too.
Test did not consider that.

Refresh libusual, provide ./autogen.sh

londiste repair: set session role for apply conneciton

otherwise changes cannot be applied

dbservice.make_record: convert list to pgarray

This makes the behaviour compatible with 8.3 plpython,
with did not know arrays and returned text strings.

More general solution would be to use urlenc arrays (same key repeats),
except that not general enough - there is no transparent way
to encode lists with 0 and 1 elements.  So caller must always
be aware whether a key is list or not.  Thus no advantages
over this pgarray solution and disadvantaga is incompatibility.

make_pgarray(): convert python list to postgres array

SkyLogger: addHandler() compat method

Merge remote branch 'martino/master'

gitignore: add more files

pgq_ext: support coop consumers

Add subconsumer_id to all tables and function params.

pgq_ext: split functions into separate files

tests/londiste: test repair

Merge branch 'master' of skype-git:/git/dba/skytools-3

added skytools.hashtext module

imported from skytools-2.0 (written by marko)

pgq.version(): 3.0.0.12

pgq.register_consumer_at: if tick is given, drop open batch

Old behaviour could catch (maybe) some bugs, but made
life hard for consumers that know what they are doing.

Basically, non-NULL tick pos is taken as "consumer knows better".

londiste compare: use number of failed tables as exit code

handlers.dispatch: fix part_func usage

pgq_coop.version(): 3.0.0.3

pgq_coop.next_batch: automatically register subconsumer

londiste repair: add --apply flag

this will auto-apply fixes, instead writing them out.

londiste repair: some cleanups

- get_pkeys, get_columns: use functions from skytools
- replace os.system with subprocess

londiste: replace SERIALIZABLE with REPEATABLE_READ

On < 9.1 they are same.  On 9.1+ REPEATABLE_READ is
same as old SERIALIZABLE, but SERIALIZABLE is rather heavy.

skytools: seems psycopg2 isolation constants do change

Psycopg 2.4.2 moved them around.

Stop hard-coding them, instead import from psycopg2.externsions

Also have a symbol for repeatable read.

pgq_ext.version: more rename

pgq_ext.version: rename to proper file.

londiste.version(): 3.0.0.11

pgq_node.version(): 3.0.0.12

pgq.version(): 3.0.0.11

pgq_node.drop_node: fix bugs in recent changes

Add function to regtests to avoid such problems in future.

DBScript: simpler removal of password info

PG connect strings can be quite free-form.
So remove everything after 'password'.

skylog: use LoggerAdapter to give .trace method

Replacing the default logger class seems dubious.

Merge remote branch 'martino/master'

londiste.handlers.dispatch: make part_func name configurable

londiste.local_add_table: ignore merge situation if copy is not needed

This allows unsyncromized adding in different leafs, with --expect-sync.

No reason to throw error in such case.

londiste.local_remove_table: clean table_attrs

Still no good idea what to do with dropped_ddl

Merge branch 'master' of git://github.com/markokr/skytools

skytools.signal_pidfile: ignore empty pidfile, some cleanups

Empty pidfile can happen if old process failed to write it
for some reason.

Merge pull request #6 from antiveeranna/master

Filter password in connstr before logging it

skytools.__init__: alphabetically ordered modules / symbols

Merge branch 'master' of skype-git:/git/dba/skytools-3

skytools.skylog: fixed SkyLogger.trace() vs funcName format attribute

filter potential passwords in connstr before logging it

reworked custom logging init

SkyLogger is no more installed automatically on scripting.py loading,
rather exlicitly when our custom getLogger() function is called.

skylog: add job_name, service_name, hostname to LogRecord

This makes those fields usable everywhere.

As discussed in comment, no better way to do it.

Also remove few per-msg gethostname() calls.

skylog.ini: sample for syslog

sql upgrade cleanup

- use 'structure/upgrade.sql' to generate X.upgrade.sql
- add pgq_ext to upgraded schemas
- move non-standard upgrade scripts to extra/
- setup_skytools: build sql files in 'build' target, not always
- pgq_ext.version: bump ver to 3.0.0.1

skytools_upgrade: if schema too old, stop touching it

setup_skytools: install skytools_upgrade.py

skylog: record.name is not jobname anymore

pgq.register_consumer_at: fix docstring

skytools/scripting.py: added new log level TRACE that is below DEBUG level

Added new "debug-2" log level that is intended for finer-grained informational events than DEBUG log level.

Merge remote-tracking branch 'klando/for_marko'

Conflicts:
README

README: PgQ review

Improve the PgQ overview and add some sentences from Hannu

doc/Makefile: update for walmgr3 and londiste3

so the new file is build and the renamed one is still build

doc/londiste3.txt: add londiste3 manpage

Up to date with --help
Londiste man page is mostly written, it lacks maybe a QUICK START.

doc/qadmin.txt: Update the man page

The manpage contains now all the options and console commands
as well as not implemented commands.

there are items in the TODO list in the source, what about them in
the documentation ?

doc/walmgr.txt: walmgr manpage review

The review is based on walmgr3 --help output and partial code review.

File has been rename from walmgr.txt

QUICK START reviewed for warm-standby.

python/walmngr.py: update help and usage

Add the xpartialsync command description and remove the -n switch
from usage (it is already present in --help)

londiste.global_add_table: automatically add table to combined node

sql/londiste: fix comment

skytools_upgrade: support 3.0-upgrades, walk databases

londiste.handlers.dispatch: mention table name in mismatch warnings

skytools.scripting: fix fileConfig on python 2.5

There is no disable_existing_loggers argument so
we need manually enable all loggers again.

skytools.BaseScript: fix use_skylog vs. module level loggers.

We want to support loggers initialized on module import time,
but for some reason logging.config.fileConfig() disables all
existing loggers by default.

Set disable_existing_loggers=False when calling to stop such behaviour.

pgq_node.version(): 3.0.0.11

pgq.version(): 3.0.0.10

todo: few ideas to avoid connstrings on command line

tests: replace 'replay' with 'worker'

drop-node: better behaviour when node is down

pgq_node.drop_node: refuse to drop if node is our provider.

safety check, admin tool should have done change-provider
before dropping.

londiste: remove 'replay' alias for 'worker'