pgq_node: refresh regtest

pgq_node.unregister_location: do automatic unsubscribe

There may be obsolete subscriptions around, do unsubscribe
automatically, instead complaining.

londiste remove-table: drop sequence too

londiste.setup: UsageError requires module prefix

handlers.part: fix typo

londiste copy: copy table from another node

add-table: --copy-node=NODENAME, store it into table_attrs
copy: take node name from table_attrs

skytools_upgrade: fix special cases

londiste.find_table_oid: drop old version - 9.1+ panics when argument name changes

sql/logtriga: compile on 9.1+

handlers.dispatch: add comment about differences from part_func

If create_partitions() does not exist, the table is created
manually.  But there are differences from how table is created.

Add comment about it, we might want to fix it someday.

skytools_upgrade: show old version before upgrade

pgq_node.create_node: create branch nodes with disable_insert set

This is the proper approach to avoid any unexpected events
in the queue.  The flag is ignored if connection is in 'replica'
role, thus cascaded queueing continues to work.

pgq.insert_event(): remove unused variable.

pgq.insert_event: ignore disable_insert if in 'replica' role

Otherwise we cannot use insert_event on branch nodes.

We could allow it in 'local' role too, but another kind-of-valid
behaviour is to skip insert completely in 'local' role.
So until a valid use-case appers, don't ignore the flag
in 'local' role.

Add more contributors

Merge branch 'master' of internal-git:/git/dba/skytools-3

v3.0.2

Refresh debian packaging

AUTHORS: Add contributors to 3.x branch

Sync AUTHORS list from 2.1 branch

walmgr: fix backup from slave

Current version improperly remove needed WAL files when creating backup from slave.

The minimum WAL file is file with REDO record, not with latest checkpoint itself.

londiste.version(): 3.0.0.14

pgq_node.version(): 3.0.0.15

pgq.version(): 3.0.0.15

Include simple_consumer script

Quick event processing by simply launching SQL
query for each event.

Forward-ported-by: Juta Vaks

londiste: Always use TRUNCATE CASCADE

Otherwise the operation cannot play well with
foreign keys, on both slave and master.

CascadedWorker: publish_local_wm() is missing a commit

psycopgwrapper: allow name= argument to .cursor()

Group-access roles for SQL functions (draft)

This is attempt for fine-grained access rights for all
Skytools SQL schemas.  As it still needs review,
the rights are not activated by default, instead
following sql files are generated:

  newgrants_<schema>.sql - applies new rights, drop old public access

  oldgrants_<schema>.sql - restores old rights - public execute
              privilege to all functions

Only thing that is active by default is creation of new
groups in upgrade functions.

New access roles:

pgq_reader
    Can consume queues (source-side)

pgq_writer
    Can write into queues (source-side / dest-side)
    Can use pgq_node/pgq_ext schema as regular
    consumer (dest-side)

pgq_admin
    Admin operations on queues, required for CascadedWorker on dest-side.
    Member of pgq_reader and pgq_writer.

londiste_reader
    Member of pgq_reader, needs additional read access to tables.
    (source-side)

londiste_writer
    Member of pgq_admin, needs additional write access to tables.
    (dest-side)

walmgr: add option for init-slave to add password from file to .pgpass
walmgr: add command synch-standby

sql/pgq: use terse verbosity in regtests

pgq.insert_event(): outer wrapper does not need to be secdef

source.cfg: minor improvements

handlers.part: make hash func configurable

v3.0.1-real

pgq_coop.version(): 3.0.0.4

pgq_node.version(): 3.0.0.14

pgq.version(): 3.0.0.14

londiste.handlers.dispatch: Detailed exception if part_field is NULL

Give enough details to locate the event in queue

skytools.skylog: make sysloghander compatible with both 2.6 and 2.7

v3.0.1

Merge remote branch 'intgit/master'

Refresh libusual

debian: include skytools.ini in tgz

skylog: stop using standard SysLogHandler, it's broken

It fails to handle unicode strings - it puts BOM in
wrong place.  Wrap logging.handlers implementation
in class that simply drops the BOM addition.

skytools.config: improved compatibility with logging.Logger

Merge remote branch 'intgit/master'

v3.0

debian: Use new htmlinstall target to get html docs

source.cfg: improve source filters

Refresh libusual

londiste.handler: dont crash if handler module does not load

As it's not known whether the module is actually needed,
its not good to crash here.

Better would be to import the module only when actually needed,
but lets use this quick fix as temporary solution.

Add howtos and clean up docs

Include howtos written by Hannu Krosing.

Clean up rest of the docs for release.

Clean up SQL documentation

By Hannu Krosing, applied with some fixing

sql/logtriga: compile on 9.2

sql/pgq: 9.2 compat

pgq/makefile: report errors from subdirs properly

added support for sizes specified in human readable format

Config options that hold size in bytes can now be specified in human readable format.
Examples: 1, 2 B, 3K, 4 MB

skylog.py: added missing logger aliases (fatal, warn)

dbdict: on attribute access convert KeyError to AttributeError

Otherwise it confuses some code (copy.deepcopy())

basescript: exception_sleep param to configure sleep-on-exception

Drop all txid install code.

It's obsolete since 8.3.  Drop it.

pgq_node.version(): 3.0.0.13

pgq_node: good looking regression diffs

--sync-watermark: limit watermark to specific nodes

This will allow specified nodes to sync global watermark
with each other, without sending it upwards.

This isolates root node from lag on downstream nodes.

Update INSTALL instructions

pgq_node.set_global_watermark: fix wm=null check for branch node

It was in wrong IF section

pgq.version(): 3.0.0.13

pgq.maint_operations: re-check the need for step2

Previously the need for step2 was decided by need for step1.

But if pgqd stops/crashed after step1 but before step2,
the step2 will not be run anymore.

Fix this by rechecking if no step1 was needed.

pkgloader: better version number cleanup

pgq_ext.version(): 3.0.0.3

pgq_ext: add default value to subconsumer_id column

There is historical code that accesses table directly,
so function defaults are not enough.

Use 3.0b1 as version, to get consistent results.

debian: stop launching autogen, it must be done before building .deb

Should matter only to somebody building directly from git,
otherwise the build is always from tgz, where the files exist

source.cfg: include autogen.sh

debian: use 3.0 (native) as source format

otherwise it tries to create diff

configure: use londiste.py instead pgqadm.py to detect source dir

source.cfg: include debian files in tgz

debian: add libtool into build-deps

It is used to bring config.* files into tree.

Although it would be prefereable to get rid of all
autogen stuff, it is needed only when building
from GIT, but not from .orig.tar.gz

debian: drop very suspicious ../include-binaries file

debian: dont install txid.sql, its obsolete since 8.3

debian: drop SQLDIR, simplify module install

debian: orig - use top-level 'make tgz' to make tarball

Otherwise we need to maintain two ways to build source.

debian: more cleanups

- Use ./autgen instead autoreconf.  Latter is broken on non-automake trees.
- Drop override_dh_auto_build, seems unnecessary.
- Move config.mak dep from override_dh_auto_build to override_dh_auto_configure

debian: add support files for 8.3 and 9.2

debian/: cleanup and sync with other build changes

- remove hardwired 9.1
- dont touch anything under upgrade/
- configure: use --with-sk3-subdir
- install under /usr/share/skytools3 is done by setup_skytools.py

doc: restore queue_mover & queue_splitter docs

as we still install those scripts, keep their doc around

create partition: cleanup code

- use proper quoting
- simplify grants
- use "including defaults" to lessen differences from "including all"

londiste.version(): 3.0.0.13

londiste.get_table_list: move complex copy logic away

It is now in separate function and called only
for 'in-copy' and 'catching-up' tables.

Should make things more maintainable and speed up common case.

dbstruct: support grants 'WITH GRANT OPTION'

handlers.dispatch: Move grants into sql function

The grants can be loaded via information_schema,
thus no need to do it in Python.

londiste: allow whitespace for key in --handler-arg

as we already do it for value, we can aswell do it for key.

tests/handler: test dispatcher too

handlers.dispatch: in case of part-func, apply master grants later

the problem is there is no good way to do it with plpgsql.

dbstruct: sync acl list with 9.2 git

londiste.syncer: load per-table handler

this is preparation for compare/repair for subset of table.

tgz: update libusual include

config.mak.in: add more replacement vars.

they are currently unused in makefiles tho,
but its the first step.

dbservice: another cleanup