Update NEWS

tests/londiste: testcase for weird merge

remove obsolete files

Few more syncer fixes

Merge remote-tracking branch 'martino/master'

Conflicts:
python/londiste/syncer.py

More tests for londiste

londiste regen.sh: don't run repair/compare quietly

Rework syncer code to search for data node

This makes them work with tables added with --find-copy-node.

Also, this disables consumer lag checking code as it makes
compare/repair too unreliable.  Probably it should be rewritten
and simple wait loop.

londiste/syncer: spit out debug msgs when waiting too

londiste/syncer: throttle queries when waiting

londiste/syncer: do not spam with too many warnings

fixed typos

testlib.sh: use CASCADE when dropping table

Merge remote-tracking branch 'sasha/master'

- node-status

node-status cleanup

Merge remote-tracking branch 'petr/master'

pgq.unregister + subconsumer behaviour fix

londiste takeover: fix bug in loading events from other node

code forgot to remember the new most recent tick id

pgq.unregister_consumer: don't unregister all subconsumers in subscription when subconsumer was given on input

Londiste: node-status command for local node

takeover --dead-root: search for latest events on nodes

In case of several subscribers to root node, one of them may
be ahead of others.  Search over cascade for most-ahead
subscriber and load events to new root.

londiste resurrect: Get dead root back into cascade

In some cases the 'takeover --dead-root' will be used although
actual data on node is fine.  Eg. network downtime, lost power.
It would be good to have a way to bring it back to cascade
without need for full rebuild.

This command sync queue contents and re-subscribes node.
Any events found on old root that are not spread to rest of cascade
are dumped and deleted.  No actual table changes are made,
thus there must be external mechanism to avoid data conflicts.

cascadeadmin: clean help text

debian/skytools.ini: support launching pgqd and londiste3

No point requiring admins to config the same stuff.

Londiste: auto-upgrade londiste schema

Upgrade script for Londiste - 2.1 to 3.1

sql/londiste: add alternative output for regtests for first run

Then will the groups created, which changes output.

Update news with walmgr change, reorder by severity.

Merge remote-tracking branch 'intgit/master'

v3.1.2

Refresh libusual

bumpver: just check if bump is needed

genpg: fetch version info automatically

find_copy_source: also return downstream worker name

pgq.LocalConsumer: improve docstrings.

Londiste: try to show exact event info on failure.

This should help debugging replication problems.

It does not work on first error, as we batch together a lot of SQL
statements, but on retry Londiste start replaying events one-by-one,
the the exact event can be spotted.

DBScript unnecessarily overrided emsg, drop that.

Bump pgq schema version to 3.1.2

pgq: quote internal table names

Quoting was not done previosly as the table names
come not from user input but from internal tables.

But understanding whether it's safe in particular setup requires
extra thinking which is not good.  So to remove the need for thinking,
lets quote everything properly.

Rename 2.1-to-3.0 upgrade script: pgq.upgrade_2.1_to_3.0.sql

Hopefully this makes it more clear how to upgrade 2.1.

qadmin: make "install pgq" also install pgq_coop

pgq: test upgrade from 2.1

2to3 upgrade: Add DROP FUNCTION to work around param renaming.

Also stop generating the script, it's final now.

Move -lsocket test to better place, simplify

remove a stray tab.

Move set_last_complete AFTER rsync.

Previously .walshipping.last was updated before the rsync succeeded,
it turns out that this was too optimistic -- occasionally the rsync
fails and the .last file contains wrong information. This results
in skipped files during "master sync".

skytools.scripting: added start-up time attribute

white noise

Add londiste.exec_attrs to doctestable modules

setup_skytools: if -q is given, be quiet

part.py: avoid tab in code

walmgr: drop reference to traceback object

CascadeAdmin: document wait-provider/wait-root commands

Merge pull request #14 from beaglecode/get_working_in_smartos

Add check to see if the socket library is required

Merge pull request #15 from askoja/master

Two more merge related tests

Two merge related tests created.

merge_all tests simple merge from two partitions into one target
          Also tests adding columns through cascade
merge_qnode tests same thing as merge all but uses also qnodes

Move find-copy logic into separate module

Move --find-copy-node logic to 'copy'

This allows use of this switch also in merge situations,
where the node is different in each partition.

Fix compare expression - md5() was in wrong place

londiste execute: when ddl is already applied, restore db mode

When doing early exit, the code forgot to set proper mode.

londiste: don't filter EXECUTE or TRUNCATE events

They used to be filtered in merge nodes, but it does not
make sense anymore.

EXECUTE tracking is global now, not per-queue, thus filtering
is wrong now.

TRUNCATE does not seem to make sense in case of merged queue, but
filtering also does not make sense.  So let it pass down,
maybe there is scenariou where it is useful.

Allow overrided options with --set to show up in --ini output

Add check to see if the socket library is required

This is necessary to get Skytools to build successfully on SmartOS, where you
have to explicitly add -lsocket when using socket calls.

copy-cond: only dst handler condition is useful

Merge pull request #13 from askoja/master

Copy condition refactor

Merge branch 'master' of https://github.com/markokr/skytools

v3.1.1

Add debian/copyright to tgz

Fix missed renames

Merge remote-tracking branch 'intgit/master'

--sync-watermark: don't allow subtree wm get above upstream wm

In case root is lagging, the subtree should not drop events.

Londiste compare and repair fixes

Deprecated Londiste command line parameter --copy-condition.
Londiste handler part.py must be used instead as it leaves
configuration in maintainable state.

Fixed Londiste compare and repair for one to many and
many to one repliaction use cases. Now filtering
condition is applied on both ends and datasets compared
should be the same.

Cleaned up database splitting howto.

Fix queue_splitter3 manpage.

New syncer logic for non-root provider

Table-based locking is broken if provider is not root
as it blocks whole node.

Implement different logic for such case that pauses upstream
worker to get well-defined sync point.

Remove bublin.py - its unmaintained

It was supposed to support more elastic clustering,
but the effort has stalled, and the code is unfinished.

Remove it as it makes maintenance harder.

londiste: add regtest alternatives for 8.3

8.3 does not have TRUNCATE trigger, so tests
that expect it will fail.

londiste.drop_table_triggers: use decode() instead cast

text->bytea cast does not work on GP, use decode(val, 'escape')
to get same effect.

Merge branch 'master' of skype-git:/git/dba/skytools-3

skytools.scripting: speed up stat counters

Survive empty PYTHON from PGXS

Merge pull request #12 from emiel/master

Allow for building with different python versions

Fix support for '--with-python=PYTHON' configure flag

sql: sync versions in all files

Seems there aretoo many places where version needs to be mentioned..

Remove 'workaround' as it was pgq_coop own bug

sql: always install contrib files

common-pgxs: use awk instead sed when finding source files

Merge remote-tracking branch 'intgit/master'

draft news

londiste: bump schema version to 3.1.1

Rename queue_splitter & _mover docs with '3' suffix

It seems whole "configurable suffix" idea is a mess
and should be removed.

pgqd: Make connection handling more robust

There are reports of fatals() and stalls
when server goes down.  Plug potential holes.

* check for DB_CLOSED in tick_handler
* check for TUPLES_OK everywhere

Support for extensions upgrade

Needed for pgq & pgq_coop that have changed.

Also move more common code to common-pgxs.mk

adjusted default keepalive_stats from 61 to 300 seconds

Added keepalive_stats parameter for consumer that controls how often idle consumer logs idle time. Also added rounding to milliseconds for logged durations

Refresh libusual

londiste compare improvements

* Calculate common column names, to allow different order
  or different subset.
* Use different hash function on 8.3 <> something else comparision
  as hashtext() changed in 8.4.
* Always calculate final hash as bigint.

compare workaroud for hashtext change between 8.3 and 8.4

pgq_coop.next_batch: check and create subconsumers after locking main consumer

Otherwise, there is race with other consumers who might remove
just-checked subconsumer.

consumer logs again idle time spent waiting for events

Merge remote-tracking branch 'intgit/master'

Change londiste_create_part regtest to use specific fields

Otherwise test fails due to information_schema unstability.

londiste.local_remove_table: resture DDL if still attached to table

Multi-TX COPY can happen on merge nodes.  If table
is removed during such copy, the DDL is removed from table
and put to 'dropped_ddl' column.

If dropped_ddl is not empty, the table is truncated and
DDL is restored.  Reason for truncate is that table is
unsynced anyway, so no point keeping the data.