Merge pull request #14 from beaglecode/get_working_in_smartos

Add check to see if the socket library is required

Merge pull request #15 from askoja/master

Two more merge related tests

Two merge related tests created.

merge_all tests simple merge from two partitions into one target
          Also tests adding columns through cascade
merge_qnode tests same thing as merge all but uses also qnodes

Move find-copy logic into separate module

Move --find-copy-node logic to 'copy'

This allows use of this switch also in merge situations,
where the node is different in each partition.

Fix compare expression - md5() was in wrong place

londiste execute: when ddl is already applied, restore db mode

When doing early exit, the code forgot to set proper mode.

londiste: don't filter EXECUTE or TRUNCATE events

They used to be filtered in merge nodes, but it does not
make sense anymore.

EXECUTE tracking is global now, not per-queue, thus filtering
is wrong now.

TRUNCATE does not seem to make sense in case of merged queue, but
filtering also does not make sense.  So let it pass down,
maybe there is scenariou where it is useful.

Allow overrided options with --set to show up in --ini output

Add check to see if the socket library is required

This is necessary to get Skytools to build successfully on SmartOS, where you
have to explicitly add -lsocket when using socket calls.

copy-cond: only dst handler condition is useful

Merge pull request #13 from askoja/master

Copy condition refactor

Merge branch 'master' of https://github.com/markokr/skytools

v3.1.1

Add debian/copyright to tgz

Fix missed renames

Merge remote-tracking branch 'intgit/master'

--sync-watermark: don't allow subtree wm get above upstream wm

In case root is lagging, the subtree should not drop events.

Londiste compare and repair fixes

Deprecated Londiste command line parameter --copy-condition.
Londiste handler part.py must be used instead as it leaves
configuration in maintainable state.

Fixed Londiste compare and repair for one to many and
many to one repliaction use cases. Now filtering
condition is applied on both ends and datasets compared
should be the same.

Cleaned up database splitting howto.

Fix queue_splitter3 manpage.

New syncer logic for non-root provider

Table-based locking is broken if provider is not root
as it blocks whole node.

Implement different logic for such case that pauses upstream
worker to get well-defined sync point.

Remove bublin.py - its unmaintained

It was supposed to support more elastic clustering,
but the effort has stalled, and the code is unfinished.

Remove it as it makes maintenance harder.

londiste: add regtest alternatives for 8.3

8.3 does not have TRUNCATE trigger, so tests
that expect it will fail.

londiste.drop_table_triggers: use decode() instead cast

text->bytea cast does not work on GP, use decode(val, 'escape')
to get same effect.

Merge branch 'master' of skype-git:/git/dba/skytools-3

skytools.scripting: speed up stat counters

Survive empty PYTHON from PGXS

Merge pull request #12 from emiel/master

Allow for building with different python versions

Fix support for '--with-python=PYTHON' configure flag

sql: sync versions in all files

Seems there aretoo many places where version needs to be mentioned..

Remove 'workaround' as it was pgq_coop own bug

sql: always install contrib files

common-pgxs: use awk instead sed when finding source files

Merge remote-tracking branch 'intgit/master'

draft news

londiste: bump schema version to 3.1.1

Rename queue_splitter & _mover docs with '3' suffix

It seems whole "configurable suffix" idea is a mess
and should be removed.

pgqd: Make connection handling more robust

There are reports of fatals() and stalls
when server goes down.  Plug potential holes.

* check for DB_CLOSED in tick_handler
* check for TUPLES_OK everywhere

Support for extensions upgrade

Needed for pgq & pgq_coop that have changed.

Also move more common code to common-pgxs.mk

adjusted default keepalive_stats from 61 to 300 seconds

Added keepalive_stats parameter for consumer that controls how often idle consumer logs idle time. Also added rounding to milliseconds for logged durations

Refresh libusual

londiste compare improvements

* Calculate common column names, to allow different order
  or different subset.
* Use different hash function on 8.3 <> something else comparision
  as hashtext() changed in 8.4.
* Always calculate final hash as bigint.

compare workaroud for hashtext change between 8.3 and 8.4

pgq_coop.next_batch: check and create subconsumers after locking main consumer

Otherwise, there is race with other consumers who might remove
just-checked subconsumer.

consumer logs again idle time spent waiting for events

Merge remote-tracking branch 'intgit/master'

Change londiste_create_part regtest to use specific fields

Otherwise test fails due to information_schema unstability.

londiste.local_remove_table: resture DDL if still attached to table

Multi-TX COPY can happen on merge nodes.  If table
is removed during such copy, the DDL is removed from table
and put to 'dropped_ddl' column.

If dropped_ddl is not empty, the table is truncated and
DDL is restored.  Reason for truncate is that table is
unsynced anyway, so no point keeping the data.

scripts: update doc as well

scripts: changed queue_mover and queue_splitter service_name

pgq_node.demote_root: decrease lock level

Otherwise demote can get stuck on pg_dump.

Also lock all event tables, not only current
as the current one can change.

Merge branch 'master' of git://github.com/markokr/skytools

Merge branch 'master' of internal-git:/git/dba/skytools-3

Don't complain if a nonexistent WAL file is encountered during cleanup.

This is to avoid crashes when some cleanup command (such as pg_archivecleanup)
has already removed the wal files.

Merge pull request #9 from dgorley/master

Updates to Documentation

Some cleanup and grammar corrections to documentation.

python/qadmin.py: updated script version, added pgq version, amended messages

Merge remote-tracking branch 'martino/master'

source.cfg: include debian/pg_buildext in tgz

skytools.scripting: log config reload, updated comment.

skytools.scripting: added support for script __version__

skytools.__init__: added symbols for natsort module

skytools.scripting: added shutdown() to BaseScript

This should be used for cleanup code instead of abusing stop(),
which is called from signal handler.

qadmin updated

python/qadmin.py: unified results displaying

doc/qadmin.txt: small fixes

python/qadmin.py: added "show version" command

"start with something simple and easy, young man."

scripts/skytools_upgrade.py: added "dry run" option and updated manual page

--not-really::  Don't actually do anything.

scripts/scriptmgr.py: status command can optionally be more selective

doc/scriptmgr.txt: manual update

catch up with the previous commit

scripts/scriptmgr.py: added option for specifying service type

-t SVC, --type=SVC  apply command to all jobs of this service type

Merge branch 'master' of skype-git:/git/dba/skytools-3

source.cfg: add new files

Add manpages for new scripts.

Also clean up minor issues in common text fragments.

v3.1

Bump schema versions.

Everything is 3.1.0.0 now.

sql/pgq: Don't tag batch_id_seq as dumpable, pg_dump is broken.

This means it's value will be lost during dump+restore.

pgq_coop: correct expected output for extension install

tests/merge/addcol-data2.sql: missing file

find_sql_functions: grep sql function signatures.

Dumb parser, but works on skytools modules.

tests/simplecons - simple_consumer & simple_local_consumer tests

pgq.LocalConsumer: fix exception message

simple_consumer: sync with simple_local_consumer changes

simple_local_consumer: function caller based on LocalConsumer

Consumer that runs a SQL for each event.

pgq.Consumer: 'table_filter' - filter for ev_extra1

londiste.create_partitions(): support triggers

londiste: --find-copy-node switch for add-table

This will find node where tables are available for copy
by walking upwards to root.

News update

CascadedWorker: don't move watermark on source further than incoming batch.

This can happen on merge-leaf-on-branch, where incomong queue
can be behind the combined-queue on branch.

londiste execute: fix downstream apply

- Downgrade "already applied" message from WARN to INFO
  Unnecessary to warn about expected situation.

- ExecAttr: urldecoding fixes
  This path was not tested properly.

- Test execute-through-combined-queue

Convert DB modules to extensions

Keep installing old module files under contrib/ still.

pgq.LocalConsumer: consumer that tracks processed ticks in local file

testlib.sh: few improvements

title2, title3, run_qadmin, cat_file

pgq.maint_operations: include londiste.periodic_maintenance

londiste.periodic_maintenance: cleanup for applied_execute

londiste.applied_execute: drop queue_name from pkey

Reason - we want execute work also when parallel queues
from partitioned databases are merged together into
single queue.  Thus we need to be able to detect if same
changes have been applied through different queue.

londiste execute: fix filter

londiste replay: skip provider checks if copy_node is used

Because the table does not need to exist on current provider then.

Perhaps it would be safer to go and check this new node,
but copy can wait for good state on its own too.

londiste execute: support meta attributes in sql

THis allows use of EXECUTE in sitations where table
can be missing on few nodes.

Currenly, this needed to to be solved with temp update functions
that detect local situation or avoiding Londiste completely.
Both which are non-optimal solutions.