compare workaroud for hashtext change between 8.3 and 8.4

consumer logs again idle time spent waiting for events

scripts: update doc as well

scripts: changed queue_mover and queue_splitter service_name

Merge branch 'master' of internal-git:/git/dba/skytools-3

Don't complain if a nonexistent WAL file is encountered during cleanup.

This is to avoid crashes when some cleanup command (such as pg_archivecleanup)
has already removed the wal files.

python/qadmin.py: updated script version, added pgq version, amended messages

skytools.scripting: log config reload, updated comment.

skytools.scripting: added support for script __version__

skytools.__init__: added symbols for natsort module

skytools.scripting: added shutdown() to BaseScript

This should be used for cleanup code instead of abusing stop(),
which is called from signal handler.

qadmin updated

python/qadmin.py: unified results displaying

doc/qadmin.txt: small fixes

python/qadmin.py: added "show version" command

"start with something simple and easy, young man."

scripts/skytools_upgrade.py: added "dry run" option and updated manual page

--not-really::  Don't actually do anything.

scripts/scriptmgr.py: status command can optionally be more selective

doc/scriptmgr.txt: manual update

catch up with the previous commit

scripts/scriptmgr.py: added option for specifying service type

-t SVC, --type=SVC  apply command to all jobs of this service type

Merge branch 'master' of skype-git:/git/dba/skytools-3

source.cfg: add new files

Add manpages for new scripts.

Also clean up minor issues in common text fragments.

v3.1

Bump schema versions.

Everything is 3.1.0.0 now.

sql/pgq: Don't tag batch_id_seq as dumpable, pg_dump is broken.

This means it's value will be lost during dump+restore.

pgq_coop: correct expected output for extension install

tests/merge/addcol-data2.sql: missing file

find_sql_functions: grep sql function signatures.

Dumb parser, but works on skytools modules.

tests/simplecons - simple_consumer & simple_local_consumer tests

pgq.LocalConsumer: fix exception message

simple_consumer: sync with simple_local_consumer changes

simple_local_consumer: function caller based on LocalConsumer

Consumer that runs a SQL for each event.

pgq.Consumer: 'table_filter' - filter for ev_extra1

londiste.create_partitions(): support triggers

londiste: --find-copy-node switch for add-table

This will find node where tables are available for copy
by walking upwards to root.

News update

CascadedWorker: don't move watermark on source further than incoming batch.

This can happen on merge-leaf-on-branch, where incomong queue
can be behind the combined-queue on branch.

londiste execute: fix downstream apply

- Downgrade "already applied" message from WARN to INFO
  Unnecessary to warn about expected situation.

- ExecAttr: urldecoding fixes
  This path was not tested properly.

- Test execute-through-combined-queue

Convert DB modules to extensions

Keep installing old module files under contrib/ still.

pgq.LocalConsumer: consumer that tracks processed ticks in local file

testlib.sh: few improvements

title2, title3, run_qadmin, cat_file

pgq.maint_operations: include londiste.periodic_maintenance

londiste.periodic_maintenance: cleanup for applied_execute

londiste.applied_execute: drop queue_name from pkey

Reason - we want execute work also when parallel queues
from partitioned databases are merged together into
single queue.  Thus we need to be able to detect if same
changes have been applied through different queue.

londiste execute: fix filter

londiste replay: skip provider checks if copy_node is used

Because the table does not need to exist on current provider then.

Perhaps it would be safer to go and check this new node,
but copy can wait for good state on its own too.

londiste execute: support meta attributes in sql

THis allows use of EXECUTE in sitations where table
can be missing on few nodes.

Currenly, this needed to to be solved with temp update functions
that detect local situation or avoiding Londiste completely.
Both which are non-optimal solutions.

skytools.exists_view(): new function

londiste: Wait commands for londiste

add-table --wait-sync
  Don't return until all pending tables are synced

wait-sync
  Wait until all pending tables are synced.

wait-root
  Wait until root's next tick has appeared locally.

wait-provider
  Wait until provider's next tick has appeared locally.

drop-node: move find_root before local drop

also put them into separate try/except blocks.

This should increase success rate, hopefully.

Suggested-By: Eero Oja

sql_tokenizer: allow idents starting with underscore

fileutil: write_atomic() for win32

win32 does not support atomic rename

pgq.maint_rotate_tables: check txid sanity, fail if bad

BaseScript: write pidfile atomically to avoid corrupt pidfiles.

Move signal_pidfile to 'fileutil' module

skytools.fileutil: new module, contains write_atomic()

pgq_node.drop_node: mention node name in info message

CascadedConsumer: re-initialize provider connection when location changes

This will avoid situation when connection is recreated with old connect string.

handlers: improve documentation

Add docstrings to part, londiste, qtable, qsplitter, vtable handlers.

londiste.handler: make encoding= param available to part & londiste handlers

- Move EncodingValidator from dispatch.py to handler.py
- Use it in TableHandler (londiste default)
- Thus it is inherited by 'part' handler too

handlers.part: clarify COPY expression with braces

Merge remote branch 'tarvi/master'

update walmgr doc

debian: build modules for all installed server-dev versions

Currently pg_buildext is designed for building official
Debian packages *only*, which makes is unusable for
users building for custom Postgres versions.

Fix:

- include pg_buildext (from 130~bpo60+1)
- patch it to print all installed versions
- include pgxs_debian_control.mk fragment
- use custom pg_buildext everywhere

I think this is bug in pg_buildext as official packages
can simply be built in deps-only environment.

v3.0.3

londiste add-table --expect-sync: don't check table existance on provider

pgq_node.version(): 3.0.0.18

pgq_node.drop_node(): forgot to remove raturn when planning fallthru

londiste3.txt: describe --copy-node

handlers.dispatch: try both new and old create_partition

londiste.version(): 3.0.0.16

pgq_node.version(): 3.0.0.17

CascadedWorker: merge-leaf-to-branch needs to publish wm info

Somehow the functionality got lost.

Seems the area is in need of some cleanups to
make code more clear.

handlers/dispatch: fix keep_all/keep_latest doc

debian: add build-deps, force debian/control rebuild

debian/control:
  Add build-dep of any of server-dev packages.
  For some reason, server-dev-all does not depend on any

debian/rules:
  Rebuild it via stamp file, otherwise its easily ignored
  and modules package is left out from build.

Merge remote branch 'intgit/master'

sql/londiste: fix locale problem in londiste_merge test

We want fixed sort order here to get quick overview of combinations.
Use 'name' type to get non-locale sorting.

Reported-By: Cédric Villemain

londiste.create_partitions: improved rule support

public.create_partition: drop rule logic from here

No point maintaing it in two places.

Let the code stay as-is.

signal_pidfile: support sig=0 on win32

To avoid pywin32 dependency for such basic functionality,
use kernel32.dll via ctypes directly.

skytools.UsageError: remove noise word

CascadeAdmin: add node name prefix messages from db

pgq_node.drop_node: drop queue data even if node_info is empty

londiste.version(): 3.0.0.15

pgq_node.version(): 3.0.0.16

create_partition: move under londiste schema

It is now generic enough so no custom modifications
are not needed anymore.  So make it always-available.

create_partition: special-case for public grant

create_partition: also load rules from master table

skytools.dbstruct: better rule name redirection

Old code did not handle WHERE, nor repeated
table references in rule.

dbservice.get_record_list: do not use parse_pgarray on python lists

skytools.scripting: catch EINTR from sleep()

skytools.scripting: detect missing signals

Don't hook signals that are not supported by OS.

Needed for win32.

pgq_node: refresh regtest

pgq_node.unregister_location: do automatic unsubscribe

There may be obsolete subscriptions around, do unsubscribe
automatically, instead complaining.

londiste remove-table: drop sequence too

londiste.setup: UsageError requires module prefix

handlers.part: fix typo

londiste copy: copy table from another node

add-table: --copy-node=NODENAME, store it into table_attrs
copy: take node name from table_attrs

skytools_upgrade: fix special cases

londiste.find_table_oid: drop old version - 9.1+ panics when argument name changes