londiste.periodic_maintenance: cleanup for applied_execute

londiste.applied_execute: drop queue_name from pkey

Reason - we want execute work also when parallel queues
from partitioned databases are merged together into
single queue.  Thus we need to be able to detect if same
changes have been applied through different queue.

londiste execute: fix filter

londiste replay: skip provider checks if copy_node is used

Because the table does not need to exist on current provider then.

Perhaps it would be safer to go and check this new node,
but copy can wait for good state on its own too.

londiste execute: support meta attributes in sql

THis allows use of EXECUTE in sitations where table
can be missing on few nodes.

Currenly, this needed to to be solved with temp update functions
that detect local situation or avoiding Londiste completely.
Both which are non-optimal solutions.

skytools.exists_view(): new function

londiste: Wait commands for londiste

add-table --wait-sync
  Don't return until all pending tables are synced

wait-sync
  Wait until all pending tables are synced.

wait-root
  Wait until root's next tick has appeared locally.

wait-provider
  Wait until provider's next tick has appeared locally.

drop-node: move find_root before local drop

also put them into separate try/except blocks.

This should increase success rate, hopefully.

Suggested-By: Eero Oja

sql_tokenizer: allow idents starting with underscore

fileutil: write_atomic() for win32

win32 does not support atomic rename

pgq.maint_rotate_tables: check txid sanity, fail if bad

BaseScript: write pidfile atomically to avoid corrupt pidfiles.

Move signal_pidfile to 'fileutil' module

skytools.fileutil: new module, contains write_atomic()

pgq_node.drop_node: mention node name in info message

CascadedConsumer: re-initialize provider connection when location changes

This will avoid situation when connection is recreated with old connect string.

handlers: improve documentation

Add docstrings to part, londiste, qtable, qsplitter, vtable handlers.

londiste.handler: make encoding= param available to part & londiste handlers

- Move EncodingValidator from dispatch.py to handler.py
- Use it in TableHandler (londiste default)
- Thus it is inherited by 'part' handler too

handlers.part: clarify COPY expression with braces

Merge remote branch 'tarvi/master'

update walmgr doc

debian: build modules for all installed server-dev versions

Currently pg_buildext is designed for building official
Debian packages *only*, which makes is unusable for
users building for custom Postgres versions.

Fix:

- include pg_buildext (from 130~bpo60+1)
- patch it to print all installed versions
- include pgxs_debian_control.mk fragment
- use custom pg_buildext everywhere

I think this is bug in pg_buildext as official packages
can simply be built in deps-only environment.

v3.0.3

londiste add-table --expect-sync: don't check table existance on provider

pgq_node.version(): 3.0.0.18

pgq_node.drop_node(): forgot to remove raturn when planning fallthru

londiste3.txt: describe --copy-node

handlers.dispatch: try both new and old create_partition

londiste.version(): 3.0.0.16

pgq_node.version(): 3.0.0.17

CascadedWorker: merge-leaf-to-branch needs to publish wm info

Somehow the functionality got lost.

Seems the area is in need of some cleanups to
make code more clear.

handlers/dispatch: fix keep_all/keep_latest doc

debian: add build-deps, force debian/control rebuild

debian/control:
  Add build-dep of any of server-dev packages.
  For some reason, server-dev-all does not depend on any

debian/rules:
  Rebuild it via stamp file, otherwise its easily ignored
  and modules package is left out from build.

Merge remote branch 'intgit/master'

sql/londiste: fix locale problem in londiste_merge test

We want fixed sort order here to get quick overview of combinations.
Use 'name' type to get non-locale sorting.

Reported-By: Cédric Villemain

londiste.create_partitions: improved rule support

public.create_partition: drop rule logic from here

No point maintaing it in two places.

Let the code stay as-is.

signal_pidfile: support sig=0 on win32

To avoid pywin32 dependency for such basic functionality,
use kernel32.dll via ctypes directly.

skytools.UsageError: remove noise word

CascadeAdmin: add node name prefix messages from db

pgq_node.drop_node: drop queue data even if node_info is empty

londiste.version(): 3.0.0.15

pgq_node.version(): 3.0.0.16

create_partition: move under londiste schema

It is now generic enough so no custom modifications
are not needed anymore.  So make it always-available.

create_partition: special-case for public grant

create_partition: also load rules from master table

skytools.dbstruct: better rule name redirection

Old code did not handle WHERE, nor repeated
table references in rule.

dbservice.get_record_list: do not use parse_pgarray on python lists

skytools.scripting: catch EINTR from sleep()

skytools.scripting: detect missing signals

Don't hook signals that are not supported by OS.

Needed for win32.

pgq_node: refresh regtest

pgq_node.unregister_location: do automatic unsubscribe

There may be obsolete subscriptions around, do unsubscribe
automatically, instead complaining.

londiste remove-table: drop sequence too

londiste.setup: UsageError requires module prefix

handlers.part: fix typo

londiste copy: copy table from another node

add-table: --copy-node=NODENAME, store it into table_attrs
copy: take node name from table_attrs

skytools_upgrade: fix special cases

londiste.find_table_oid: drop old version - 9.1+ panics when argument name changes

sql/logtriga: compile on 9.1+

handlers.dispatch: add comment about differences from part_func

If create_partitions() does not exist, the table is created
manually.  But there are differences from how table is created.

Add comment about it, we might want to fix it someday.

skytools_upgrade: show old version before upgrade

pgq_node.create_node: create branch nodes with disable_insert set

This is the proper approach to avoid any unexpected events
in the queue.  The flag is ignored if connection is in 'replica'
role, thus cascaded queueing continues to work.

pgq.insert_event(): remove unused variable.

pgq.insert_event: ignore disable_insert if in 'replica' role

Otherwise we cannot use insert_event on branch nodes.

We could allow it in 'local' role too, but another kind-of-valid
behaviour is to skip insert completely in 'local' role.
So until a valid use-case appers, don't ignore the flag
in 'local' role.

Add more contributors

Merge branch 'master' of internal-git:/git/dba/skytools-3

v3.0.2

Refresh debian packaging

AUTHORS: Add contributors to 3.x branch

Sync AUTHORS list from 2.1 branch

walmgr: fix backup from slave

Current version improperly remove needed WAL files when creating backup from slave.

The minimum WAL file is file with REDO record, not with latest checkpoint itself.

londiste.version(): 3.0.0.14

pgq_node.version(): 3.0.0.15

pgq.version(): 3.0.0.15

Include simple_consumer script

Quick event processing by simply launching SQL
query for each event.

Forward-ported-by: Juta Vaks

londiste: Always use TRUNCATE CASCADE

Otherwise the operation cannot play well with
foreign keys, on both slave and master.

CascadedWorker: publish_local_wm() is missing a commit

psycopgwrapper: allow name= argument to .cursor()

Group-access roles for SQL functions (draft)

This is attempt for fine-grained access rights for all
Skytools SQL schemas.  As it still needs review,
the rights are not activated by default, instead
following sql files are generated:

  newgrants_<schema>.sql - applies new rights, drop old public access

  oldgrants_<schema>.sql - restores old rights - public execute
              privilege to all functions

Only thing that is active by default is creation of new
groups in upgrade functions.

New access roles:

pgq_reader
    Can consume queues (source-side)

pgq_writer
    Can write into queues (source-side / dest-side)
    Can use pgq_node/pgq_ext schema as regular
    consumer (dest-side)

pgq_admin
    Admin operations on queues, required for CascadedWorker on dest-side.
    Member of pgq_reader and pgq_writer.

londiste_reader
    Member of pgq_reader, needs additional read access to tables.
    (source-side)

londiste_writer
    Member of pgq_admin, needs additional write access to tables.
    (dest-side)

walmgr: add option for init-slave to add password from file to .pgpass
walmgr: add command synch-standby

sql/pgq: use terse verbosity in regtests

pgq.insert_event(): outer wrapper does not need to be secdef

source.cfg: minor improvements

handlers.part: make hash func configurable

v3.0.1-real

pgq_coop.version(): 3.0.0.4

pgq_node.version(): 3.0.0.14

pgq.version(): 3.0.0.14

londiste.handlers.dispatch: Detailed exception if part_field is NULL

Give enough details to locate the event in queue

skytools.skylog: make sysloghander compatible with both 2.6 and 2.7

v3.0.1

Merge remote branch 'intgit/master'

Refresh libusual

debian: include skytools.ini in tgz

skylog: stop using standard SysLogHandler, it's broken

It fails to handle unicode strings - it puts BOM in
wrong place.  Wrap logging.handlers implementation
in class that simply drops the BOM addition.

skytools.config: improved compatibility with logging.Logger

Merge remote branch 'intgit/master'

v3.0

debian: Use new htmlinstall target to get html docs

source.cfg: improve source filters