skytools.connect_database: avoid tuning keepalive on unix socket

skytools.Config: allow missing filename

Merge remote branch 'martin/master'

pgq.sqltriga/pgq.logutriga now fire in origin and replica roles.
This allows 'ENABLE ALWAYS' and 'ENABLE REPLICA' triggers to
fire on the target side. Previous behaviour was to only fire in
origin role.

Merge branch 'master' of git://github.com/markokr/skytools-dev

qadmin: parser cleanup, make * optional.

sql/pgq: make pgq.logutriga() ignore UPDATE when only ignored fields change

previously it behaved differently from sqltriga, as it did not need
to analyze which field change.  but it's better if it acts like
sqltriga when field ignoring is used.

sql/pgq: update regtest for get_batch_cursor() change

psycopgwrapper: Activate TCP keepalive on database connections

Turn on keepalive by default, to avoid hanged scripts in case of
network problems.

Also tune the keepalive timeouts smaller, on Linux at least,
so that the error happens after 5 min blackout.
(4 min idle + 4x15sec keepalive pings)

Merge branch 'master' of git://github.com/markokr/skytools-dev

qadmin: extend REGISTER CONSUMER

Custom tick pos: at <tick_id>
Copy other registration: copy <consumer>

todo update

DBScript: restore .looping variable

loop_delay is loaded from conf, so it conflicts with .set_single_loop()
in scripts which have both looping mode and non-looping mode.
Eg: londiste, walmgr

pgq.Consumer: report new class vars in top-level

qadmin: fix style problems

skytools_upgrade: add missing import

walmgr: remove double import

pychecker: dont warn for class docstrs, too much noise

sql/londiste: restore fkeys to local tables only

Fwd-port from 2.1-stable

DBScript: avoid second reload on startup

todo update

pgqadm status: show quick stats

sql/pgq: add quick stats to get_{queue|consumer}_info

get_consumer_info().pending_events

  How batched events are availble for read.

get_queue_info().ev_per_sec

  Average event creation speed, based on recent 20 batches.

get_queue_info().ev_new

  How many events have appreased in queue since recent tick.
  Those are not yet in any batch so consumers cannot read them yet.

DBScript: use log.exception also for psycopg errors

psycopgwrapper: make server_version int

fix pgq brokenness related to recent commits

- get_batch_cursor()
- loop_delay

testlib: set pipefail to catch errors in middle of pipe

londiste: copy expression support

pkgloader: allow non-numerics after '-'

Clean up few veriable names also

londiste copy: use TRUNCATE ONLY on 8.4+

psycopgwrapper: Fill .server_version on older psycopg

This make the parameter always available.

dbstruct: Remove ONLY from ADD CONSTRAINT.

Parent table cannot have contraints that the childs do not have.

Makefile: pass sub-* target exit status back

python/: Add --version switch to all scripts.

Based on patch by Hannu Krosing

londiste: make copy unlink inherited table from it's parents

Otherwise we cannot drop constraints.

Unlink from childs is not needed, so they are left as-is.

Patch by Hannu Krosing

skytools.DBScript: safer pidfile writing

- signal_pidfile: Clarify ValueError error message. Thrown usually
  on empty pidfiles, the error messega will now mention the pidfile name.

- run_single_process: restructure pidfile writing, so that
  the pidfile is removed if .write() failed, but not when open() failed.
  This should avoid the chance that empty pidfiles are hanging around.

python/skytools: add doctest-based regtests to few non-sql functions

Seems to be better testing method than ad-hoc scripts.  They will
serve as examples too.

Also fix few minor problems found in the process:
- parse_pgarray:  check if str ends with }
- parse_pgarray: support NULL
- quote_fqident: add 'public.' schema to idents without schema
- fq_name_parts: return always list

sql/pgq/triggers: magic fields to set event fields directly.

pgq.sqltriga() / pgq.logutriga() now consider following fields magic:

  _pgq_ev_type
  _pgq_ev_data
  _pgq_ev_extra1
  _pgq_ev_extra2
  _pgq_ev_extra3
  _pgq_ev_extra4

If any of them is present in table, corresponding event field is set directly
to it's value, overriding value generated by trigger.

Merge remote branch 'martin/master'

Merge branch 'master' of git://github.com/markokr/skytools-dev

Fix the pg_[x]log rsyncing code to leave out directory contents.

dbscript: rename connection_setup to connection_hook

DBScript: Simplify looping and docstring handling

- looping: remove .do_single_loop and .looping variables, let only .loop_delay
  control looping.  If loop_delay is missing from confing or 0, then
  instead sleep, the script will exit.

- docstr: print docstring fragments recursively, so each class
  needs to only document its own parameters.

- londiste.py: use Replicator class to print default config as it has
  proper class inheritance.

Add various junk to .gitignore

sqltools: make mk_update_sql()/mk_delete_sql() use ONLY

This will make urlencoded events behave same as sql events.

sql/pgq: trigger fixes

- pgq.logutriga() did not put custom pkey= value into events.

- pgq.logutriga() and pgq.sqltriga() did allow UPDATE and DELETE
  on tables without pkey, running into SQL errors downstream.
  They should throw error in such case.

pgq.maint_retry_events(): lock table to allow only single mover

Use SHARE UPDATE EXCLUSIVE lock, which will not conflict with inserts.

Disable archive_command in restored postgresql.conf
archive_command is set to /bin/true instead of disabling archive_mode
This avoids the extra reconfiguration restart when the slave is actually
booted and promoted to master. Based on patch by Mark Kirkwoord.

pgq.Consumer: use next_batch_custom()

This brings new configurable params:

  pgq_min_delay, pgq_min_count, pgq_min_lag

make them also reloadable via SIGHUP.

pgq.get_batch_info(): show also seq values

pgq.Consumer: use lazy_fetch by default

New default_lazy_fetch class var to allow subclasses to turn it off.

pgq.Consumer: use get_batch_cursor()

pgq.next_batch_custom(): extended next_batch

Supports create batch of several ticks and also forced lag.

pgq: make test should also install

nodeinfo: show failed consumers

cascadeadmin: fix provider_node ref

refresh libusual

todo update

configure: add usual_port_check

cascadedconsumer: use exception_hook to store error in db

DBScript: exception_hook

londiste add-seq/tbl: fix --create bug

python/: clean up imports

- Remove unused imports
- Remove relative imports

run.lint: check all packages

Also tune down style warnings

londiste: on error, apply sql on-by-one

Check whether last loop got error (work_state = -1)
and apply sql one-by-one if thats true.

Also, apply TRUNCATE separately from other SQL.

skytools.DBScript: make work_state = -1 signal exception

If exception was thrown, set work_state = -1, to let consumer
handle next work differently.

pgq.CoopConsumer for Python

Simply wrapper around Consumer which redirects few calls to pgq_coop schema.

todo: merge queue loader to londiste

doc: fix html generation

refresh libusual

londiste.local_add_table: use information_schema to get trigger info

This allows to filter out only AFTER triggers without
depending on low-level details of pg_catalog.

londiste: helper function to extract parts from fqname

Fetch libusual fix

Merge commit 'martin/master'

Remove unused --overwrite option.

Create pg_xlog/archive_status directory for slave restore.

Patch by Mark Kirkwood.

libusual: refresh

sql/londiste: refresh regtests for table_attrs

local_add_table: FOUND does not work with MAX()

londiste: fix missing END IF and some ws in local_add_table()

Warn user when adding a table to replicate if it has triggers which will fire before londiste ones, and change trigger name to prefix with '_londiste_', per discussion.

Make --expect-sync use londiste.local_set_table_state()

fixed display_table to properly display long table names.

Reduced logging level for maintenance and retry commands.

londiste: make --expect-sync work

todo update

Merge commit 'martin/master'

pgq_node.set_consumer_error(): to store pending error condition

this may help admin tools which can show also pending error
of why processing last batch failed.

Fixed variable name mismatch.

Merge branch 'master' of git://github.com/markokr/skytools-dev

pgq_node.set_global_watermark: ignore missing ticks

set_global_watermark() can be called with non-existing tick-ids
if worker is processing old batches.

buildsystem reorg

- put python modules under 'skytools-3.0'
- install pkgloader separately
- install scripts in Makefile instead setup.py (it did not support rename)
  removing .py afterwards is dangerous as we may overwrite old scripts.
- move setup.py under misc/ as it really is not usable standalone
- drop override PYTHON

doc: clean up files under doc/

- move extra.css, fixman.py and getattrs.py under misc/
- move .html, .xml, .1 files to subdir
- remove londiste.5
- standardise: pgq-admin->pgqadm, londiste.cmdline -> londiste

pkgloader module to be able to coexist with 2.x

Use scheme that pygtk uses to support parallel installations:

  import pkgloader
  pkgloader.require('skytools', '3.0')

  import skytools

This will allow keeping old module installed by default and new
version is used only by request.

move bulk_loader/cube_dispatcher/table_dispatcher to old/

The scripts are obsolete but kept as samples.  To notify
that they are not maintained actively, move them away.

londiste: replace skip_trunc columns with table attrs

this allows to store more extra data and avoid table
struct change for each item.  only items that the
SQL code does not need to care about can be stored
that way.

doc update

Merge branch 'master' of git://github.com/markokr/skytools-dev

Merge commit 'martin/master'

Merge branch 'master' of git://github.com/markokr/skytools-dev