SSH batch mode and no strict host checking for remote_walmgr

Create log,pid,conf directories during --init

python/pgq: batch_info cleanup

- move batch_info compat from sql to python
- get rid of get_batch_info(), self.batch_info is always defined
- make remoteconsumer use self.batch_info

sql/pgq: separate out the truncate trigger tests

this makes success/failure on 8.3 clearer.

pgq.get_queue_info: report last tick in queue

pgq_node.get_worker_state: new function

combines get_node_info & get_consumer_info

cascadedworker: fix tick tx handling on branch

pgqd: set defaults for pidfile & logfile

cascade tag-dead: spread info over all nodes

refresh libusual

psycopgwrapper: export psycopg2.Error as DBError

status: info improvements

- show queue name
- show local node
- show lag in nicer way
- show last tick on node

cascade status: catch node errors, instead of aborting

pgq_node.get_node_info: set worker_last_tick to last tick on root.

refresh libusual

bump db ver

CascadedWorker: call pgq_node.set_global_watermark() only on branch

dbscript: debug log for new connections

todo: drop done items

pgq/cascade/admin: make tag-dead store into db

pgq_node.drop_node.sql: on local drop, delete all locations

pgq_node.register_location: NULL location keeps old value

londiste: change behaviour of --create* flags

--create now does minimal pkey-only structure

--create-full does maximal structure

--create-only is dropped as too complex

Tweaking --init to work on custom postgres setup

Added --init-X commands to simplify walmgr setup.

- Both wal-master and slave now use [walmgr] configuration section.
- Added --init-master and --init-slave command to set up configuration files.
- Various path are guessed from PGDATA, optionally override with --set X=Y
- "slave" config key in wal-master.ini now only contains hostname
- "slave" config key in wal-slave.ini has been replaced with walmgr_data
- ssh-keygen option to init-master, ssh-add-key option to init-slave
- most of the cf.get() calls for directories have been replaced with cf.getfile()

rewrote netxt_batch for coop consumer to be more flexible, using next_batch_custom

Ignore pgsql_tmp directory while creating base backup.

bug reported by Guillaume Smet

DBScript: allow override config parameters from command line (--set).

pgq/triggers: sanitize some dubious code

bump db ver

pgq.ticker(): rework the old tick sanity check

due to good-enough timing, seq and xmax may appear reversed.

only error out when xmin is wrong.

otherwise throw warning, to debug the issue.

fixed case when event id is NULL on retry

Merge remote branch 'mpihlak/master'

Fix "walmgr stop" not to disable archive_mode.

That is, unless master_restart_cmd is defined.

tests/londiste: test lagging takeover

nodeinfo status: show only first line of error

doc/devnotes: point to new repo

refresh libusual

tests: default to tcp connection

cascadedworker: create ticks on branch in separate tx

txid_visible_in_snapshot() does not consider same txid
as visible in current snapshot.

tests/londiste: generate some load when testing

pgq/triggers: disallow primary key updates

pgq.ticker: better error message when sanity check fails

Merge branch 'master' of internal-git:/git/dba/skytools-3

fixes to producer sql filtering

update syslog settings in pgqd.ini

change default syslog=1 for pgqd.

Merge remote branch 'intgit/master'

lambda vs quite_literal

fixed local_only functionality, structural changes

added local_only to londiste config parameter - accepts only events for local tables

qaadmin: unquote_literal fix

londiste add: create_flags must be 0 by default

bump db ver

pgq_node: workarounds for bandaid casts

pgq: avoid text||int concet, it breaks if db has bandaid casts installed

londiste add-table: dont set create_flags prematurely

bump db ver

Merge remote branch 'askotm/master'

fix pg_autovacuum defaults in pgq.tune_storage()

Previous version used zero value for freeze_max_age, which caused
autovacuum to constantly re-vacuum all of the event tables because
of the wraparound threat. Set this and other values to -1 to indicate
system default.

fixed two typos

wrote handle_fkeys to more gp-friendlier version

Cosmetics for wal-ini + hot_standby support.

Allow "primary_conninfo" to be specified in wal-slave.ini

Based on a patch by Mark Kirkwood.

Some adjustments for 9.0, wal_level GUC is also modified during setup/stop.

dbstruct: use new acl parser

qadmin: remove exception test

skytools: parse_acl() func for postgres ACL parsing

londiste tables: dont show non-local tables

those can be seen with 'missing'

qadmin: catch and show python exceptions

londiste do-sync: actually reset the pgq params

tick logic now respects either lag or max tick count, not just both

pgq_node.version: 3.0.0.4

skytools.unquote_ident: dont crash on empty string

londiste: force small batches for do-sync

pgq_node.get_consumer_state: missing returns, update regtest

londiste.playback: unused tablestate method

split query to avoid gp errors

londiste: load bulkloader by default

bulkloader: better error message if wrong event type

qadmin: sql passthrough, show table/sequence, cleanups

dbstruct: slightly more readable SQL output

quote_ident: special-case empty string

sql_tokenize: various improvements

- drop the use_qident param, wrong place for it
- support multi-symbol operators
- support >2 parts in names
- drop the magic escaping in pynew,pyold.  it does not make sense
- let all unknown symbols count as error

qadmin: parser cleanup

todo update

bulkloader doc: show correct londiste switch

sql_tokenizer: options to returns quoted idents separately

tests/handler: bulk handler test

londiste handler: convert bulkloader to handler

magic_insert: allow pre-quoted table name

refresh libusual

londiste playback: fix cursor name

cascadedworker: missing import

sql/londiste: actually install the .version function

londiste.version(): 3.0.0.6

londiste copy: at do-sync time disable large batches

londiste.local_add_table: avoid assigning to IN param

londiste.version(): 3.0.0.5

doc: ignore rsync errors