Add easy way to do xkey based purging of a template

Since we can purge based on the md5 hash of a template name, expose this
in the purge dialog so one doesn't have to manually calculate the hash
to use it.

Fix reject message subject on two-moderator items

Two-moderator items require only one moderator to be rejected or to be
sent back for more editing. In that case, don't log None as the other
moderator.

Don't send link to edit deleted submissions

Once a submission, like a news article, has been deleted, that link
would just become a 404 anyway.

Exclude the pgAdmin repos from the FTP crawl.

Update jquery dependency to 3.4.1

Upgrade bootstrap and popper dependencies

Up to bootstrap 4.4.1 containing a lot of fixes.

While at it, put the version in the filenames, so we don't have to
cache-bust them every time we modify something unrelated, since they do
have well defined versions.

Remove unused dependency on jquery.matchHeight

Remove dynamic "docs" stylesheet

This was never used. And it was probably good that it wasn't, because if
it had it would've included both two copies of bootstrap in the page,
and also the bootstrap css map (as part of the css, and not as the map).

The docs pages these days use the same base stylesheet as the rest of
the site.

Remove CSS files from the previous generation of the site

Remove unused parts of bootstrap

Remove unused javascript

This is from the old version of the website, and hasn't been used for
quite some time.

Remove dependency on unversioned jquery-ui

We apparently had some old /admin/ code that used an old version of
jquery-ui, but AFAICT we don't have that anymore. So remove teh loading
of them and also the files, so we have just one version of jquery
around.

Ensure cache-buster URLs are used for all css and javascript

Most of this is in the admin section where it's less important, but it's
not all, and even there it's not zero importance.

Don't send notifications for new objects that are tri-state moderation

These will get a notification when they are explicitly submitted for
moderation, so there is no point in having a separate notice sent when
they're created, since there is nothing for the moderators to do at that
point.

Fix moderation preview of organisatoin managers

Fix invalid field name

Missed in a previous rename round.

Turn off usergenerated flags for email from our own addresses

News, docs and bugs are all sending from our own noreply addresses these
days, so they should not be flagged as usergenerated (flagging as
usergenerated will revent dkim signing, amongst other things)

Don't create duplicate headers in outgoing email

The python libraries will *append* a header if it's just added again,
which would cause the news to go out with two date headers. Oops. So
instead check if each header is present and in that case replace it
rather than appending.

Track multiple email addresses for an organisation

This allows organisation managers to add more than one email address to
an organisation, and use this for sending news from. Sending news is the
only thing that the email field is used for at this point. Adding an
email will trigger a validation email sent to the address with a token
to confirm it, so that we can actually trust the emails.

Remove the previous registered emails on organisations. These addresses
were never validated and thus cannot really be trusted, so it's better
to remove them cleanly than to migrate them into the new system and be
uncertain.

Finally, in passing, remove the phone field on organisations. We've
never used that for anything and there's not really any point in
collecting the data.

Send moderation notices to organisation admins

Instead of tracking one single (non-verified!) email address for
organisations only to send notificationsn to, send the notifications to
all managers. This is relevant because all managers are in a position to
act upon them (and for example fix a posting).

Add support for sending out news as HTML email

When a news article is approved, it gets delivered as an email to the
pgsql-announce mailinglist. It will render the markdown of the news
article into a HTML part of the email, and include the markdown raw as
the text part (for those unable or unwilling to read html mail).

For each organisation, a mail template can be specified. Initially only
two templates are supported, one "default" and one "pgproject" which is
for official project news. The intention is *not* to provide generic
templates, but we may want to extend this to certain related projects in
the future *maybe* (such as regional NPOs).

These templates are stored in templates/news/mail/*.html, and for each
template *all* images found in templates/news/mail/img.<template>/ will
be attached to the email. "Conditional image inclusion" currently not
supported.

To do CSS inlining on top of the markdown output, module pynliner is now
required (available in the python3-pynliner package on Debian).

A testing script is added as news_send_email.py in order to easier test
out templates. This is *not* intended for production sending, so it will
for example send unmoderated news. By sending, it adds it to the
outgoing mailqueue in the system, so unless the cronjob is set up to
send, nothing will happen until that is run manually.

Support is included for tagged delivery using pglister, by directly
mapping NewsTags to pglister tags.

While at it, update the moderation preview forms to preview news items
using the HTML template for the email (while leaving other types of
items previewing without a particular stylesheet).

Teach send_simple_mail about sending HTML email

If a HTML body is specified, the plaintext and html bodies will be sent
as a multipart/alternative MIME object.

Also teach it to add attachments with Content-ID and overriding the
Content-Disposition, to make it possible to reference images attached
using cid: type URLs.

Store project root directory in settings

This makes it possible to reference for example templates in relation to
the root directory.

Add templatefilter joinandor

This filter takes a list of a,b,c,d and turns it into "a, b, c and d"
or "a, b, c or d" depending on parameter given.

Simplify admin preview of emails

Use the python3 function to get the plaintext body of the email, instead
of our own very limited one we had before.

Remove references to website migration

This migration happened 10 years ago, so if someone hasn't updated their
records by now, they're not going to.

We still allow and special-case the migrated data in the database in
order not to delete history, but this removes the direct texts about it
which take up unnecessary space and confuse some people.

Re-work moderation of submitted items

This includes a number of new features:

* Move some moderation functionality into shared places, so we don't
  keep re-inventing the wheel.
* Implement three-state moderation, where the submitter can edit their
  item and then explicitly say "i'm done, please moderate this now".
  This is currently only implemented for News, but done in a reusable
  way.
* Move moderation workflow to it's own set of URLs instead of
  overloading it on the general admin interface. Admin interface remains
  for editing things, but these are now separated out into separate
  things.
* Do proper stylesheet clearing for moderation of markdown fields, using
  a dynamic sandboxed iframe, so it's not ruined by the /admin/ css.
* Move moderation email notification into dedicated moderation code,
  thereby simplifying the admin subclassing we did which was in some
  places quite fragile.
* Reset date of news postings to the date of their approval, when
  approved. This avoids some annoying ordering issues.

Ensure markdown fields cannot contain HTML or images

Since images can be used to drop things like tracking pixels, simply
disallow them in all submissions.

Prefetch managers when viewing the organistion list

This removes a few thousand SQL queries and speeds up the page "a bit"

Remove dead links

Two of our international community sites have failed to resolve or reply
for a while now, so remove the links. Should they reappear we can always
add them back.

Update more links to be https instead of http

Update translated docs links to be https

The French docs had one link in http and one in https as noted by
Lætitia. In passing I also adjusted the japanese to link to the https
version directly as one is available. The remaining one (Chinese) does
not appear to have a responding https server, so that one is left as
http.

Ensure "help_text" segments line up on feature matrix model

There was a subtle difference between the migration and the
model itself, which was leading to a migration warning, even
though nothing about the help_text is persistent in an actual
database.

Create proper URL check for feature matrix entries

40d6891c had created a false illusion of working, which can
certainly be blamed on the patch author. That said, instead
of trying to work around what the standard Django filters
provide, it is more prudent to create a "URL checking"
function for the feature matrix descriptions. This can be
used both for the "featurelink" generation, as well as the
new check we make to get the stated goal of 40d6891c, i.e.
provide a clickable URL when that is the only content of a
feature description.

Create clickable links on feature details pages

There are many feature matrix details pages that would have
just a plain URL that was not clickable, either due to someone
accessing a feature matrix details page directly, or due to an
old details pages with a description being converted to just a
link.

This ensures that such pages can have a clickable link to attempt
to create a better user experience. Doing so from the Django
template filters is a bit roundabout, but it does get the desired
effect.

Add Markdown support to feature matrix descriptions

This will make it possible to allow for links in longer
descriptions for particular features. This also adds some
help text describing how the feature matrix details field
works, as I remember I was originally caught by surprise that
one could provide a direct link to something.

Add v13 to feature matrix

This is part of the annual tradition of updating the
feature matrix.

Ensure news and events archive doesn't generate thousands of queries

While there is Varnish to take the edge off it, this is just too
ineffective to leave around :)

Strip html tags in event archive

We were already doing this for news, but for some reason neglected to do
so for events, which made for some pretty messed up formatting in the
archives now and then. We should treat news and events the same...

Update requirements.txt to match current production env

Fix cvss links in admin interface

Update URL for "PostgreSQL for Beginners" book

The source page for this had changed with the publication of
another book in this list.

Author: Pavel Luzanov <p.luzanov@postgrespro.ru>

Add "PostgreSQL: The First Experience" book

Author: Pavel Luzanov <p.luzanov@postgrespro.ru>

Add a missing dependency in migration

Required to pass installation on empty system.

Update the CoC policy, per CoC Committee/Core

Minor updates to the specifics regarding how the committee membership is
managed and providing for a transistion period when the membership
changes.

Per direction of the CoC Committee, with Core approval.

Pass the -y flag to apt in the install scripts.

Per Lætitia Avrot.

Pass the -y flag to yum/dnf when generating install scripts.

Per Lætitia Avrot.

2020-08-13 cumulative update and PostgreSQL 13 Beta 3

Reference OLD instead of NEW in trigger

The trigger is used for both UPDATE and DELETE, but in DELETE there is
no value in OLD.

Given that it only references the user_id field and this field cannot
change, we can just use OLD in both the UPDATE and DELETE case.

Back-patching in existing migration since it hasn't really been deployed
anywhere yet.

Add explicit links to git history for policies

We don't do this for all pages, but specifically for policies that
already included the "Last update", it's friendly to have a link to the
full set of changes.

We still lave the "Last updated" field as manually updated, because we
don't want to update that one if we just fix a typo or similar, it
should be reserved for when we make acstual content updates to a policy.

This creates and uses a specific template tag to automate the creation
of the links (that can of course be used elsewhere as well if needed).

Use an include to list the yearly coc reportts

For some reason this was done with copy/paste before, but an include
seems much better.

Simplify transaction handling in the changetracker daemon

Previously we used a combination of optimistic concurrency control
(by DELETEing with both the id and the date included in the WHERE
clause) and REPEATABLE READ transactions. This would create
serialization conflicts when completely unnecessary. Since in this case
it doesn't matter if we happen to push the same thing twice, switch
completely to optimistic concurrency control. That gets rid of having to
deal with serialization issues.

Update nagios monitor to check for duplicated email addresses

This should not be possible if things are done through the appropriate
interfaces, and those interfaces are bug-free (right..). But really bad
things can probably happen if they don't, so put a monitor in place to
check for it.

This also adds a view in the db that shows all registered email
addresses and their accounts, regardless of if it's primary or secondary
address. This is used by the nagios check but can of course be useful to
manual checks as well.

Tweak mediawiki to handle NULL in email fields

It really shouldn't exist, but we clearly have cases where the community
auth plugin sets the email to NULL, so we need to handle that case when
looking for what to update.

Use unbuffered output by default in changetracker

Remove symlink to selectable

We already removed the dependency in
5d7cf9833f27718733cbd805e86036eae24b86bc, but forgot this symlink.

Add cauth push receiver plugins for mediawiki and redmine

Implement synchronization for community authentication

This adds the concept of an apiurl to each site that uses community
authentication, that the main website server can make calls to and send
updates. This URL will receive POSTs from the main website when a user
account that has been used on this site gets updated, and can then
optionally update it's local entries with it (the django plugin sample
is updated to handle this fully).

Updates are only sent for users that have a history of having logged
into the specific site -- this way we avoid braodcasting user
information to sites requiring specific constent that the user hasn't
given, and also decreases the amount of updates that have to be sent.

Updates are queued by the system in a table and using listen/notify a
daemon that's running picks up what needs to be updated and posts it to
the endpoints. If this daemon is not running, obviously nothing gets
sent.

Updates are tracked using triggers in the database which push
information into this queue.

Make django community auth plugin only save changed fields

Teach pgweb to handle secondary email addresses

This allows each account to have more than one email address, of which
one is primary. Adding more addresses will trigger an email with a
verification link (of course). The field previously known as "email" is
now changed to be "primary email".

Change the profile form to allow freely changing between the added
addresses which one is the primary. Remove the functionality to directly
change the primary email -- instead one has to add a new address first
and then change to that one, which simplifies several things in the
handling.

Make user_import in the django auth plugin return the new user

It's useful to be able to directly get at the user record that was
returned instead of having to re-query it from the database. Since
nothing was previously returned, this is not backwards incompatible.

Fix typo

Add support for easily enabling the django debug toolbar

This requires the web server to also configure a static mapping for
/media/django_toolbar/ pointing into the django toolbar directories.

Mark the community auth login history field as not required in admin

With this field marked required and containing only static data and
nothing to edit, it was impossible to save the user editor at all.

Fix broken markup

<a> tags have to have a proper closing tag. Without this, the entire
text up until the next </a> became an anchor which wasn't exactly pretty...

Fix incorrect indentation

Add "Fundamentos para el trabajo con PostgreSQL" to Books

Purge taglist.json when tags are updated

Clearly forgotten back when tags were first added.

Implement permissions on news tags

This makes it possible to limit which organisations can use specific
tags in news, and verify those as news is submitted. Administrators can,
as always, override.

In passing also add a sortkey field to newstags to make them, well,
sortable and include urlname in the json output.

Remove unused imports

Clean up javascript indentation

Remove tabs from indentation, which was in about half the files, and
make everything 4-space indentation, which is what most of the rest
used.

Remove tabs from CSS indentation

We seem to still have sometimes 2 and sometimes 4 character indentation,
but for now at least get rid of the tabs.

initdb -> --initdb on newer distros. Per report from Geoffrey Gordon Ashbrook

Move all the non-Yum event handler setup into one shared script, per discussion.

Download pages overhaul:

- Don't use inline event handlers
- Simplify some of the wording
- Replace the package download list with nice buttons

Design by me & Jonathan, code by me, review by Jonathan and others.

Show community account last login and count info on admin page

The collection facility was added in
[200~9e70a4e0c32f8db0178f05dac4c1fca7b317e7c5, but no way was added to
view it. To make it a  bit more useful, add a static set of info on the
user edit page in /admin/ that shows the last login and number of logins
per site.

Fix query for tracking number of community auth logins

Embarassing thinko would cap the number of logins at 2...

Remove the source mapping URL for popper.min.js to prevent cluttering dev tools with warnings that it can't be found.

Ignore .DS_Store files

Fix up some incorrect imports

Make described checkboxes a lot more clear

Instead of a weirdly located "hover over the checkbox to get a
description" message, put the actual description underneath the
checkboxes. This removes the need for javascript for it, and make the
description a lot more readily available.

This applies only to news tags for now, since that's the only use of
described checkboxes, but hopefully it will make those more clear to
people submitting.

In passing, fix how help_text for multi-checkbox field is shown -- it
was previously shown almost as part of the field name itself, making it
very hard to make out. Now make it look like all other form field help
texts.

Move contents of forms into include file

This way we can re-use the basic form code across more pages.

Fix typo in redirect_to help text

Interestingly enough, this showed up because the migration was out of
sync. Normally this means the migration has not been updated, but in
this case it appears the migration is correct and the actual model is
incorrect. Yet both the model and the migraiton were introduced in
commit e2120f0a.

Set a default DATE_FORMAT

We already set DATETIME_FORMAT, but it makes sense to also set
DATE_FORMAT. In all our frontend templates we were already using an
explicit format, but this will help the /admin/ side.

Fix message preview in mailqueue model

UTF8 encoding issues since the python3 migration...

Fix link to rpmchart for new yum website layout

Load signal handlers from an app instead of urllist

This is the place to load them to make sure they always load. This means
we can also now remove a hardcoded special varnish purging in the CVE
crawler script, because all saves including those from cron jobs will
now fire the signals and thus the automatic varnish purges.

Add CSP for GTM.

Use Google Tag Manager for integration with Google Analytics and honour DNT.

Per discussion and review on pgsql-www.

Update link for the new zypp website layout

Update SLES support list

PostgreSQL 13 Beta 2 release

Update Fedora info

Fix command ordering per Devrim.

Overhaul the Redhat, Ubuntu and Debian installation instructions.

* Merge all commands into a single text area for ease of copy/paste.
* Add a Copy Script button to each text area to copy the script (without comments and blanks) to the clipboard.
* Centralise the copy/paste code so it can be used elsewhere.
* Always install the database server.

Based on reviews/discussion with Magnus, Jonathan, Daniel and Sehrope.

Remove links to pgfoundry from pgweb

This primarily affected several of the older press kits.

List installers as EDB products rather than EnterpriseDB.

s/RedHat/Red Hat

s/RC/Beta/ on the Beta page

Even though the hrefs were correct, the text was not.

PostgreSQL 13 Beta 1 release