Stagger outgoing news emails

Set to a maximum of one outgoing email per 30 minutes

Add support for staggering outgoing emails

Sent email can be assigned a "stagger type", for which he system will
maintain a "last sent" information. When the email is sent, it will be
delayed to be at least "stagger" time after the last one sent of the
same type. If no email of this type has been sent before, the email is
of course sent immediately.

Remove unused function

Automatically populate list of coc reports and languages

Use the new filter to list templates and auto-generate the set of links.

Add a filter for getting language name from code

This adds a requirement on the Babel module in python.

Add filter to list all templates in a directory

Restructure coc templates

This creates a base templatefor the coc pages that will include the coc
itself and translations, the committee and the annual reports.

This removes the include files with _ in the name in the coc section,
which would previously both be directly accessible as pages and
part of the sitemap. The pages/ directory in the templates should really
only contain directly accessible pages.

Remove unused variable

Fix sitemap generation for static pages

In commit 7f8a0a56dd1fb5dedb5c04a872ce940ae7c891b4 we replaced the way
the "core" app is loaded, and this broke the generation of sitemap
entries for it. Oops.

Revert "Temporarily remove links to EDB interactive installers"

Temporarily remove links to EDB interactive installers

This is due to an expired certificate. Once the certificate
is updated, the links will be reintroduced.

Add static og: tag to the index page

Add opengraph tags to some pages

Add template support for opengraph tags (which will enable things like
icons and preview on posts to twitter and facebook and other places) to
both base pages and documentation pages. Use this to actually add the
tags to docs pages (only v10+ will get text previews, but all should get
the titles and image) and news (only news from the project will get an
image, all get both title and text)

Reduce number of queries to render a docs page

One query for each version, supported or unsupported, now replaced with
a single query to get all of them.

Fix a stray typo

Somehow, even after reading through the patch three times,
the committer still missed it.

Add "Learn PostgreSQL" to books

Allow for direct URLs to abbreviated legacy PostgreSQL releases

For example, while a link to "/docs/release/9.1.0/" would work,
going to "/docs/release/9.1/" would not; in this case, it would
show the release details for "9.0.1". While the probability of
someone modifying the links to see the different release notes
is low, we would still need to take action on what is an
incorrect link.

Instead of returning a 404, this transposes the major/minor
version to point at the canonical version number and render the
expected page. This is set up to work for the 6, 7, 8, 9 series.

Reported by: Nikolay Samokhvalov <samokhvalov@gmail.com>

Add additional updates to CoCC bios

In this case, I had forgotten to update this bio in the first
pass. I'll ponder that perhaps we should put something in the
database to manage this in the future.

Fix regression that prevented accessing new organisation page

The addition of the fieldsets did not account for the fields
themselves from being removed from the new organisation form.
The OrganisationForm now removes the appropriate fieldset when
the fields are not available in this form.

Update to a bio on the CoC committee page

Add fieldsets to the organisation form

Add support for fieldsets to forms

This makes it possible to define a fieldset which has a legend and a
description, to split up a large form into multiple visual components.

Move form field details into a separate include file

Update the CoCC page change date

The previous commit forgot to do this. Also changed italicized
text to use "<em>" instead of "<i>", as "<i>" is deprecated
for italics.

Update Code of Conduct Commmittee Page

This is changed to reflect the committee for the 2020-2021 term.

This also changes the "Past Members" structure to list out
names and which terms they served.

Make the add manager field more clear in the organisation form

Make it clear that one should enter the email address, not username, to
add a manager, and that it should be an existing account.

Additional date translations for the PG13 presskits

These include:

- French
- Portuguese
- Polish
- Spanish

Add release date to the Japanese press release for PG13

Fix silly copy/paste mistake

Slugify event URLs

Update event archive footer links

* Turn main links into buttons
* Have a link from the archive back to the upcoming events, not just in
  one direction.
* Write a paragraph about submitting events, similar to what was
  recently done for news.

Fix silly typo

Remove template reference to eventblocks

This hasn't been used for a long time but was left over in a template.
It would render a link with a space in the title and missing the word
"events"...

Fix typo in comment

Prevent creating new accounts with email registered as secondary

If an email is already added as a secondary address to one account,
don't allow creating a new account using that email, unless it's
removed. Otherwise we end up with the same email address attached to
multiple different accounts, which can cause big problems downstream.

This should never have been allowed of course, but was missed when
support for secondary emails was added.

Fix password type identifications

Sha1's start with sha1$, not sha1_ (and this is not a SQL LIKE match).
And fix parameters when calling re.match in the unmatched case.

Fix merging of organisations

This has been broken since the OneToOne change in 2016 and since the
addition of pugs in 2013. Clearly not much used functionality.

Add direct links to news/events/services policy from submission forms

No link for Products because we don't currently have a policy for them.

Use a dash instead of empty string to indicate all tags

Seems there is somethign in the stack used in production that does not
like the use of an empty string between two slashes...

Remove hardcoded number, when we have a variable

Improve display of news tags

* Add a fa icon for tags to the buttons that are clicked for news tags,
  to make it more clear what they are.
* Show a badge with the tag on each item when browsing the list.
* Change the buttons to be badges when viewing an individual item, and
  move them to the top of the page instead of the bottom for consistency
  with the listing.

In passing, add some spacing between the header and the text when
viewing a news item, because it looks a lot better.

Implement pagination for news archive

For now we do 10 items per page, but that's easy to adjust.

Paginate based on the date (so create an index on the date field to
simplify this), making page rendering and load a *lot* faster.

Update existing static news URLs to be slugified

Slugify URLs to news articles

Add a github action to validate syntax post-commit

While we don't use the github workflow for our development, it doesn't
hurt to get a post-commit notification when somebody forgot to validate
things pre-commit (using the hook we have). This hook also runs with
exactly the version of python/pycodestyle that we are using in
production, which might help someone.

Update package information on Windows / macOS pages

This now indicates the support for PostgreSQL 13.

Updates to the PostgreSQL 13 Russian press release translation

This fixes a few typos.

Fix release notes browser for 9.6 and earlier

At some point the code to drop down parts of the list broke for version
numbers that had a dot in it, meaning all versions prior to 10.
Unrelated to the release today. Fix is to just render 96 instead of
9.6..

Bug spotted by Stephen Frost

Fix a date on the relesae roadmap

Someone put 2020 instead of 2021.

PostgreSQL 13 release announcement

Yay!

Content updaes for PostgreSQL 13 release

An annual review of general content on the website, including adding
in new tidibts of information based on the new PostgreSQL release,
in this case for PostgreSQL 13.

PostgreSQL 13 Press Kit

Includes the press kit, translations of the press release, and
retires the PostgreSQL 12 press kit.

Update the FAQ

Amend, emend, and remove questions and answers to help keep up
with the modern times.

Fix language in unsupported documentation blurb

This removes any ambiguity that the blurb is making a reference
to other supported documentation.

Author: Daniel Gustafsson <daniel@yesql.se>

Fix typo on NetBSD page

Somehow, this was missed by the person who is typing out this
sentence.

Add NetBSD OS to list of downloadable packages

This also includes a change in the descruption of the BSD
family of packages to use the term "operating system", which
is the preferred language for describing the different BSD
options.

Author: Daniel Gustafsson <daniel@yesql.se>

Add rel="noopener" to all _blank target urls

Remove the cross-platform Linux installer

This installer is only supported up to PostgreSQL 10 and based on
the overall outbound traffic numbers to the installer, it makes
sense to remove it instead of carrying the overall maintenance
burden.

Update macOS downloads page

This provides a much more concise and accurate description of
what is on this page, as well as an ordering of the installers
based on the measured popularity of them.

Remove Debian backports from downloads page

There was little outbound traffic going to these URLs.

Remove references to BigSQL packages

The BigSQL packages are no longer publicly available, and
various parts of the BigSQL packages in the website had already
been commented out.

Remove "Build from Source" section on Linux package pages

The measured traffic patterns indicated that people wanting to
build from source were not getting to the source tarballs from
the Linux package pages, rather a) people on the package pages
wanted the pre-built packages and b) people who wanted source
code went directly to the source code from the main downloads
page.

Improve moderation messages somewhat

Change the subject to use the title of the object instead of the id, and
include a link to the moderation page. There's surely more to be done,
but this is a decent start.

Add admin function to initiate user password reset

This will trigger the same reset-your-password email as a user initiated
one, but it'll cut out one step and be a bit more user friendly...

Also, if this is done with an OAuth connected account, it will be
converted into a regular one (something we don't allow the end user to
do, for support reasons)

This also adds an entry to the user editor in the admin view that shows
if the user *is* an oauth user or not, or if they might have an old
"unmigrated" password.

PostgreSQL 13 Beta 1 updates

Properly verify owner of organisation in all forms

Remove form that no longer does anyting non-default

Add an inline to view and edit organisation emalis

The ability to do this was lost when we moved to multiple emails per
organisation since it's no longer in the main table, so add it back as
an inline.

Remove unused import

Add easy way to do xkey based purging of a template

Since we can purge based on the md5 hash of a template name, expose this
in the purge dialog so one doesn't have to manually calculate the hash
to use it.

Fix reject message subject on two-moderator items

Two-moderator items require only one moderator to be rejected or to be
sent back for more editing. In that case, don't log None as the other
moderator.

Don't send link to edit deleted submissions

Once a submission, like a news article, has been deleted, that link
would just become a 404 anyway.

Exclude the pgAdmin repos from the FTP crawl.

Update jquery dependency to 3.4.1

Upgrade bootstrap and popper dependencies

Up to bootstrap 4.4.1 containing a lot of fixes.

While at it, put the version in the filenames, so we don't have to
cache-bust them every time we modify something unrelated, since they do
have well defined versions.

Remove unused dependency on jquery.matchHeight

Remove dynamic "docs" stylesheet

This was never used. And it was probably good that it wasn't, because if
it had it would've included both two copies of bootstrap in the page,
and also the bootstrap css map (as part of the css, and not as the map).

The docs pages these days use the same base stylesheet as the rest of
the site.

Remove CSS files from the previous generation of the site

Remove unused parts of bootstrap

Remove unused javascript

This is from the old version of the website, and hasn't been used for
quite some time.

Remove dependency on unversioned jquery-ui

We apparently had some old /admin/ code that used an old version of
jquery-ui, but AFAICT we don't have that anymore. So remove teh loading
of them and also the files, so we have just one version of jquery
around.

Ensure cache-buster URLs are used for all css and javascript

Most of this is in the admin section where it's less important, but it's
not all, and even there it's not zero importance.

Don't send notifications for new objects that are tri-state moderation

These will get a notification when they are explicitly submitted for
moderation, so there is no point in having a separate notice sent when
they're created, since there is nothing for the moderators to do at that
point.

Fix moderation preview of organisatoin managers

Fix invalid field name

Missed in a previous rename round.

Turn off usergenerated flags for email from our own addresses

News, docs and bugs are all sending from our own noreply addresses these
days, so they should not be flagged as usergenerated (flagging as
usergenerated will revent dkim signing, amongst other things)

Don't create duplicate headers in outgoing email

The python libraries will *append* a header if it's just added again,
which would cause the news to go out with two date headers. Oops. So
instead check if each header is present and in that case replace it
rather than appending.

Track multiple email addresses for an organisation

This allows organisation managers to add more than one email address to
an organisation, and use this for sending news from. Sending news is the
only thing that the email field is used for at this point. Adding an
email will trigger a validation email sent to the address with a token
to confirm it, so that we can actually trust the emails.

Remove the previous registered emails on organisations. These addresses
were never validated and thus cannot really be trusted, so it's better
to remove them cleanly than to migrate them into the new system and be
uncertain.

Finally, in passing, remove the phone field on organisations. We've
never used that for anything and there's not really any point in
collecting the data.

Send moderation notices to organisation admins

Instead of tracking one single (non-verified!) email address for
organisations only to send notificationsn to, send the notifications to
all managers. This is relevant because all managers are in a position to
act upon them (and for example fix a posting).

Add support for sending out news as HTML email

When a news article is approved, it gets delivered as an email to the
pgsql-announce mailinglist. It will render the markdown of the news
article into a HTML part of the email, and include the markdown raw as
the text part (for those unable or unwilling to read html mail).

For each organisation, a mail template can be specified. Initially only
two templates are supported, one "default" and one "pgproject" which is
for official project news. The intention is *not* to provide generic
templates, but we may want to extend this to certain related projects in
the future *maybe* (such as regional NPOs).

These templates are stored in templates/news/mail/*.html, and for each
template *all* images found in templates/news/mail/img.<template>/ will
be attached to the email. "Conditional image inclusion" currently not
supported.

To do CSS inlining on top of the markdown output, module pynliner is now
required (available in the python3-pynliner package on Debian).

A testing script is added as news_send_email.py in order to easier test
out templates. This is *not* intended for production sending, so it will
for example send unmoderated news. By sending, it adds it to the
outgoing mailqueue in the system, so unless the cronjob is set up to
send, nothing will happen until that is run manually.

Support is included for tagged delivery using pglister, by directly
mapping NewsTags to pglister tags.

While at it, update the moderation preview forms to preview news items
using the HTML template for the email (while leaving other types of
items previewing without a particular stylesheet).

Teach send_simple_mail about sending HTML email

If a HTML body is specified, the plaintext and html bodies will be sent
as a multipart/alternative MIME object.

Also teach it to add attachments with Content-ID and overriding the
Content-Disposition, to make it possible to reference images attached
using cid: type URLs.

Store project root directory in settings

This makes it possible to reference for example templates in relation to
the root directory.

Add templatefilter joinandor

This filter takes a list of a,b,c,d and turns it into "a, b, c and d"
or "a, b, c or d" depending on parameter given.

Simplify admin preview of emails

Use the python3 function to get the plaintext body of the email, instead
of our own very limited one we had before.

Remove references to website migration

This migration happened 10 years ago, so if someone hasn't updated their
records by now, they're not going to.

We still allow and special-case the migrated data in the database in
order not to delete history, but this removes the direct texts about it
which take up unnecessary space and confuse some people.

Re-work moderation of submitted items

This includes a number of new features:

* Move some moderation functionality into shared places, so we don't
  keep re-inventing the wheel.
* Implement three-state moderation, where the submitter can edit their
  item and then explicitly say "i'm done, please moderate this now".
  This is currently only implemented for News, but done in a reusable
  way.
* Move moderation workflow to it's own set of URLs instead of
  overloading it on the general admin interface. Admin interface remains
  for editing things, but these are now separated out into separate
  things.
* Do proper stylesheet clearing for moderation of markdown fields, using
  a dynamic sandboxed iframe, so it's not ruined by the /admin/ css.
* Move moderation email notification into dedicated moderation code,
  thereby simplifying the admin subclassing we did which was in some
  places quite fragile.
* Reset date of news postings to the date of their approval, when
  approved. This avoids some annoying ordering issues.

Ensure markdown fields cannot contain HTML or images

Since images can be used to drop things like tracking pixels, simply
disallow them in all submissions.

Prefetch managers when viewing the organistion list

This removes a few thousand SQL queries and speeds up the page "a bit"

Remove dead links

Two of our international community sites have failed to resolve or reply
for a while now, so remove the links. Should they reappear we can always
add them back.

Update more links to be https instead of http