Disallow archives resend URLs

They all generate redirects to the login page, so there is no point in
indexing them anyway.

Exclude security notices with no CVE from list of CVEs in sitemap

Otherwise we're instructing google and others to index pages that don't
exist.

Update clarification around license FAQ

This consolidates two redundant-ish sections in the FAQ portion
of the license page, since both effectively said the same thing.

Add clarification on how one can perform major upgrades

It is possible to perform major upgrades while skipping major
versions, though some guidance is recommended.

Author: Bruce Momjian <bruce@momjian.us>, with some edits from
me.

Order versions in descending order in CVE list

Across other parts of pgweb we display things from newest to
oldest version, so this brings the CVE display to match this
convention.

Add markdown support for the security patch details fields

It turns out that a lot of the detailed descriptions can benefit
from things like paragraphs and some formatting, so it is better
to render it in markdown.

This does not show the markdown in a preview view due to a bunch
of reasons, but future work can improve upon that.

Add page with additional details about a CVE

This page contains most information that may be found on 3rd party
sites about a particular CVE, but with the benefit of being hosted
on the PostgreSQL infrastructure.

This does require inserting the CVE description into the website,
which will include backporting the CVE descriptions throughout
many existing CVEs, but the added benefit is that this information
is available when we publish a release, vs. waiting for a 3rd party
to publish the info.

This patch also adds sitemap indexing for each of the CVE entries,
and ensures the top-level CVE URL is in the sitemap.

Refactor generation of CVE number from CVE ID

This allows the method to be repurposed in additional parts of
the pgweb codebase.

Update CVE ID syntax validator

The current validator stopped after 5 digits, whereas there can
be an aribtrary amount. However, the MITRE docs appear to stop at
7, so this seems like a sane cut-off, until it's not[1].

[1] https://cve.mitre.org/cve/identifiers/syntaxchange.html#new

Update Planet PostgreSQL policy

This includes a clause about the inclusion of video and audio
in blog feeds. Reviewed and approved by the Core Team.

Fix debug toolbar integration

This was broken when the querystring limiter was put in place
in 0724c08e402d0bffb0eb53192c4363dac1311fe3.

Add Russian translation for the Code of Conduct

Translated by: Anastasia Raspopina
Reviewed by: Anastasia Lubennikova <a.lubennikova@postgrespro.ru>
Reviewed by: Alexander Lakhin <exclusion@gmail.com>
Reviewed by: Victor Yegorov <vyegorov@gmail.com>
Reviewed by: Valeria Kaplan <kaplan.valeria@gmail.com>

Add Hebrew translation for the Code of Conduct

Translated by: Michael Goldberg <mic.goldberg@gmail.com>
Reviewed by: Emil Shkolnik
Reviewed by: Valeria Kaplan <kaplan.valeria@gmail.com>

Improve help text for email field on news submission

While at it also move it from the model and into the form, so we don't
have to go back-edit the migrations every time (and it's the more
correct place now that it contains more direct instructions and a link)

Fix bug in markdown preview of new objects

Whens submitting a new object, the instructions for how to do markdown
didn't show up until after the object had been saved once.

This turns out to be because the performance optimization to take an
empty string markdown and turn it into an empty string html wrote the
(empty) result to the wrong field, thereby overwriting the instructions.

Update Japanese translation of the Code of Conduct

Translated by: Tatsuo Ishii <ishii@sraoss.co.jp>
Reviewed by: Tetsuo Sakata <sakata.tetsuo@oss.ntt.co.jp>
Reviewed by: Akira Kurosawa <a-kurosawa@bk.jp.nec.com>

Add Code of Conduct Committee 2020 report

This also includes an additional CSS class to help keep multiple
tables of this report aligned with each other for easier browsing.

Restrict docs page names in url map

Match only filenames, not subdirectory+filename. A subdir+filename would
just generate a 404 in most cases, but it could in some cases generate
incorrect redirects that could leave a client stuck in a loop until the
URL got long enough to start failing, which is obviously not very good
behaviour.

Also dont' match an empty filename with just an extension because, well,
that's stupid.

Allow oauth1 field oauth_verifier in querystring

Don't list Scientific Linux version 8

Because it does not exist.

Per note from Devrim.

Replace remaining @postgresql.org lists with @lists.postgresql.org

Seems we had a few places left, so fix those.

(Accompanied by a similar fix in the archives, which were a lot more
prominent)

Add information on the CoC translation process

This provides guidance on how to submit a CoC translation and
how the process for translating works.

Make sure Host: header is included in varnish purges

Add allowed query parameters for oauth logins

I forgot to "git add" this file :/

Fix silly typo

Add a css that explicitly imports rqeuired docs css files

Being able to point to this one css instead of individually at each one
will make it easier in the future to make changes to the stylesheets
without breaking things like the docs build.

Remove old archives_search function

This function hasn't been used since we switched tot he new archives
system that does the search through a http api.

Retire search for "community sites"

This hasn't worked for a few years (since 900946df) and nobody has
complained. Getting rid of it allows similifying a few things on the
search server side as well.

Require explicit tagging on views taking query parameters

Require each view to declare which query parameters it wants, and filter
out any other parameters.

We have very few views that actually take query parameters, and random
additional query patterns will have no effect on the view. However, they
will break frontend caching (in making them look like different pages).

This will be extended into an implementation in the caching frontends as
well, btu it's needed in the backend to ensure that local testing will
have tbe same effect as the caches.

Band-aid fix on multi-site search

There is still some broken stuff in here.

Bump some cache times up

About page goes from 10min to 30min (short cache to rotate the
quotes).

Search results go from 15min to 30 min.

Dynamic CSS goes from 6 hours to 48 hours, since we use cache busting
URLs everywhere these days, and on average they change very seldom.

Fix homepage typo

There were two instances of "11.11" written as "11.1".

2021-02-11 cumulative update release

Soften bold on various definition list entries on docs

The new changes had made certain pages, e.g. the index, much
more bold.

Fix bolding of text on website

Borrowing from 5112187fa[1] in the pgeu-system codebase,
this returns the ability to bold text within pgweb by ensuring
the Open Sans heavier fonts are loaded.

To accomplish this, this patch includes a few more changes:

- Normalize the heavier weights under 400, 600, 800.
- Ensure any font-weight settings using Open Sans match the
standards listed above.
- An adjutsment on the event archive page to ensure the font
weights are not too bold.

[1] https://git.postgresql.org/gitweb/?p=pgeu-system.git;a=commit;h=5112187fac45e0bcadb34e61c6e3e0ac398a5df3

Allow /admin/ to search for users by secondary email

Add a validator to the /admin/ form for changing email addresses

As Jonathan recently demonstrated, it was possible to change the primary
email address on one account to be the secondary email address of
another one when using /admin/ (it was prevented when using the user
facing forms), which then caused conflicts in the change track and
replication steps later.

Add a validator to the admin form to avoid this mistake in the future.

This doesn't entirely remove all possibilities, so we should consider
adding a database trigger to enforce it as well, but it closes the most
obvious hole and makes the other ones much harder to hit (but you can
still cause the same damage through psql or so, of course).

Show secondary emails on the admin form

Send moderation notice to moderators even when no changes are made

When a moderation notice was sent without making any actual state
changse (so not approving, rejecting or returning), the notice would
only be sent to the submitter, and not to the moderators. Which
obviously can lead to some confusion. So make sure that it's always sent
there as well, and the message clearly states that it was just a
comment.

Add "Mastering PostgreSQL 13 - Fourth Edition"

Clarify the instructions for how/when to add new organisations

Add headline separating the submit_header for organisations

Move the hint message for organisation to its own file

This is way too much text to duplicate across many places..

Update version of cvss module

Do not set fixed width for thread selector dropdown box

There were cases that the fixed width for this box would cause the
thread selector to explode outside of the email header table in the
thread viewer. We should keep the select dropdown itself to the width
of the overall list of email addresses in the chain.

Add EOT format of fa fonts

Based on the number of 404's for this on the website, clearly it's
something that browsers want, and it was probably just missed in the
original import.

Only show sections on submissions dashbaord that has entries

Instead of showing (confusing) empty sections, remove the complete
section from she page.

From Andreas Scherbaum, though not his patch in the end

Update to verbiage for generic moderation view page

This more clearly specifies the actions a user must take while
working with the moderation system, and fixes up some syntax.

Co-authored-by: Andreas 'ads' Scherbaum <ads@pgug.de>

Fix some RST formatting

Update the developer install docs

They could definitely use some more love, but it's a start.

Make loading script work regardless of directory

Add a missing requirement to requirements.txt

This is default in most installations -- but clearly not all.

Update Fedora information

Fix multi-paragraph statements in documentation callouts

Multi-paragraph statements in the warning/caution/note/tip boxes
were being smushed together due to the removal of paragraph
margins. It is still essential to remove the paragraph margin
on the final paragraph, which is accounted for in this change.

Reported by: Peter Geoghegan <pg@bowt.ie>

Update Code of Conduct Committee page

This adds a bio for a new committee member.

Updates to trademark policy

Updates logo files and display

This adds the black outline logo of Slonik to the repository
and provides some updates to the existing logo files that are
hosted on pgweb.

Add the Recognised PostgreSQL User Group policy

This also updates the PUG page to point at the policy.

Move community recognition guidelines into policy pages

This consolidates the pages into the policies section.
A redirect is set up from the previous community recognition
page to the policy pages.

Update layout of documentation navigation pages

* Move links to current manuals to /docs/, decommission /docs/manuals/
* Add link to /docs/current/ with a large button
* Add links to /docs/devel/ at the bottom of the version table
* Remove translated manuals from left nav menu, since they are in the
  right one
* Remove redundant wording around "comprehensive manual"
* Clean up some incorrect template tags

Discussion: https://www.postgresql.org/message-id/CABUevEymaWDL4JywHxBDBATUUPPrAf4_tGwin4CtGFdQ5tx5Hg@mail.gmail.com

Replace core team enumeration with link to the active core team

We missed updating this when the core team changed a while ago, which
indicates that it's silly to have the same thing defined in more than
one place. Thus, replace it with a link.

Reviewed by both -core and funds-group.

As this does not contain any changes to the actual policy, this commit
does not bump the "last updated" date of the page.

Add modified object title to notifications of end user edits

Commit c2d58d6 only added the title of the object to notifications when
an object were modified by a moderator/admin, not by the end user. Fix
that to make it consistent.

Fix search result pagination link handling

If the total number of search results is divisible by the page size, the page count
is mis-calculated and there's a link to an additional page of results, even though there
are no more results and that page is empty.

See issue here: https://www.postgresql.org/search/?m=1&q=contrib&l=76&d=365&s=r&p=2

At the moment, this has 20 results but a link to a second page, which is empty with a label of
"Results 21-20 of 20." Previous and Next works still work fine, but that second page
does not really need to be there.

This changes the page count calculation to avoid this issue.

Include title of modified object in change notification emails

Should make the notifications a lot more useful without clicking
through.

Add link to event archive to menu in /about/

Add per-version xkey tags to documentation pages

This is not used for anything yet, we need it to propagate into all
long-term caches before we can start using it.

Allow additions to auto-generated xkey tags

If an xkey tag is already set on a response when it reaches the
middleware, add it to the set of automated xkeys generated from the
templates instead of overwriting it.

Only flag docs as loaded when they've actually changed

We already avoided the actual updates (by filtering the UPDATE
statement), but since we set the load date we'd trigger a change to
every page and kick it ouf of the caches even when not chagned, which is
wasteful. So instead only do that if something has changed. When it has,
we still reset that whole version of the docs since we want the load
date to be consistent across them.

Show the about-to-be complete URL for slugified news on moderation page

This makes it easier when the links is to be included in for example the
actual web commit of a realease.

Ensure all links to Developer FAQ go to Developer FAQ

Reported by Bruce Momjian <bruce@momjian.us>

Add organisation "name" to moderation fields

This makes it slightly easier to perform appropriate moderation
review on an organisation.

Incorporate outbound link qualifications on "other resources" page

Given the lack of control over the content of these outbound
pages and the discovery of the issue fixed in bf508c4, it seemed
to follow (no pun intended) that these links should be qualified.

Fix broken link on online resources page

The "PostgreSQL Primer for Busy People" URL had moved.

Fix some consistency and formatting in news/events policy

Consistently talk about postgresql.org vs www.postgresql.org, and call
the team "web team" (not a mix of teams and groups, with and without
admin etc). Don't use markdown/wiki style for emphasis, use proper HTML.

As this does not contain any changes to the actual policy, this commit
does not bump the "last updated" date of the page.

Remove references to pgsql-announce from the news policy

pgsql-announce is the same as news these days, so we shouldn't single
out the differences (since there are none).

As this does not contain any changes to the actual policy, this commit
does not bump the "last updated" date of the page.

Remove "procedure for approving news/events" from policy page

This should never have been there as it was not part of the policy, it
was instructions for what to do (missed when the page was migrated over
from the wiki). And at this point they are also incorrect due to the new
news posting handling, but it's better to remove them here that they
didn't belong in the first place.

As this does not contain any changes to the actual policy, this commit
does not bump the "last updated" date of the page.

Enforce check that a mailinglist exists earlier during search

Fix suburl check

Previous commit was a bit too simplistic to cover all cases

Prevent NUL characters in both suburl and query

Previous fix only prevented them in the search query, not in the suburl
parameter.

Replace non-ascii chars in template names when building xkey

We don't have non-ascii characters in any of our correct URLs, but
people can still specify them on the URL. In this case the xkey isn't
going to match anything anyway, so it is not critical how we handle it,
especially since the generated page is going to be a 404 anyway. So just
use the simple built-in replace function.

Add note to form when creating new organisations

In particular, highlight that an organisation is not needed to
participate on lists, send bug reports etc. Caused by the number of
people who apparently get this wrong previously.

Make it possible to have a separate form intro for new vs existing items

Create instruction page for markdown fields

Instead of directly linking to the spec, include some basic info and a
list of our limitations.

Remove imported showdown

No longer used with the new markdown processing.

Re-do markdown handling for better user experience and security

* Get rid of the django_markwhat dependency, and implement our own
  classes to get more control. In passing also remove django-markdown,
  because we never used that.
* Instead of trying to clean markdown with regexps, use the bleach
  library (NEW DEPENDENCY) with special whitelisting of allowed tags
  based off standard markdown. This means that one can input links or
  formatting in HTML if one prefers, as long as it renders to the same
  subset of tags that markdown allows.
* Replace javascript based client side preview with an actual call to a
  preview URL that renders the exact result using the same function,
  since the use of showdown on the client was increasingly starting to
  differ from the server, and since that cannot be kept secure the same
  way. Rewrite the client side javascript to work better with the now
  longer interval between updates of the preview.

Long in planning, but never got around to it.

Suggestion to use bleach for escaping from David Fetter.

Remove unused template tag load

2020-11-12 update release

Add URL to Feature Matrix from the home page

Given feedback over the helpfulness of the feature matrix (yay!)
the button for it is added to the homepage in prominent
real estate.

Don't remove news articles when attached email is removed

At this point, we set the field to PROTECTED and dont' allow the
deletion at all. In the future we might want to allow a set null
operation, but for now we require the users to contact webmaster@ to
handle that, so we keep it under control.

Add link to the privacy@ email address to the policy page

Fix Babel requirement in requirements.txt

Should be "==" instead of just a "="

Handle empty company URLs in contributor profiles

If a URL is provider, continue to provide a link, otherwise just
render the company name.

Started by Daniel Gustafsson <daniel@yesql.se>, finished by me.

Update EDB logo.

Include sudo step in redhat/fedora/centos download instructions

We included sudo for debian/ubuntu but not for redhat, which made the
instructions inconsistent.

Discussion: https://postgr.es/m/CABUevExvb7iVNQYvoRRc1uC96adqvKqoQmDPwg2KU6zcqfDQvQ@mail.gmail.com

Update CoC membership page

This includes the latest membership changes.

Update the number of core team members on core team page

This number is now seven, instead of five.

Stagger outgoing news emails

Set to a maximum of one outgoing email per 30 minutes

Add support for staggering outgoing emails

Sent email can be assigned a "stagger type", for which he system will
maintain a "last sent" information. When the email is sent, it will be
delayed to be at least "stagger" time after the last one sent of the
same type. If no email of this type has been sent before, the email is
of course sent immediately.

Remove unused function

Automatically populate list of coc reports and languages

Use the new filter to list templates and auto-generate the set of links.