Fix parsing of ignored operators in websearch_to_tsquery().
authorTom Lane <tgl@sss.pgh.pa.us>
Fri, 14 Jun 2024 00:34:43 +0000 (20:34 -0400)
committerTom Lane <tgl@sss.pgh.pa.us>
Fri, 14 Jun 2024 00:34:43 +0000 (20:34 -0400)
commitc7de5a654567ffbd0eef1d6d2fb8d3fa2b5c5dee
tree5b7a60f465595490bd0e71f23ad1709ed9cb1506
parent1fa46dba53e6161d9120187e1a57dfe7b6aa73a3
Fix parsing of ignored operators in websearch_to_tsquery().

The manual says clearly that punctuation in the input of
websearch_to_tsquery() is ignored, except for the special cases
of dashes and quotes.  However, this failed for cases like
"(foo bar) or something", or in general an ISOPERATOR character
in front of the "or".  We'd switch back to WAITOPERAND state,
then ignore the operator character while remaining in that state,
and then reach the "or" in WAITOPERAND state which (intentionally)
makes us treat it as data.

The fix is simple enough: if we see an ISOPERATOR character while in
WAITOPERATOR state, we have to skip it while staying in that state.
(We don't need to worry about other punctuation characters: those will
be consumed as though they were words, but then rejected by lexizing.)

In v14 and up (since commit eb086056f) we can simplify the code a bit
more too, because there is no longer a reason for the WAITOPERAND
state to distinguish between quoted and unquoted operands.

Per bug #18479 from Manos Emmanouilidis.  Back-patch to all supported
branches.

Discussion: https://postgr.es/m/18479-d9b46e2fc242c33e@postgresql.org
src/backend/utils/adt/tsquery.c
src/test/regress/expected/tsearch.out
src/test/regress/sql/tsearch.sql