Fix parsing of ignored operators in websearch_to_tsquery().
authorTom Lane <tgl@sss.pgh.pa.us>
Fri, 14 Jun 2024 00:34:42 +0000 (20:34 -0400)
committerTom Lane <tgl@sss.pgh.pa.us>
Fri, 14 Jun 2024 00:35:02 +0000 (20:35 -0400)
commit086ecd12bc1c27054ded1eeea5329e84e3f72c97
treebf0a906bcb9e6bcdd33bd94fe755e48423a8fe12
parentd0b0454d3808c7d5294c548aa9f0ee137430e183
Fix parsing of ignored operators in websearch_to_tsquery().

The manual says clearly that punctuation in the input of
websearch_to_tsquery() is ignored, except for the special cases
of dashes and quotes.  However, this failed for cases like
"(foo bar) or something", or in general an ISOPERATOR character
in front of the "or".  We'd switch back to WAITOPERAND state,
then ignore the operator character while remaining in that state,
and then reach the "or" in WAITOPERAND state which (intentionally)
makes us treat it as data.

The fix is simple enough: if we see an ISOPERATOR character while in
WAITOPERATOR state, we have to skip it while staying in that state.
(We don't need to worry about other punctuation characters: those will
be consumed as though they were words, but then rejected by lexizing.)

In v14 and up (since commit eb086056f) we can simplify the code a bit
more too, because there is no longer a reason for the WAITOPERAND
state to distinguish between quoted and unquoted operands.

Per bug #18479 from Manos Emmanouilidis.  Back-patch to all supported
branches.

Discussion: https://postgr.es/m/18479-d9b46e2fc242c33e@postgresql.org
src/backend/utils/adt/tsquery.c
src/test/regress/expected/tsearch.out
src/test/regress/sql/tsearch.sql