CQL/CCL/PQF conversion fixes. CCL support for Z39.58 trunc

Lots of fixes for the conversions from CQL to CCL; CCL to RPN;
RPN to CQL. yaz_encode_pqf_term's term parameter properly
escaped into PQF term. CCL truncation configuration t=z
enables Z39.58 truncation which is in fact CCL truncation, but there's
more to it than one might think anyway. The RPN to CCL conversion
handles Z39.58 truncation as well (5=104).

cql2ccl: term code for all/any sequences as well

cql2ccl: fix handling of \\

Add test of cql_to_ccl

Trunc 104 is Z39.58

cql2ccl: handle CQL \-sequences differently

For most CQL \-sequences do not produce \-sequence in resulting
CCL term. Only \" and \\ are special

bin-1 ref: mention Index Data's extensions

ccl2rpn: more characters to escape (regexp-1).

rpn2cql: handle \\ sequence

PQF parsing: handle \\\0 sequence

A truncated PQF term, backslash as last character, would resolve in
read one byte beyond end of string.

Version 4.2.12

cql2ccl: quote term characters, except operators

Fixes #4584.

Version 4.2.11

Changes

ccl2rpn: Conversion to regexp-1 terms (trunc=102).

For mode t=x, the CCL parser will map both # and ? to their regular
expression equivalents (. and .*).

rpn2cql: deal with truncation=102 (regexp-1)

And ensure proper quoting of reserved CQL characters.

cql2ccl: deal with both * and ? in conversion

Also leave escaped ones as is, so that they are pass-through.

CCL: retain ? for CCL terms

Version 4.2.10

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/yaz

Describe recent changes.

rpn2cql_structure() supports proximity nodes (except that the Type-1
proximity node's "exclusion" binary is ignored, as there is no way to
express that in CQL).  Fixes bug #4564.

Ignore generated script yaz-url

Public declaration for yaz_prox_unit_name()

ZOOM: HTTP prepare for reconnect if server don't say so

In case the server HTTP/1.1 says Keep-Alive, we set the reconnect_ok
to 1, if it closes anyway. Fixes #4555.

static prox_unit_name() renamed to yaz_prox_unit_name(), made external.

GFS: mention -K in usage

Lint-clean: void out an unused return value.

zoomtst3: setting option step=5

This is to illustrate the step option and to check that it actually
works.

Version 4.2.9

zoomsh: fix SEGV for set command wo value

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/yaz

Check for invalid COMSTACK addresses

Check return value of cs_parse_host in cs_create_host_proxy. For
example, yaz-url would SEGV if ssl/https was given and SSL was
not enabled in the built (as it happens on Windows).

nmake: build yaz_url

Version 2.4.8

yaz-url + man page installed and part of packages

Update other version of tcpip_straddr for https too

yaz-url: Opt -O writes output to file instead of stdout

tcpip_straddr: Use port 443 for https

GFS: close connection immediately if EOF is received.

Previously the assocation was marked DEAD and that could lead to
a few seconds hang on SSL connections.

SSL: Handle EOF case in ssl_get

If gnutls was in use and gnutls_record_recv returned 0 (EOF)
the ssl_get function would never terminate.

sockets: fix for whether poll is available

The select(2) wrapper was in use even though poll(2) was available.

yaz-url: HTTP method may be given. Change header (-H) option.

Argument for -H is now name:value rather than name=value - it just
seems more natural for Web hackers that way.

yaz-url: display usage if no ULRs are given

New utility yaz_url: fetches HTTP content

This is a simple wrapper around COMSTACK and HTTP utilities; deals
with proxy'ing.

zoomsh: fix set command to use remaning args for value

Before, only one token was taken as value for set (or one would have to
quote if a token contained space).

yaz_pqf_parse_facet_list returns FAIL (0) for bad facet spec

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/yaz

yaz_pqf_parser_facet_list also reads term list

Thus yaz_pqf_parser_facet_list might also be used to create a facet
response.

New utility: nmem_strsplit_escape

Testin wrbuf_insert

New WRBUF utility: wrbuf_insert

Remove unused code

Base64 utilities public

Remove variables and assignments with no effect

As warned by newer GCC.

zoomsh: remove unused code for cmd facets

void mixed stmt/var declare

client: proper recid passing

Version 4.2.7

ZOOM: addinfo includes HTTP content when SRU decode fails

When ZOOM C sees an SRU responst that it cannot decode it
returns "meta" diagnostic ZOOM_ERROR_DECODE/10003 . The additional
info now contains the HTTP content.

Make json_write_wrbuf available

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/yaz

Version 4.2.6

Add YAZ_EXPORT for wrbuf_vp_puts

ZOOM: throw diagnostic for invalid sru value

rpn2cql: check for proper truncation attributes

Reformat

cql2xcql: option -s deals with CQL sortkeys

Adding new utility wrbuf_vp_puts

Header updates

Remove assignment to variables not in use.

Fixes warnings produced by GCC 4.6.1.

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/yaz

Add cclxmlconfig.obj

yaz_is_abspath: drive letter test NOT using isalpha

isalpha is problematic for signed chars and we assume drive letters are
[a-zA-Z] only; also isalpha depends locale.

Reformat

Change yaz_filepath_resolve for path="" (empty)

Applying empty path is equivalent to not passing a path at all or
passing just the path ".".

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/yaz

Version 4.2.5

ZOOM HTTP: refactor and simplify redirect/proxy code

ZOOM C: fix un-init var for cookie buffer

ZOOM HTTP: proxy uses full URI in HTTP header

Squid don't seem to like
 GET /?operation.. HTTP/1.1
but rather
 GET http://host/?operation HTTP/1.1
When HTTP proxy is in effect. When proxying the new function
cs_create_host_proxy is used to so comstack type is determined from
logical URL rather than proxy host. Proxy just needs host:port type of
spec. Note: this change might break HTTP redirect.

Add cs_create_host_proxy

This is similar to cs_create_host but allows a proxy to be given.
Comstack type is still taken from vhost (logical host).

MARC line decoding: be less picky about length given

Still, the MARC record must have 5 leading digits so we can
distinguish this from header and other lines.

cql_to_ccl deals with proximity , bug #4407

The CQL proximity modifiers are supported: unordered (CCL %),
ordered (CCL !), distance with relation <= and < , unit with value
word. Anything but those throws an error.

Reformat

Fix up SRU recordData with pseudo root

This is to make recordData XML parseable (document) in case it is an
XML fragment. The inserted root is <yaz-record>. Fixes #4453.

Spell fix

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/yaz

Create constant for SRW max parameters

Encode special characters in term

Add support for extra parameters

Spell fix in comment

Escaping :

Reformat

Fix spelling of YAZ_OPTIONS_H

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/yaz

The static function bool(), which is part of cql_to_ccl_r(), now makes
some attempt to recognise and deal with proximity.  Right now, all it
does it recognise the CQL operator name "prox" and map it to the CCL
operator "!" rather than the unrecognised plain word "prox" -- this
suffices to get SOME indication of proximity into the resulting CCL,
which is a big step forward for bug #4407.  We ought to check for a an
/ordered=0 relation modifier and emit "%" instead in that case.

GFS: properly initialise scan stepSixze

Debian control: split long lines

Version 4.2.4