Add test for native sorting in Solr.

ASSIGNED - issue YAZ-617: Implement native Sorting for solr
https://jira.indexdata.com/browse/YAZ-617

Test for solr sort specs

New solr sort strategy. Using it

Methods for conversion between solr and internal sort spec

Extract and add sorting parameters

New conversion methods for solr sorting

Versino 4.2.39

Test new function ccl_qual_fitem2

Implement ccl_qual_fitem2

Like ccl_qual_fitem but with diagnostic string returned.

MARC: Extra/missing indicator handled for MARCXML

The indicator length is given in header and is the same for the
whole record. If attributes ind1, ind2 are missing, then content
character defaults to blank.  Extra indicator attributes (beyond)
indicator length are treated as an error.

Reformat: delete trailing whitespace

Version 4.2.38

Document s=ag

MARC: skip non-ASCII characters always for leader

The standard explicitly disallows those. So even if output is
non-XML we modify them.

Skip bad UTF-8 chars in MARC leaders

But only when outputting XML.

Simplify construct

CCL: fix uninit local var (attset)

CCL: s=ag automatically adds s=pw

Apply structure=word/phrase for ag. It really makes no sense to not
apply them.

CCL: add tests for CCL s=ag

CCL: implement s=ag special

It's like s=al except that terms wo whitespace are combined in one
leaf node.

CCL: refactor search_term_x into two functions

Version 4.2.37

Add pretty printing to yaz-json-parse

Define new public function json_write_wrbuf_pretty.

yaz-client: increase default max message to 64 MB

ZOOM: increase default max message to 64 MB

GFS: increase default max message to 64 MB

tcpip comstack: increase max recv to 128 MB

Versino 4.2.36

Update NEWS

yaz_poll: Allow num_fds == 0

zoomsh: allow shell command to be executed

Via the system(3) call.

Update m4

yaz-client: fix bad encoding of "itemorder item"

The itemorder item <no>  - command forgot to use length of encoded
Item Request package. Error present since YAZ 3.

yaz-ztest: fix bad usage of session handle

Bug was introduced when result sets were saved (271a9c83).

Decode SRU 2.0 responses

The official namespace for responses, according to
http://docs.oasis-open.org/search-ws/searchRetrieve/v1.0/cs01/schemas/sruResponse.xsd
appears to be http://docs.oasis-open.org/ns/search-ws/sruResponse .
nature.com's server, however, usee namespace
http://docs.oasis-open.org/ns/search-ws/sru-2-0-response
For this reason we are now using a glob-expr to match up the namespace.
ZOOM C and yaz-client updated.
Perhaps SRU 1.2 uses same namespace, I don't know. I can not find
a single real example showing the "real" namespace in the documentation
from OASIS. The namespace for requests is different from responses, but
this is not added to YAZ yet, when we don't encode them yet.

SRU recordPacking: guess record packing in response

rather than looking at the recordPacking element which, OF COURSE,
changed semantics in SRU 2.0.

ODR dump: truncate dump after 20k rather than 2k.

yaz-client: don't display bogus records from SRU servers

Some SRU servers return more records than given by *maximumRecords*.
Skipping those in display!

Update m4

Use shared id-config.sh and fix automake check

The automake version was incorrect and this is fixed by this.

record_render: simplify buffer return handling

and fix at least one bad memory reference, that broke the
test_embed_record sometimes.

Allow user:pass@host notation for yaz_url_exec

zoomsh: check for ext type parameter

Must be given.

Define two locals always; to avoid GCC warning

DH compat 5

Version 4.2.35

Update NEWS

Add test case for rendering of UTF-8 MARC record

record_render: simplify a bit

record_render: fix buffer overrun

This appeared as charset=.. being ignored for base64 conversions,
but could also be giving SEGVs.

record_render: allow ws after = in typespec

For example, xml; charset= marc-8

Fix record_render for case where len==NULL

In which len is unset by record_render

Test base64 system more

Allow whitespace for base64 decoding

render_render: Change spec for base64 record embedding

Syntax is now base64=x-path .. part of record_render. For example,
to produce embedded Turbomarc that comes in marc-8 encoding (usmarc
typically), you could use: txml; charset=marc-8; base64=myxpath .

record_render: make it compile wo Libxml2

record_render: base64 decoding of embedded records

Version 4.2.34

Add CentOS 5

Update NEWS

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/yaz

yaz-config --include: returns -Ipath

for YAZ header files.

Now copied from header

Implement missing function. already declared in API

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/yaz

Spell fix of ZOOM_resultset_facets_names

Was ZOOM_resultset_facet_names before. This changes the public API
but we have to assume nobody was using it, since it was never declared
in a public header.

Read and convert base64-encode marc

Beginnings of test_embed_record

Reformat

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/yaz

zoom: fix connect options (bad free)

Remove comments about recordPosition in ZOOM

Update doc/common

Update doc/common

Add links to 3d party packages

Mention the newer windows platforms that are being tested.
Mention that CentOS, not RedHat is what we built for at the
moment.

Update doc/common

Add test_icu.4 results in dist

So that it gets tested in dist-files as well.

icu test: don't use tokenize rule="s"

because it differs from ICU 3.6 and ICU 4.

Use specific characters instead of punktuation. Makes a difference

Change APDU dump printing to avoid long leading blanks

For levels 16 or larger the level is shown and the indentation is
truncated but recursed with modula 8. This makes it still reasonable
easy to read - even for nested BER dumps.

Fix bug completeBER_n WRT too nested BER

Function completeBER_n could return 0 (incomplete package) in case
where the BER package was considered too nested (return value of -2).

dumpber: lines of level 15 are not indented furhter

Two spaces per indentation; indentation 15 or more is
indented to a fixed indentation and augmented with a lavel=<no>
indication.

zoomsh: increase max size of command+args

GFS: No limit in RPN buf size in CQL to RPN conv

Change after rule change

Right rule

Fix date

Version 4.2.33

Update NEWS

YAZ_EXPORT yaz_srw_sortkeys_to_sort_spec

More pointers in Doxygen mainpage

daemon: new scheme for graceful termination

The keepalive child process calls new function, yaz_daemon_stop, which
tells parent keepalive process to terminate. This function should be
called when the child process has closed the listening socket.

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/yaz

Example of punctuals removal at sentence end

Example of punctuals removal at sentence end

daemon: further tweaks to keepalive handling

SIGTERM: we wait until child terminates. This ensures that stop
script can safely assume that when moniotor process is gone, the
listening socket is closed.
SIGHUP: we send a signal to child process. Wait 2 seconds and stop
without waiting for child to terminate. Indeed it may still be running
serving remaining request. We have no way to know if the child has
really closed the listening socket within the two seconds we wait.

daemon: exit monitor process for SIG{HUP,TERM,USR1}

It ensures that binding socket is closed in monitor process. It also
ensures that even if child process makes a failure during termination,
SIGSEGV or other, monitor process also terminates.

Build for Ubuntu precise, no build for maverick

Fix yaz_xml_include_simple to return -1 on failure

yaz_url_exec: minor adjustments to log msgs