added ICU experiment which sorts correctly given all locales tried.

tweaking, still no good results with danish sorting

Added some more locales which fail. Something is very rotten in the kingdom of Denmark! Need to find out what wents wrong ...

Added sorting test for ICU - only used in test_icu_I18N.c so far.
English and german sorting tests perform fine (including german special characters), but sorting of danish special characters fails. Very suspect. Needs more investigation! See  test_icu_I18N_sortmap() in test_icu_I18N.c for details

moved ICU helper function declarations from icu_I18N.h header file to icu_I18N.c source file

cleaned ICU case folding/mapping tests

Fixed compilation of test test_icu_I18N (syntax error).

Handle situation where IDF becomes 0 because all records contain a term (occurs
frequently when records result from a search).

This actually suggests that there may be a better technique than IDF for balancing
our TF, but I'll be darned if I know what it is.

Handle records with null-value for string sortkey

Added Paratext to demo

Added new resources. Configuration changes

Varous display changes to MK demo

checked in test for ICU uppercase lowercase, title and foldcase char mapping

Hardcoded motd in index.html. Cleared in onFormSubmit. This should be read from a file
or something, but what?

added autoconf checks on ICU internationalization libs and established first test framework on ICU. Tests are still empty, to be added later.

Factorized char normalization code out to normalize7bit.[hc] .

Removed unnecessary tests and assert
on service conf_metadata, as  those are now
satisfied on service creation time (in config.c in function
conf_metadata_assign()) once under startup, and not every time a new
record is to be parsed.

Removed unneeded logging when  service->merge == Metadata_merge_no .

Replaced manual record allocation with call to record constructor.

Replaced loop to find conf_metadata field_id with call to
conf_service_metadata_field_id().

Replaced manual record_metadata allocation with call to
record_metadata_create(se->nmem).

All these changes have been made with safety guards following this idom:
#if 0
  //oldcode
#else
  /newcode
#endif
such that they can be reverted easy if need might be. The #if guards will of
course disapear, when we have confirmed that the code behaves exaactly the
same as before.

added struct record_metadata * record_metadata_create(NMEM nmem)

in conf_metadata_assign() enforcing that merge_range is always
type_year _and_ enforcing that type_year is always range_merge, thus
setting contrains correctly at beginning of a server session setting
processing.
Removing these then unnecessary tests from ingest_record(), where
there will produce warnings logs nobody can do anything about at that
time, and where they are run for each ingested record.
Less code, less performed if statements, no unnecessary warning logs.

enforcing that years type metadata is always range merged

started facturizing 7 bit ascii normalizing functions out of logic.c into normalization7bit.[hc]
later to be replaced by ICU normalization
still many bits need to be identified and moved

added setting sortkey on clusters, needs still nice wrapping in cluster interfaces

using more of the record functions, adding record_metadata creator

using record creator functions in production code in ingest_record()

renamed local variables to more expressive names

renaming position to field_id

simplified to one title string sorting only, still crashes

comed to the point where I can start testing sorting of records in the recordslist.
But there is a nasty segfault in  reclist_sort(list, sort_parms) which needs to be sorted out before proceeding - prpbably a global parameter referenced someplace. just checking in to save the work so far, continuing tomorrow

added test_reclists to CVS ignores

forgotten to commit Makefile.am, which contains instructions for new test_reclists.c

added interface for adding sort parameters for record lists, use like this
reclist_sortparms_insert(nmem, &sort_parms, service, "title", 1)
adde unit test of the same

breaking too long source code lines, otherwise no changes

broken too long source code lines, otherwise no changes

function reclist_insert() does not change mergekey, so parameter signature changed to const char *merge_key

removed unnecessary header includes

protected from dereferencing of empty pointer

changed prototype of
union data_types * data_types_assign(NMEM nmem,
                                     union data_types * data1,
                                     union data_types data2)
to
union data_types * data_types_assign(NMEM nmem,
                                     union data_types ** data1,
                                     union data_types data2)
to make sure that side effects are transmitted outside.
added tests for side effects.
added code for proper initialization of
record->metadata[i] and record->sortkeys[i] - valgrind my your friend!

adding additional checks for correct side conditions on next metadata in record

Added edu.xml; based on edu.pz.

Functions connection_destroy, connection_release defined in connectin.h.

Annotate a little

Added descriptive text about dynamic settings. Todo, create links from
places marked XXX

Refactor stuff from logic.c: connection stuff in connection.[ch],
client stuff to client.[ch]. host definitions in host.h. Global
parameters to parameters.h.,

finalized helper utilities for record class, and added unit tests

reverting to exit call, as it might be dangerous to have a dictionary which is not in order. Still, this place needs attention, as sending a wrong setting bt WS effectively kills the server.

uupps - removed an exit() too fast without thought, reverting

more records constructor work, no yet finished

removed some of the most obvious exit() statements, which are now with the dynamic settings system a very easy way to kill the srver: just send a malformed settings file, and it's dead. Still many other exit() needs attention.

Allow any number of worker threads for sel_thread. Added optional parameter
work_destroy handler for sel_thread_create. This will only be called
sel_thread_destroy, in the case of non-empty work queues. Three resolver
threads now running - seems to make resolving many.xml slightly faster.

Saving seven keystrokes

Prefix resolved message

Rename test functions a bit

Added these target settings based on their .pz-equivalents.

Added ID for partintro

Connections now wait for hosts to be resolved. Delayed connect attempt
is handled by connect_resolver_host. All connection with bad addresses
(unresolved ones) are destroyed with connection_destroy. Connect
failures leave the connections in the open. If that's to be changed
connection_destroy should be called if connection_connect returns -1.

Notes on implementation status of a couple of settings

Per-session databases and configuration. This was implemented
by Sebastian.

Removed load_simpletargets

Perform getaddrinfo in separate thread for a given struct host.

Changed new code to use session_setting_oneval

Made load of XSLT normalization stylesheet dynamic

*** empty log message ***

started record constructors. still unfnished, but yet only used in test_relevance.c

Collapsing charset into native encoding. It simplifies implementation, and the
two are closely related anyway.

problems with ajaxError catching all exceptions solved
pz2.js will now throw an exception if the protocol version is not supported
smarter error handling in general

splitting record specific definition out from pazpar2.h header to record.h header, thus preparing for implementation of record constructors in the coming record.c file

Minor

Select thread system now passes a simple test using IOCHANSs.

Fix hard-coded 30 second limit. Unfortunately we have a lot of
these select loops around - all more or less buggy.

Linking with threads

added metadata and sortkey assign functions (to conf_service objects)
in parse_service, seperated code in three groups: xml parsing, parsed value logic, and assignment to conf_service, using the new creator and assign functions.

sel_thread_result reads from pipe

Started work on select thread system.

Allows definition/override of pz:cclmap:* settings via settings ws.
CCL parser allocated/deallocated on the fly at query time

Removed query from session structure. It is no longer needed, since a pquery
is associated with each client.

added ignore of session*.xml files

added conf_service creator inclusive metadata and sortkey assigners, added unittests on the same as well. creators for record construction still needed

restricting to non-test files

Refactor access to global variable channel_list. There were a few
places where this was accessed and always in the same way.

Tiny example update

Removed redundant declarations

started adding conf_service and conf-metadata constructors. not finished yet, just checked in for file moving. Do not use yet

Ignore test_relevance program and log file

Fixed bug 854. Using nmem_split() to split phrase terms on word boundaries.
I love nmem_split. If I were not a family man, I would ask her to marry me.

Removed 'Masterkey' from implementation name

pretty-formattting comments , now not exeeding 80 chars

Make Pazpar2 configure prefer static YAZ - when locally built

I think this addresses Bug 1070.

encapsulating all record fields in a xsl:for-each to prevent emitting empty
<md-title> elements. Now all emitted elements have always content, and the final web client JS does not break any more.

Removed for now.. display of bib targets not really good enough

Put an alert in ajaxError. This is not pretty and should be moved to the client
code.. but I am not sure how Jakub wants to handle errors in the client code.
Do we need to clean up what pazpar2 sends back?

Search still went ahead even if one target had a parse error.. bad news.

Oops. output of ccl_pquery not null-terminated. Added null.

Messing with the refresh timer to make things feel snappier.

Fixed bug 897. Pazpar2/search fails gracefully on empty queries or queries
that don't parse. This should address pretty much all of the coredumps I have seen.

Added LOC example config

Added LOC to MK production demo

Added author search

Still trying to relevance-rank one single record.
Bug#:  1056   struct conf_service  needs  conf_service_create creator
Bug#:  1057   struct record needs record_create() function
needs to be resolved first, before this unit test will progress.
to be continued tomorrow

Added newer version of jquery (faster).

When author link is clicked, all books by that author will be found.