Initialize Libxml2 - for threaded operation PAZ-961
[pazpar2-moved-to-github.git] / solr / loc.sh
1 #!/bin/bash
2 LOG=index.log
3 MARCDUMP="yaz-marcdump"
4
5 if [ "$SOLR_URL" == "" ] ; then 
6     DEF_HOST=-Durl="http://localhost:8983/solr/update" 
7 else
8     DEF_HOST=-Durl="$SOLR_URL"
9 fi
10
11 if [ -d "./data" ] ; then
12         LOCDATA="./data"
13 else
14         LOCDATA=/extra/heikki/locdata
15 fi
16
17 if [ ! -d "$LOCDATA" ] ; then
18         echo "$LOCDATA not a directory"
19         exit 1
20 fi
21
22 if [ "$1" == "" ] ; then 
23     FILES="$LOCDATA/part*"
24 else 
25     FILES="$*"
26 fi 
27 #echo $FILES
28
29 rm -f $LOG
30
31 function convert()
32 {
33     FILE=$2
34     echo "zcat $1 > $FILE.mrc" 
35     zcat $1 > $FILE.mrc
36     $MARCDUMP  -f marc8 -t utf-8 -o turbomarc $FILE.mrc > $FILE.xml
37     xsltproc ../test/tmarc.xsl $FILE.xml  > $FILE.pz 
38     xsltproc ../etc/pz2-solr.xsl $FILE.pz > $FILE.solr
39     ls -l $FILE.* >> $LOG
40 }
41
42 if [ "$TWO_PASS" == "1" ] ; then 
43     for d in ${FILES} ; do
44         date  "+%c converting $d" >>$LOG
45         FILE=`basename $1`
46         convert $d $FILE
47     done
48 fi
49
50 for d in ${FILES} ; do
51         date  "+%c converting $d" >>$LOG
52         BASE=`basename $d`
53         FILE=$BASE.solr
54         if [ ! -f "$FILE" ] ; then
55             convert $d $BASE
56         fi
57         date  "+%c indexing $d" >>$LOG
58         java $DEF_HOST -jar post.jar $FILE
59         date  "+%c indexing $d ended" >>$LOG
60         #rm tmp.*
61 done
62 date  "+%c All done" >>$LOG
63 exit 0