Suporte (GridUNESP)

h1. Tesseract

h2. Envio local, exemplos de scripts

Informações sobre o uso direto do cluster local estão em [[SLURM|aqui]].

h3. Exemplo simples

Exemplo para processar todos os .tiff de um diretório usando apenas um core (serial). Verifica se já existe um arquivo processado antes.

*ocr.sh:*

<pre>

#!/bin/bash

module load tesseract

for INPUT in *.tiff

do

  BASENAME=$(basename $INPUT .tiff)

  if [ ! -f "${BASENAME}.pdf" ]

  then

    echo "Processing $INPUT"

    tesseract "$INPUT" "$BASENAME" -l por pdf

  fi

done

</pre>

<pre>

sbatch ocr.sh

</pre>

h3. Exemplo paralelo

Exemplo para processar todos os .tiff de um diretório usando múltiplos cores(paralelo).

<pre>

#!/bin/bash

module load tesseract

for INPUT in *.tiff

do

  BASENAME=$(basename $INPUT .tiff)

  if [ ! -f "${BASENAME}.pdf" ] && [ ! -f "${BASENAME}.lock" ]

  then

    # lock and wait 5 seconds (to reduce concurrency)

    echo "$SLURM_ARRAY_TASK_ID" > "${BASENAME}.lock"

    sleep 5

    if [ "$(cat ${BASENAME}.lock)" = "$SLURM_ARRAY_TASK_ID" ]

    then

      echo "Processing $INPUT -- (task $SLURM_ARRAY_TASK_ID)"

      TMPNAME=".$BASENAME-$SLURM_ARRAY_TASK_ID"

      tesseract "$INPUT" "$TMPNAME" -l por pdf

      mv "$TMPNAME.pdf" "$BASENAME.pdf"

      rm "${BASENAME}.lock"

    else

      echo "Lost lock on $INPUT"

    fi

  fi

done

</pre>

Para usar 30 cores:

<pre>

sbatch --array=0-30 ocr.sh

</pre>