h1. Tesseract

h2. Envio local, exemplos de scripts

Informações sobre o uso direto do cluster local estão em [[SLURM|aqui]].

h3. Exemplo simples

Exemplo para processar todos os .tiff de um diretório usando apenas um core (serial). Verifica se já existe um arquivo processado antes.

*ocr.sh:*
<pre>
#!/bin/bash
module load tesseract

for INPUT in *.tiff
do
  BASENAME=$(basename $INPUT .tiff)

  if [ ! -f "${BASENAME}.pdf" ]
  then
    echo "Processing $INPUT"
    tesseract "$INPUT" "$BASENAME" -l por pdf
  fi
done
</pre>

<pre>
sbatch ocr.sh
</pre>

h3. Exemplo paralelo

Exemplo para processar todos os .tiff de um diretório usando múltiplos cores (paralelo).

A ideia desse script é permitir que vários processos independentes trabalhem no mesmo diretório sem definir previamente qual processo ficará responsável por cada arquivo. O workflow é:

# O processo é iniciado e lista todos os arquivos com uma extensão (.tiff, no exemplo)
# Para cada arquivo encontrado
## Verifica se ele já foi convertido (verificando se existe um .pdf)
## Verifica se existe um arquivo de lock (ou seja, algum outro processo está trabalhando nesse arquivo)
## Se não houver:
### cria o arquivo lock com o seu identificador e verifica depois de 5 segundos se o lock ainda é seu. (Isso é feito para evitar problemas de concorrência.)
### Converte o arquivo gerando um arquivo temporário
### Renomeia o arquivo temporário para o nome final.
### Remove o lock

<pre>
#!/bin/bash
module load tesseract

for INPUT in *.tiff
do
  BASENAME=$(basename $INPUT .tiff)

  if [ ! -f "${BASENAME}.pdf" ] && [ ! -f "${BASENAME}.lock" ]
  then
    # lock and wait 5 seconds (to reduce concurrency)
    echo "$SLURM_ARRAY_TASK_ID" > "${BASENAME}.lock"
    sleep 5
    
    if [ "$(cat ${BASENAME}.lock)" = "$SLURM_ARRAY_TASK_ID" ]
    then
      echo "Processing $INPUT -- (task $SLURM_ARRAY_TASK_ID)"
      TMPNAME=".$BASENAME-$SLURM_ARRAY_TASK_ID"

      tesseract "$INPUT" "$TMPNAME" -l por pdf

      mv "$TMPNAME.pdf" "$BASENAME.pdf"
      rm "${BASENAME}.lock"
    else
      echo "Lost lock on $INPUT"
    fi
  fi
done
</pre>

Para usar 30 cores:

<pre>
sbatch --array=0-30 ocr.sh
</pre>

h3. Ghostscript (.pdf -> .tiff)

Exemplo para processar todos os .pdf de um diretório usando múltiplos cores (paralelo).

A ideia desse script é permitir que vários processos independentes trabalhem no mesmo diretório sem definir previamente qual processo ficará responsável por cada arquivo. O workflow é:

<pre>
#!/bin/bash

for INPUT in *.pdf
do
  BASENAME=$(basename $INPUT .pdf)

  if [ ! -f "${BASENAME}-001.tiff" ] && [ ! -f "${BASENAME}.lock" ]
  then
    # lock and wait 5 seconds (to reduce concurrency)
    echo "$SLURM_ARRAY_TASK_ID" > "${BASENAME}.lock"
    sleep 5
    
    if [ "$(cat ${BASENAME}.lock)" = "$SLURM_ARRAY_TASK_ID" ]
    then
      echo "Processing $INPUT -- (task $SLURM_ARRAY_TASK_ID)"

      gs -q -dNOPAUSE -dBATCH -sDEVICE=tiffg4 -r400x400 -sOutputFile=${BASENAME}-%03d.tiff ${INPUT}

      rm "${BASENAME}.lock"
    else
      echo "Lost lock on $INPUT"
    fi
  fi
done
</pre>

Para usar 30 cores:

<pre>
sbatch --array=0-30 gs.sh
</pre>