HTCondor

HTCondor

HTCondor es una plataforma para HTC que permite el envío de lotes de trabajos siguiendo un esquema de planificación de ejecución de tareas oportunista. Esta plataforma se caracteriza por soportar la ejecución de miles de unidades de trabajo por parte de diferentes usuarios exhibiendo capacidades de tolerancia a fallos. Un proyecto concebido en la Universidad de Wisconsin-Madison en el año 1988 y que ha sido usado en grandes proyectos de investigación a escala global como el LHC.

Installing

Ubuntu 12.04 - 14.04

echo "deb [arch=amd64] http://research.cs.wisc.edu/htcondor/ubuntu/stable/ trusty contrib" | sudo tee -a /etc/apt/sources.list
echo "deb [arch=amd64] http://research.cs.wisc.edu/htcondor/ubuntu/development/ trusty contrib" | sudo tee -a /etc/apt/sources.list
wget -qO - http://research.cs.wisc.edu/htcondor/ubuntu/HTCondor-Release.gpg.key | sudo apt-key add -
sudo apt-get update
sudo apt-get install -y condor nano docker.io

Centos 7

cd /etc/yum.repos.d/
sudo wget https://research.cs.wisc.edu/htcondor/yum/repo.d/htcondor-stable-rhel7.repo
sudo yum install -y epel-release 
sudo yum install -y condor condor-python nano

Windows

Download The HTCondor.msi currently stable release

Mac

$ brew tap pegasus-isi/tools
$ brew install htcondor

Una vez la instalación se complete será necesario iniciar el servicio de HTCondor:

$ brew tap homebrew/services
$ brew services list
$ brew services start htcondor

Configuring SOAP

sudo nano /etc/condor/config.d/condor_config.local

DOCKER = /usr/bin/docker
ENABLE_SOAP = TRUE
ALLOW_SOAP = *
QUEUE_ALL_USERS_TRUSTED = TRUE
SCHEDD_ARGS = -p 8080
ALLOW_READ = *                        
ALLOW_WRITE = * 
HOSTALLOW_READ = *
HOSTALLOW_WRITE = *
ALLOW_NEGOTIATOR = *
ALLOW_ADMINISTRATOR = *
COLLECTOR_DEBUG = D_FULLDEBUG
NEGOTIATOR_DEBUG = D_FULLDEBUG
MATCH_DEBUG = D_FULLDEBUG
SCHEDD_DEBUG = D_FULLDEBUG
START = TRUE
TRUST_UID_DOMAIN = TRUE
SOAP_LEAVE_IN_QUEUE = ((JobStatus==4) && ((ServerTime - CompletionDate) < (60 * 60 * 24)))
#ENABLE_WEB_SERVER = TRUE
#WEB_ROOT_DIR=/usr/share/condor/webservice/
USE_SHARED_PORT=FALSE
# SHADOW

sudo service condor restart

condor_reconfig
condor_status -schedd -constraint "HasSOAPInterface=?=TRUE"

Without SOAP