¶ Transferencia de ficheros
Para poder transferir ficheros del cluster tenemos varias opciones, dependiendo desde que sistema operativo hagamos la conexión.
Filezilla
Windows
Linux y Mac
Referencias
Recordar que el inicio de sesión por contraseña esta deshabilitado.
Por ello en todos los casos debe realizarse la conexión con una llave ssh.
¶ Filezilla
Filezilla esta disponible para Windows, GNU/Linux y Mac
Una vez instalado le damos a Archivo -> Gestor de sitios -> Nuevo sitio
Ponemos de nombre drago y rellenamos como en la captura
Le damos a conectar
¶ Windows
Podemos utilizar el winscp, o el mobaxterm.
¶ Winscp
Lo podemos descargar de su web https://winscp.net/eng/download.php
Una vez instalado creamos un nuevo sitio rellenando los datos de drago
Podemos conectar con nuestra llave ssh, pinchamos en avanzado.
En el menu de la izquierda vamos a ssh-> autentificacion y en el campo "Archivo de clave privada" seleccionamos la ruta de nuestra llave ssh. Solo acepta formato .ppk, sin embargo al pasarle un formato openssh el nos ofrece realizar la conversion y generarnos el .ppk
Aceptamos la ventana y guardamos la conexion con el nombre drago (o el que queramos)
¶ MobaXterm
Podemos descargarlo de su web https://mobaxterm.mobatek.net/, el instalable y el portable son igual de validos en su version gratuita.
Una vez abierto pinchamos en boton sesion arriba a la izquierda, despues pinchamos en ssh.
Lo rellenamos con los datos de drago (si ya tenemos la conexion creada no es necesario repetirlo)
Una de las ventajas del MobaXterm es que tambien nos abre automaticamente una conexion sftp para transferir ficheros.
Para ello simplemente vamos al panel de la izquierda y pinchamos en la pestaña SFTP desde ese explorador se pueden gestionar archivos con la barra de iconos o arrastrandolos.
¶ GNU/Linux y MacOS
Podemos utilizar scp, rsync o rclone.
¶ scp
- Mover datos desde pc/portátil a home de usuario en Drago
scp dir2/ usuario@drago.csic.es:/lustre/home/centro1/usuario/dir2
- Mover datos desde home de usuario en Drago a pc/portátil
scp usuario@drago.csic.es:/lustre/home/centro1/usuario/dir2 dir2/
¶ rsync
El acceso al cluster Drago requiere autenticación mediante clave SSH ED25519. Si tu clave no está en la ruta por defecto (~/.ssh/id_ed25519), debes indicarla explícitamente en los comandos usando -e "ssh -i /ruta/a/id_ed25519".
- Mover datos desde pc/portátil a home de usuario en Drago:
rsync -avh -e "ssh -i /ruta/a/id_ed25519" /ruta/local/ usuario@drago.csic.es:/lustre/home/centro1/usuario/ruta/remota/
Si tu clave está en la ubicación por defecto, puedes usar simplemente:
rsync -avh /ruta/local/ usuario@drago.csic.es:/lustre/home/centro1/usuario/ruta/remota/
- Para descargar datos desde Drago a tu equipo local:
rsync -avh -e "ssh -i /ruta/a/id_ed25519" usuario@drago.csic.es:/lustre/home/centro1/usuario/ruta/remota/ /ruta/local/
- Para reanudar una transferencia interrumpida (el parámetro -P permite continuar donde se quedó):
rsync -avhP -e "ssh -i /ruta/a/id_ed25519" /ruta/local/ usuario@drago.csic.es:/lustre/home/centro1/usuario/ruta/remota/
Veremos la siguiente salida
sending incremental file list
./
archivo1 0 100% 0.00kB/s 0:00:00 (xfr#1, to-chk=499/501)
archivo10 0 100% 0.00kB/s 0:00:00 (xfr#2, to-chk=498/501)
archivo100 0 100% 0.00kB/s 0:00:00 (xfr#3, to-chk=497/501)
archivo101 0 100% 0.00kB/s 0:00:00 (xfr#4, to-chk=496/501)
archivo102 0 100% 0.00kB/s 0:00:00 (xfr#5, to-chk=495/501)
archivo103 0 100% 0.00kB/s 0:00:00 (xfr#6, to-chk=494/501)
archivo104 0 100% 0.00kB/s 0:00:00 (xfr#7, to-chk=493/501)
archivo105 0 100% 0.00kB/s 0:00:00 (xfr#8, to-chk=492/501)
archivo106 0 100% 0.00kB/s 0:00:00 (xfr#9, to-chk=491/501)
archivo107 0 100% 0.00kB/s 0:00:00 (xfr#10, to-chk=490/501)
archivo108
- Para sincronizar eliminando archivos obsoletos en destino:
rsync -avh --delete -e "ssh -i /ruta/a/id_ed25519" /ruta/local/ usuario@drago.csic.es:/lustre/home/centro1/usuario/ruta/remota/
Es recomendable hacer primero un dry run para comprobar qué se borraría:
rsync -avhn --delete -e "ssh -i /ruta/a/id_ed25519" /ruta/local/ usuario@drago.csic.es:/lustre/home/centro1/usuario/ruta/remota/
Notas y parametros:
- rsync es más eficiente que scp para grandes volúmenes de datos.
- -a → modo archivo (preserva permisos, fechas, enlaces…)
- -v → salida detallada
- -h → tamaños legibles formato humano
- -P → permite reanudar transferencias y muestra progreso
- la barra final importa (usar
dir/copia el contenido, usardircopia la carpeta completa). - Si tu clave está en
~/.ssh/id_ed25519, no necesitas añadir-e "ssh -i …". - Puedes excluir archivos o directorios con opciones como:
rsync -avh --exclude="*.log" --exclude="cache/" /local/ usuario@drago.csic.es:/remoto/
¶ rclone
Para poder transferir desde / hacia SACO del CSIC o sincronizar hacia él.
- Carga de módulo rclone en Drago
rclone está instalado en Drago dentro del software de la rama 0.4.
Para poder utilizarlo, hay que teclear el siguiente comando de carga de módulos:
module load rama0.4 rclone/1.60.1
- Configuración de rclone de una conexión a SACO
rclone dispone de un comando de configuración en modo texto bastante intuitivo que nos evitará tener que andar configurando en ficheros de texto.
rclone config
Nos lista las conexiones que ya tuviéramos configuradas, y nos da opción a crear nuevas
o editar o borrar alguna de las existentes.
Pulsamos la ‘n’ para crear una nueva conexión.
Tecleamos un nombre significativo, por ejemplo ‘SACO’.
Enter name for new remote.
name> SACO
Nos lista una serie de protocolos y/o proveedores
Elegimos la opción de WebDAV, que en esta versión de rclone está en la opción 55.
Tecleamos ‘55’.
Storage> 55
Se nos pide la URL al almacenamiento de nuestro usuario de SACO.
Option url.
URL of http host to connect to.
E.g. https://example.com.
Enter a value.
url>
Vamos a necesitar dejar la terminal en este punto y abrir una ventana de navegador a
Internet para realizar unos pasos.
Vamos a la URL de SACO https://saco.csic.es/login
E introducimos nuestras credenciales.
Debemos ir a la parte de gestión de almacenamiento de Nextcloud.
Pulsamos el icono señalado con una carpeta, de nombre Archivos.
Ahora, en los epígrafes de la parte inferior izquierda, pulsamos en Configuración de
archivos.
Aquí podemos ver la ruta que nos pedía el programa de configuración de rclone.
La copiamos pulsando en el icono de copia al cortapapeles.
Ya podemos abandonar esta ventana y volver a la terminal que habíamos dejado aparte.
Pegamos la ruta en la terminal, tras el prompt url>
(O la transcribimos si nuestra terminal no nos permite dicha operación)
Option url.
URL of http host to connect to.
E.g. https://example.com.
Enter a value.
url> https://saco.csic.es/remote.php/resto_de_ruta_copiada
Ahora debemos especificar el vendedor particular de la implementación WebDAV.
Que para el caso de SACO es Nextcloud.
vendor> 2
Ahora se nos pide nuestro usuario de SACO
Option user.
User name.
Incase NTLM authentication is used, the username should be in the format 'Domain\User'.
Enter a value. Press Enter to leave empty.
user>
Que viene siendo el DNI
user> 12345678A
Se nos pregunta si queremos configurar la contraseña de acceso
Option pass.
Password.
Choose an alternative below. Press Enter for the default (n).
y) Yes, type in my own password
g) Generate random password
n) No, leave this optional password blank (default)
y/g/n>
Decimos que sí, ‘y’, e introducimos y confirmamos la contraseña de SACO, que
actualmente es la de la Intranet de la Organización Central del CSIC.
y/g/n> y
Enter the password:
password:
Confirm the password:
password:
Ahora se nos pregunta si vamos a usar un token de autentificación.
Option bearer_token.
Bearer token instead of user/passs (e.g. a Macarron).
Enter a value. Press Enter to leave empty.
bearer_token>
Podemos dejar esa opción vacía pulsando ENTER.
Se nos pregunta si queremos configurar opciones avanzadas.
bearer_token>
Edit advanced config?
y) Yes
n) No (default)
y/n> n
Contestamos que no, ‘n’.
Y la configuración de este perfil está completa.
Se nos mostrará un resumen con las opciones de este perfil.
Y se nos pregunta si estamos de acuerdo y si lo grabamos o no.
Configuration complete.
Options:
- type: webdav
- url: https://saco.csic.es/remote.php/resto_de_ruta_copiada
- vendor: nextcloud
- user: 12345678A
- pass: *** ENCRYPTED ***
Keep this "SACO" remote?
y) Yes this is OK (default)
e) Edit this remote
d) Delete this remote
y/e/d>
Si todo está correcto, decimos que sí, ‘y’
Ahora volvemos a la página principal.
Aquí se debería listar la conexión que acabamos de configurar.
y/e/d> y
Current remotes:
Name Type
==== ====
SACO webdav
e) Edit existing remote
n) New remote
d) Delete remote
r) Rename remote
c) Copy remote
s) Set configuration password
q) Quit config
e/n/d/r/c/s/q>
Podemos salir al sistema pulsando la ‘q’.
e/n/d/r/c/s/q/> q
- Ejemplos de uso
En los siguientes ejemplos, para referirnos a la conexión de saco, deberemos usar la
etiqueta creada durante la configuración en el paso anterior.
En este caso, SACO.
3.1. Listar ficheros en la ubicación remota
rclone ls SACO:/ruta_dentro_del_almacenamiento
Por ejemplo, para listar todos los ficheros en el raíz de SACO :
rclone ls SACO:/
Para listar los ficheros en la carpeta Imágenes de SACO:
rclone ls SACO:/Imágenes
3.2. Copiar ficheros
La manera de copiar ficheros es la siguiente:
rclone copy ruta_origen ruta_destino
Por ejemplo, para copiar el fichero carta.txt que está en la carpeta Documentos que
cuelga de la raíz de SACO a la ruta actual en Drago:
rclone copy SACO:/Documentos/carta.txt .
3.3. Sincronizar carpeta de SACO con contenido de Drago
rclone sync ruta_en_drago ruta_en_saco
3.4. Documentación sobre otros comandos de rclone
Se puede ver en la URL https://rclone.org/commands/