¶ Transferencia de ficheros
Para poder conectar transferir ficheros del cluster tenemos varias opciones, dependiendo desde que sistema operativo hagamos la conexion:
Filezilla
Windows
Linux y Mac
Referencias
¶ Filezilla
Filezilla esta disponible para Windows, GNU/Linux y Mac
Una vez instalado le damos a Archivo -> Gestor de sitios -> Nuevo sitio
Ponemos de nombre drago y rellenamos como en la captura
Le damos a conectar
¶ Windows
Podemos utilizar el winscp, o el mobaxterm.
¶ Winscp
Lo podemos descargar de su web https://winscp.net/eng/download.php
Una vez instalado creamos un nuevo sitio rellenando los datos de drago
Podemos conectar con la contraseña de drago, aunque es recomendable usar la RSA, para ello pinchamos en avanzado.
En el menu de la izquierda vamos a ssh-> autentificacion y en el campo "Archivo de clave privada" seleccionamos la ruta de nuestro RSA. Solo acepta formato .ppk, sin embargo al pasarle un formato openssh el nos ofrece realizar la conversion y generarnos el .ppk
Aceptamos la ventana y guardamos la conexion con el nombre drago (o el que queramos)
¶ MobaXterm
Podemos descargarlo de su web https://mobaxterm.mobatek.net/, el instalable y el portable son igual de validos en su version gratuita.
Una vez abierto pinchamos en boton sesion arriba a la izquierda, despues pinchamos en ssh.
Lo rellenamos con los datos de drago (si ya tenemos la conexion creada no es necesario repetirlo)
Una de las ventajas del MobaXterm es que tambien nos abre automaticamente una conexion sftp para transferir ficheros.
Para ello simplemente vamos al panel de la izquierda y pinchamos en la pestaña SFTP desde ese explorador se pueden gestionar archivos con la barra de iconos o arrastrandolos.
¶ GNU/Linux y MacOS
¶ scp
- Mover datos desde pc/portátil a home de usuario en Drago
scp dir2/ usuario@drago.csic.es:/lustre/home/centro1/usuario/dir2
- Mover datos desde home de usuario en Drago a pc/portátil
scp usuario@drago.csic.es:/lustre/home/centro1/usuario/dir2 dir2/
- Mover remotamente datos desde home Trueno a home Drago
Se podria copiar asi directamente, si le da problemas, entre en trueno y haga el paso 1
scp usuario@trueno.csic.es:/home/grupo/usuario usuario@drago.csic.es:/lustre/home/centro1/usuario/dir2
¶ rsync
- Mover datos desde pc/portátil a home de usuario en Drago
rsync -a dir2/ usuario@drago.csic.es:/lustre/home/centro1/usuario/dir2
- Mover remotamente datos desde home Trueno a home Drago
rsync -a dir2/ usuario@drago.csic.es:/lustre/home/centro1/usuario/dir2
- Transferir datos reanudando envío tras interrupción de la misma.
Hacemos una transferencia y cortamos y después de ello lanzamos mismo comando pero con siguiente opción.
rsync -aP dir2/ usuario@trueno.csic.es:/home/cti/usuario/dir2
Veremos la siguiente salida
sending incremental file list
./
archivo1 0 100% 0.00kB/s 0:00:00 (xfr#1, to-chk=499/501)
archivo10 0 100% 0.00kB/s 0:00:00 (xfr#2, to-chk=498/501)
archivo100 0 100% 0.00kB/s 0:00:00 (xfr#3, to-chk=497/501)
archivo101 0 100% 0.00kB/s 0:00:00 (xfr#4, to-chk=496/501)
archivo102 0 100% 0.00kB/s 0:00:00 (xfr#5, to-chk=495/501)
archivo103 0 100% 0.00kB/s 0:00:00 (xfr#6, to-chk=494/501)
archivo104 0 100% 0.00kB/s 0:00:00 (xfr#7, to-chk=493/501)
archivo105 0 100% 0.00kB/s 0:00:00 (xfr#8, to-chk=492/501)
archivo106 0 100% 0.00kB/s 0:00:00 (xfr#9, to-chk=491/501)
archivo107 0 100% 0.00kB/s 0:00:00 (xfr#10, to-chk=490/501)
archivo108
- Forzar borrado de archivo en destino si en origen se elimina un archivo
rm dir2/archivo222
rsync -a --delete dir2/ usuario@trueno.csic.es:/home/cti/usuario/dir2
A continuación accedemos a trueno y con un ls verificamos que se elimina en destino
- Sincronizar directorios existentes de forma remota Realmente es como el anterior caso
¶ rclone
Para poder transferir desde / hacia SACO del CSIC o sincronizar hacia él.
- Carga de módulo rclone en Drago
rclone está instalado en Drago dentro del software de la rama 0.4.
Para poder utilizarlo, hay que teclear el siguiente comando de carga de módulos:
module load rama0.4 rclone/1.60.1
- Configuración de rclone de una conexión a SACO
rclone dispone de un comando de configuración en modo texto bastante intuitivo que nos evitará tener que andar configurando en ficheros de texto.
rclone config
Nos lista las conexiones que ya tuviéramos configuradas, y nos da opción a crear nuevas
o editar o borrar alguna de las existentes.
Pulsamos la ‘n’ para crear una nueva conexión.
Tecleamos un nombre significativo, por ejemplo ‘SACO’.
Enter name for new remote.
name> SACO
Nos lista una serie de protocolos y/o proveedores
Elegimos la opción de WebDAV, que en esta versión de rclone está en la opción 55.
Tecleamos ‘55’.
Storage> 55
Se nos pide la URL al almacenamiento de nuestro usuario de SACO.
Option url.
URL of http host to connect to.
E.g. https://example.com.
Enter a value.
url>
Vamos a necesitar dejar la terminal en este punto y abrir una ventana de navegador a
Internet para realizar unos pasos.
Vamos a la URL de SACO https://saco.csic.es/login
E introducimos nuestras credenciales.
Debemos ir a la parte de gestión de almacenamiento de Nextcloud.
Pulsamos el icono señalado con una carpeta, de nombre Archivos.
Ahora, en los epígrafes de la parte inferior izquierda, pulsamos en Configuración de
archivos.
Aquí podemos ver la ruta que nos pedía el programa de configuración de rclone.
La copiamos pulsando en el icono de copia al cortapapeles.
Ya podemos abandonar esta ventana y volver a la terminal que habíamos dejado aparte.
Pegamos la ruta en la terminal, tras el prompt url>
(O la transcribimos si nuestra terminal no nos permite dicha operación)
Option url.
URL of http host to connect to.
E.g. https://example.com.
Enter a value.
url> https://saco.csic.es/remote.php/resto_de_ruta_copiada
Ahora debemos especificar el vendedor particular de la implementación WebDAV.
Que para el caso de SACO es Nextcloud.
vendor> 2
Ahora se nos pide nuestro usuario de SACO
Option user.
User name.
Incase NTLM authentication is used, the username should be in the format 'Domain\User'.
Enter a value. Press Enter to leave empty.
user>
Que viene siendo el DNI
user> 12345678A
Se nos pregunta si queremos configurar la contraseña de acceso
Option pass.
Password.
Choose an alternative below. Press Enter for the default (n).
y) Yes, type in my own password
g) Generate random password
n) No, leave this optional password blank (default)
y/g/n>
Decimos que sí, ‘y’, e introducimos y confirmamos la contraseña de SACO, que
actualmente es la de la Intranet de la Organización Central del CSIC.
y/g/n> y
Enter the password:
password:
Confirm the password:
password:
Ahora se nos pregunta si vamos a usar un token de autentificación.
Option bearer_token.
Bearer token instead of user/passs (e.g. a Macarron).
Enter a value. Press Enter to leave empty.
bearer_token>
Podemos dejar esa opción vacía pulsando ENTER.
Se nos pregunta si queremos configurar opciones avanzadas.
bearer_token>
Edit advanced config?
y) Yes
n) No (default)
y/n> n
Contestamos que no, ‘n’.
Y la configuración de este perfil está completa.
Se nos mostrará un resumen con las opciones de este perfil.
Y se nos pregunta si estamos de acuerdo y si lo grabamos o no.
Configuration complete.
Options:
- type: webdav
- url: https://saco.csic.es/remote.php/resto_de_ruta_copiada
- vendor: nextcloud
- user: 12345678A
- pass: *** ENCRYPTED ***
Keep this "SACO" remote?
y) Yes this is OK (default)
e) Edit this remote
d) Delete this remote
y/e/d>
Si todo está correcto, decimos que sí, ‘y’
Ahora volvemos a la página principal.
Aquí se debería listar la conexión que acabamos de configurar.
y/e/d> y
Current remotes:
Name Type
==== ====
SACO webdav
e) Edit existing remote
n) New remote
d) Delete remote
r) Rename remote
c) Copy remote
s) Set configuration password
q) Quit config
e/n/d/r/c/s/q>
Podemos salir al sistema pulsando la ‘q’.
e/n/d/r/c/s/q/> q
- Ejemplos de uso
En los siguientes ejemplos, para referirnos a la conexión de saco, deberemos usar la
etiqueta creada durante la configuración en el paso anterior.
En este caso, SACO.
3.1. Listar ficheros en la ubicación remota
rclone ls SACO:/ruta_dentro_del_almacenamiento
Por ejemplo, para listar todos los ficheros en el raíz de SACO :
rclone ls SACO:/
Para listar los ficheros en la carpeta Imágenes de SACO:
rclone ls SACO:/Imágenes
3.2. Copiar ficheros
La manera de copiar ficheros es la siguiente:
rclone copy ruta_origen ruta_destino
Por ejemplo, para copiar el fichero carta.txt que está en la carpeta Documentos que
cuelga de la raíz de SACO a la ruta actual en Drago:
rclone copy SACO:/Documentos/carta.txt .
3.3. Sincronizar carpeta de SACO con contenido de Drago
rclone sync ruta_en_drago ruta_en_saco
3.4. Documentación sobre otros comandos de rclone
Se puede ver en la URL https://rclone.org/commands/