Aspera - IBM - 高速下载数据

suqingdong

IBM Aspera 提供高速数据传输，用于在本地数据中心和任何主要云环境之间移动大量数据

一 安装aspera-connect

下载

https://downloads.asperasoft.com/downloads

wget -c https://download.asperasoft.com/ ... nux-g2.12-64.tar.gz

OR

https://www.ibm.com/aspera/downloads/

注册账号后可获取最先版的下载地址

wget -c https://ak-delivery04-mul.dhe.ib ... nux-g2.12-64.tar.gz
wget -c https://ak-delivery04-mul.dhe.ib ... ser_3.9.7_Linux.pdf

安装

tar xf tar xf ibm-aspera-connect-3.9.7.175481-linux-g2.12-64.tar.gz
sh ibm-aspera-connect-3.9.7.175481-linux-g2.12-64.sh

二 使用

2.1 ascp命令基本用法

ascp [OPTION] SRC DEST 

常用参数：

• -v  Verbose mode
•  -i PRIVATE-KEY-FILE  Private-key file name (id_rsa)(私钥文件)
• -k RESUME-LEVEL      : 0,3,2,1 (断点续传)
• -P SSH-PORT            TCP port used for SSH authentication（NCBI为33001）
• -l MAX-RATE             Max transfer rate（最大限速）
• -T                             Disable encryption（不使用加密模式）

~/.aspera/connect/bin/ascp -T -v \
  -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh \
  anonftp@ftp.ncbi.nlm.nih.gov:/gene/DATA/gene2refseq.gz .

为了方便，可把在PATH中创建一个ascp可执行文件

cat >/usr/local/bin/ascp<<EOF
#!/bin/bash
DIR=/path/to/aspera/connect
export PATH=\$DIR/bin:\$PATH
exec ascp -i \$DIR/etc/asperaweb_id_dsa.openssh -l 200m -k 1 "$@"
EOF

chmod 755 /usr/local/bin/ascp

现在你可以直接使用ascp命令了

ascp -Tv anonftp@ftp.ncbi.nlm.nih.gov:/gene/DATA/gene2refseq.gz .

2.2 下载NCBI数据

https://www.ncbi.nlm.nih.gov/public/

https://www.ncbi.nlm.nih.gov/projects/faspftp/

ftp://ftp.ncbi.nlm.nih.gov/

ASCP下载地址：anonftp@ftp.ncbi.nlm.nih.gov:/path

SRC可以是一个或多个，可以是文件或目录

例如要下载目录：ftp://ftp.ncbi.nlm.nih.gov/gene/DATA/

ascp的下载地址则为：anonftp@ftp.ncbi.nlm.nih.gov:/gene/DATA

ascp -Tv anonftp@ftp.ncbi.nlm.nih.gov:/gene/DATA .
# OR
ascp -Tv --host=ftp.ncbi.nlm.nih.gov --user=anonftp --mode=recv  /gene/DATA .

2.3 下载ENA数据

http://ftp.sra.ebi.ac.uk/

ASCP下载地址：era-fasp@fasp.sra.ebi.ac.uk:/path

例如要下载文件：ftp://ftp.sra.ebi.ac.uk/vol1/fas ... /SRR346368.fastq.gz

ascp -P 33001 -Tv era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR346/SRR346368/SRR346368.fastq.gz .

三 可能的报错

1 连接不上服务器

ascp: Failed to open TCP connection for SSH, exiting.

Session Stop  (Error: Failed to open TCP connection for SSH)

原因：可能是Linux防火墙的没有开放端口

解决办法：

# 开放33001端口
sudo iptables -I INPUT -p tcp --dport 33001 -j ACCEPT
sudo iptables -I OUTPUT -p tcp --dport 33001 -j ACCEPT

# 查看
sudo iptables -L

---

• https://www.ncbi.nlm.nih.gov/books/NBK242625/
• https://www.jianshu.com/p/df34b99cbd43
• http://blog.sina.com.cn/s/blog_149c7d4b60102wi3j.html
• http://boyun.sh.cn/bio/?p=1933

原文链接：https://www.yuque.com/suqingdong/bioinformatics/aspera/

来自群组: 诺禾疾病信息小组