使用速铂Aspera下载NGS数据

关于速铂Aspera

速铂Aspera是一套商业的高速文件传输解决方案,随着高通量数据的大量产生,从而对于大文件快速传输的需求,开始应用到生物领域,目前NCBI、EBI的SRA库都提供这样的服务。

传统的FTP、HTTP等数据传输协议都是基于TCP的,TCP在远距离数据传输中存在一些先天的不足,文件越大、距离越远,其丢包、延时等问题对于传输速度的影响就越大。速铂Aspera通过应用了一个名为fasp™ 的底层技术,替换了传统的TCP传输协议。它彻底克服了TCP固有瓶颈,实现了在各种共享和私有网络环境中传输速度的最大化。这种技术可以获得完美的传输效率,不为网络延迟和丢包所限制。并且,用户享有对传输速度以及不同传输流之间带宽共享的无以伦比的控制。不管网络距离和动态性能如何,即便是在最困难的网络条件下(例如卫星,无线和洲际远程链接),文件传输时间仍然可以得到保障。FASP具有内置的,完整的安全性,包括连接节点安全验证,传输中数据加密以及数据完整性验证。与FTP传输相比快了3-184倍。它可以灵活地部署在C/S 或B/S构架的应用上,并利用普通的IP网络最大限度地利用带宽进行高效传输。同时,它也有着极好的跨平台性,支持几乎所有的主要操作系统。该软件同时也 包含一种文件接力技术,使得在传输大量极小文件时,其效率与传输单个大尺寸文件有着相同的效率与速度。

一句话,远距离,大文件,Aspera优势巨大。

客户端的下载与安装

即便Aspera是商业软件,但是作为客户应用方(相对于NCBI),我们使用其客户对进行数据的上传与下载是不用支付费用的。

  • Aspera Connect下载, 下载地址:http://www.asperasoft.com/downloads,根据不同的操作系统,下载相应的版本。注意下载的是Aspera Connect。Aspera Connect
  • 安装,windows下直接双击,下一步,安装,注意安装目录有别与常规软件,安装目录为C:\Users\[usename]\AppData\Local\Programs\Aspera\Aspera Connect。linux下
sh aspera-connect-xx-linux-64.sh

浏览器下使用Aspera下载SRA数据(win 7)

  • 开始菜单中,点击Aspera Connect,注意没有窗口显示,但是在右下角的运行程序的托盘中,会增加Aspera Connect的图标。
    Aspera icon
  • 链接配置,右击图标点击Preferences,选择Networks选项卡,配置网络连接类型或者速度限制
    Aspera Connect Configuration
  • web浏览器打开资源站点,如:http://www.ncbi.nlm.nih.gov/projects/faspftp/1000genomes/,浏览器目前只支持ie、firefox,点击要下载的资源,保存
    1000genomes
  • 在aspera的Transfers窗口,就可以看见下载了

使用ascp下载SRA数据

ascp是Aspera Connect的命令行程序。

相关的参数

  • –Q (for adaptive flow control) – needed for disk throttling!
  • –T to disable encryption
  • –k1 enable resume of failed transfers
  • –l (maximum bandwidth of request, try 200M and go up from there)
  • –r recursive copy
  • –i <private key file>
命令格式
ascp -i <path-to-asperaweb_id_dsa.putty> -k1 -QTr –l200m 
anonftp@ftp-private.ncbi.nlm.nih.gov:/<files to transfer> <local destination>

命令示例:

ascp -i ~/.aspera/connect/etc/asperaweb_id_dsa.putty -Q -l100m anonftp@ftp-private.ncbi.nlm.nih.gov:/1GB .
ascp -i ucdbioinfo.ppk -QTr <file to transfer> -l 300M asp-ucdbioinfo@upload.ncbi.nlm.nih.gov:incoming/
ascp -QT -l640M -i "/Applications/Aspera Connect.app/Contents/Resources/asperaweb_id_dsa.putty" anonftp@ftp-private.ncbi.nlm.nih.gov:1GB /tmp/
ascp -QT -l640M -i /opt/aspera/etc/asperaweb_id_dsa.putty anonftp@ftp-private.ncbi.nlm.nih.gov:1GB /tmp/

提供Aspera的数据库

参考

使用速铂Aspera下载NGS数据》上有1条评论

  1. Pingback引用通告: 使用速铂Aspera下载NCBI数据-南农肥料网-吧啵肥料泡腾片-多肉-学术交流

发表评论

电子邮件地址不会被公开。 必填项已用*标注

请启用Javascript,以完成验证!