down_part.sh

suqingdong

1. #!/bin/sh
   
2. part_bytes=$((1024 * 1024 * 1024))
   
3. 
   
4. USAGE() {
   
5. echo -e "usage: $0 [options] <url>
   
6. 
   
7. options:
   
8.     -o <str>  the prefix of output
   
9.     -s        run curl on silent mode
   
10.     -b <int>  the bytes of each part[default: $part_bytes]
    
11.     -I        only show the total length of resource
    
12.     -n <int>  only download the specific part
    
13. 
    
14. example:
    
15.     $0 -b \$((1024*1024*512)) [url]http://hgdownload.cse.ucsc.edu/goldenPath/rn6/bigZips/rn6.fa.gz[/url]
    
16. 
    
17. contact: [email]suqingdong@novogene.com[/email]"
    
18. 
    
19. exit
    
20. }
    
21. 
    
22. 
    
23. while getopts "ho:sb:In:" opt;do
    
24. 
    
25.     case $opt in
    
26.         o)
    
27.             output="$OPTARG"
    
28.             ;;
    
29.         s)
    
30.             silent='-s'
    
31.             ;;
    
32.         b)
    
33.             part_bytes="$OPTARG"
    
34.             ;;
    
35.         h)
    
36.             USAGE
    
37.             ;;
    
38.         I)
    
39.             header_only=true
    
40.             ;;
    
41.         n)
    
42.             part="$OPTARG"
    
43.             ;;
    
44.         ?)
    
45.             exit 1
    
46.             ;;
    
47.     esac
    
48. done
    
49. 
    
50. #
    
51. shift $(( $OPTIND - 1 ))
    
52. 
    
53. [ ! $1 ] && USAGE
    
54. 
    
55. url="$1"
    
56. name=`basename $url`
    
57. length=`curl -sIL $url | grep 'Content-Length' | tail -1 | grep -oP '\d+'`
    
58. 
    
59. [ ! $output ] && output=$name
    
60. 
    
61. echo "================================================================"
    
62. echo "resource url : ${url}"
    
63. mb=$(python -c "print round($length / 1024. / 1024, 2)")
    
64. echo "total bytes  : ${length} (${mb}M)"
    
65. echo "output name  : ${name}"
    
66. echo "================================================================"
    
67. 
    
68. [ $header_only ] && exit
    
69. 
    
70. if [ $part_bytes -ge $length ];then
    
71.     echo ">>> downloading $name directly ..."
    
72.     curl -L $silent $url -o $output
    
73. else
    
74.     n=0
    
75.     for fr in `seq 0 ${part_bytes} ${length}`;do
    
76.         (( n++ ))
    
77.         to=$(( $fr + $part_bytes - 1 ))
    
78.         if [ $part ];then
    
79.             if [ $part -eq $n ];then
    
80.                 echo ">>> downloading part $n ..."
    
81.                 curl $silent -r $fr-$to $url -o $output.part.$n
    
82.                 break
    
83.             else
    
84.                 continue
    
85.             fi
    
86.         fi
    
87.         echo ">>> downloading part $n ..."
    
88.         curl -L $silent -r $fr-$to $url -o $output.part.$n
    
89.     done
    
90. fi
    
91. 
    

复制代码