java多線程斷點下載

最近閑的比較蛋疼,原本軟件計劃招20個人的,現在14個人的團隊都是一半在打醬油,這跟全國經濟形勢有關,我們也沒太大辦法,所以最近是啥都看看。昨天晚上看了一個多線程斷點下載,今天就用Java實現了一遍。
基本思路:
1、通過HttpURLConnection獲取網絡資源,得到資源大小等一些信息,
2、在本地創建一個和通過網絡獲取的資源同樣大小的文件(目的是為了存放下載的資源)
3、分配每個線程下載文件的開始位置和結束位置(下載時記錄每個線程下載的起始位置,方便停止后能繼續下載)
4、開啟線程去下載。

下面開始實現

private static int threadCount = 3;//開啟3個線程
    private static int blockSize = 0;//每個線程下載的大小
    private static int runningTrheadCount = 0;//當前運行的線程數
    private static String path = "http://sw.bos.baidu.com/sw-search-sp/software/09d9bc67eab07/QQ_8.7.19075.0_setup.exe";
    private static String filename ="QQ_8.7.19075.0_setup.exe";
    /**
     * @param args
     */
    public static void main(String[] args) {

        try{
            //1.請求url地址獲取服務端資源的大小
            URL url = new URL(path);
            HttpURLConnection openConnection = (HttpURLConnection) url.openConnection();
            openConnection.setRequestMethod("GET");
            openConnection.setConnectTimeout(5*1000);

            int code = openConnection.getResponseCode();
            if(code == 200){
                //獲取資源的大小
                int filelength = openConnection.getContentLength();
                if(filelength==-1){
                    filelength=1024*1024*60;
                }
                System.out.println("filelength="+filelength);
                //2.在本地創建一個與服務端資源同樣大小的一個文件(占位)
                RandomAccessFile randomAccessFile = new RandomAccessFile(filename, "rw");
                randomAccessFile.setLength(filelength);//設置隨機訪問文件的大小

                //3.要分配每個線程下載文件的開始位置和結束位置。
                blockSize = filelength/threadCount;//計算出每個線程理論下載大小
                for(int threadId =0 ;threadId < threadCount;threadId++){
                    int startIndex =  threadId * blockSize;//計算每個線程下載的開始位置
                    int endIndex = (threadId+1)*blockSize -1;//計算每個線程下載的結束位置
                    //如果是最后一個線程,結束位置需要單獨計算
                    if(threadId == threadCount-1){
                        endIndex = filelength -1;
                    }

                    //4.開啟線程去執行下載
                    new DownloadThread(threadId, startIndex, endIndex).start();


                }


            }


        }catch (Exception e) {
            e.printStackTrace();
        }

     }

上面代碼就是按照基本思路來寫的 首先通過請求url獲取網絡的資源,并設置為get請求,超時時間為5S 正常連接后獲取資源的大小,這里要注意一下,在百度里面輸入”qq下載“ 點立即下載

1.png

得到的下載連接為https://www.baidu.com/link?url=V4gOxFgauy-GHJGTah_Os4obVwMcRqSdtCT3zL6Lxyzg5tMfIMqK7OW_WIr8cUasrc-h9fDypXCPa2EYE8e1242fYJshFLA1BYdPKIu2KWy&wd=&eqid=b7133a01000210550000000658008fce
用chrome帶的抓包工具發現

2.png
3.png

會有三個連接而我們用直接點擊下載得到的連接其中沒有Content-Length這一項,因此當調用openConnection.getContentLength();時返回值為-1, 看網上都說設置setRequestProperty(“Accept-Encoding”, “identity”); 就可以了,可是試了下并沒什么卵用 我不是搞網絡的出身,所以搞了個簡單的方法,用下面的地址獲取資源。就是抓的包最下面一個的URL地址
http://sw.bos.baidu.com/sw-search-sp/software/84b5fcf50a3de/QQ_8.7.19083.0_setup.exe

現在可以正確的獲取網絡資源的大小了。
繼續 創建一個RandomAccessFile類型的文件,之所以要用這個類創建文件,是為了為后面的斷點續傳做準備的,看它名字也知道它 它可以隨機的開始寫入文件的位置,這個類功能非常強大,這里只用了它的randomAccessFile.seek(lastPostion)方法。
接著 就該分配線程 并確定每個線程的開始和結束位置了 這個沒什么難的,就是確定用幾個線程去下載,每個線程下載多少,隨你怎么分配了,只要他們連起來還是資源的大小,并且是連續的就行。
接下來就是開啟線程去下載了。

public static class DownloadThread  extends Thread{


        private int threadId;
        private int startIndex;
        private int endIndex;
        private int lastPostion;
        public DownloadThread(int threadId,int startIndex,int endIndex){
            this.threadId = threadId;
            this.startIndex = startIndex;
            this.endIndex = endIndex;
        }

        @Override
        public void run() {
            synchronized (DownloadThread.class) {
                
                runningTrheadCount = runningTrheadCount +1;//開啟一線程,線程數加1
            }
                
            //分段請求網絡連接,分段保存文件到本地
            try{
                URL url = new URL(path);
                HttpURLConnection openConnection = (HttpURLConnection) url.openConnection();
                openConnection.setRequestMethod("GET");
                openConnection.setConnectTimeout(5*1000);
                
                
                System.out.println("理論上下載:  線程:"+threadId+",開始位置:"+startIndex+";結束位置:"+endIndex);
                
                //讀取上次下載結束的位置,本次從這個位置開始直接下載。
                File file2 = new File(threadId+".txt");
                if(file2.exists()){
                    BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(new FileInputStream(file2)));
                    String lastPostion_str = bufferedReader.readLine();
                    lastPostion = Integer.parseInt(lastPostion_str);//讀取文件獲取上次下載的位置
                    
                    //設置分段下載的頭信息。  Range:做分段數據請求用的。
                    openConnection.setRequestProperty("Range", "bytes="+lastPostion+"-"+endIndex);//bytes:0-500:請求服務器資源中0-500之間的字節信息  501-1000:
                    System.out.println("實際下載1:  線程:"+threadId+",開始位置:"+lastPostion+";結束位置:"+endIndex);
                    bufferedReader.close();
                }else{
                    
                    lastPostion = startIndex;
                    //設置分段下載的頭信息。  Range:做分段數據請求用的。
                    openConnection.setRequestProperty("Range", "bytes="+lastPostion+"-"+endIndex);//bytes:0-500:請求服務器資源中0-500之間的字節信息  501-1000:
                    System.out.println("實際下載2:  線程:"+threadId+",開始位置:"+lastPostion+";結束位置:"+endIndex);
                }
                
                
                
                System.out.println("getResponseCode"+openConnection.getResponseCode() );
                
                
                
                if(openConnection.getResponseCode() == 206){//200:請求全部資源成功, 206代表部分資源請求成功
                    InputStream inputStream = openConnection.getInputStream();
                    //請求成功將流寫入本地文件中,已經創建的占位那個文件中
                    
                    RandomAccessFile randomAccessFile = new RandomAccessFile(filename, "rw");
                    randomAccessFile.seek(lastPostion);//設置隨機文件從哪個位置開始寫。
                    //將流中的數據寫入文件
                    byte[] buffer = new byte[1024];
                    int length = -1;
                    int total = 0;//記錄本次線程下載的總大小
                    
                    while((length= inputStream.read(buffer)) !=-1){
                        randomAccessFile.write(buffer, 0, length);
                        
                        total = total+ length;
                        //去保存當前線程下載的位置,保存到文件中
                        int currentThreadPostion = lastPostion + total;//計算出當前線程本次下載的位置
                        //創建隨機文件保存當前線程下載的位置
                        File file = new File(threadId+".txt");
                        RandomAccessFile accessfile = new RandomAccessFile(file, "rwd");
                        accessfile.write(String.valueOf(currentThreadPostion).getBytes());
                        accessfile.close();
                        
                        
                        
                    }
                    //關閉相關的流信息
                    inputStream.close();
                    randomAccessFile.close();
                    
                    System.out.println("線程:"+threadId+",下載完畢");
                    
                    
                    
                    //當所有線程下載結束,刪除存放下載位置的文件。
                    synchronized (DownloadThread.class) {
                        runningTrheadCount = runningTrheadCount -1;//標志著一個線程下載結束。
                        if(runningTrheadCount == 0 ){
                            System.out.println("所有線程下載完成");
                            for(int i =0 ;i< threadCount;i++){
                                File file = new File(i+".txt");
                                System.out.println(file.getAbsolutePath());
                                file.delete();
                            }
                        }
                        
                    }
                
                    
                }
                

            }catch (Exception e) {
                e.printStackTrace();
            }



            super.run();
        }

    }
    

上面代碼主要做了4 件事
1、設置分段下載的頭信息;
2、分段下載網絡資源
3、當中斷時把當前各個線程當前下載的位置分別保存到一個臨時文件中
4、下載完成后把臨時文件刪除 上面代碼中都給出了詳細的注釋

其中有一點要注意
openConnection.setRequestProperty("Range", "bytes="+lastPostion+"-"+endIndex);
如果"bytes=格式不對的話會導致設置不成功,返回的將不是部分資源的返回碼
另一個要說明的就是randomAccessFile.seek(startThread);是設置各個線程下載的開始位置
現在的開源項目xutils也可以實現多線程斷點下載 不過還是附上demo吧

https://github.com/solary2014/Muchdownload
http://download.csdn.net/detail/asd1031/9654085

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 228,646評論 6 533
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,595評論 3 418
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 176,560評論 0 376
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,035評論 1 314
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,814評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,224評論 1 324
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,301評論 3 442
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,444評論 0 288
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,988評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,804評論 3 355
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,998評論 1 370
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,544評論 5 360
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,237評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,665評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,927評論 1 287
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,706評論 3 393
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,993評論 2 374

推薦閱讀更多精彩內容

  • 什么是多線程下載 舉例: 一個裝有水的水桶(要下載的資源),出水口(下載線程),出水口越多,水流的越快。即多個線程...
    ccplay5grate閱讀 282評論 0 2
  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 172,665評論 25 708
  • 1.普通單線程下載文件: 直接使用URLConnection.openStream();打開網絡輸入流,然后將流寫...
    JuSong閱讀 2,612評論 2 10
  • 早晨早早出門,開車上班。太陽已升起,露出紅撲撲笑臉,照的世界金燦燦的。今年倒春寒,寒流賴著不走,非要和春姑娘糾纏,...
    永遠是我閱讀 723評論 4 4
  • 有叔叔阿姨幫忙,同學們干的又快又好。參與實踐活動讓孩子們感受到老師在開學初為他們所做的一切,體會老師的辛苦。再次感...
    孩兒王閱讀 228評論 0 0