蓄水池抽樣算法

面試題:

如果有一個(gè)文件很大,內(nèi)存很大,不知道有多少行。你的任務(wù)是隨機(jī)輸出一行。文件只能遍歷一次。
解析:算法就是需要保證輸出一行的概率是相等的。

相關(guān)問(wèn)題:

給你一個(gè)長(zhǎng)度為N的鏈表。N很大,但你不知道N有多大。你的任務(wù)是從這N個(gè)元素中隨機(jī)取出k個(gè)元素。你只能遍歷這個(gè)鏈表一次。你的算法必須保證取出的元素恰好有k個(gè),且它們是完全隨機(jī)的(出現(xiàn)概率均等)。

import java.io.BufferedReader;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;
import java.util.Random;

public class RandomOutput {
    public static String randomOutput(String path) {
        String res = null;
        String temp = null;
        FileReader reader = null;
        BufferedReader br = null;
        int i = 0;
        int ranValue = 0;
        // Random rand = new Random();
        try {
            reader = new FileReader(path);
            br = new BufferedReader(reader);
            res = br.readLine();
            i++;
            while((temp = br.readLine()) != null) {
               i++;
               System.out.println(i);
               // ranValue = rand.nextInt(i);
               ranValue =  new Random().nextInt(i);
               System.out.println(ranValue);
               if (ranValue < 1) {
                   res = temp;
               }
            }
        } catch (FileNotFoundException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }        
       
        try {
            br.close();
            reader.close();
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }        
        return res;
    }
    public static void main(String[] argv) {
        String res = randomOutput("test.txt");
        System.out.println(res);
    }
}

解法:

該算法是針對(duì)從一個(gè)序列中隨機(jī)抽取不重復(fù)的k個(gè)數(shù),保證每個(gè)數(shù)被抽取到的概率為k/n這個(gè)問(wèn)題而構(gòu)建的。做法是:
首先構(gòu)建一個(gè)可放k個(gè)元素的蓄水池,將序列的前k個(gè)元素放入蓄水池中。
然后從第k+1個(gè)元素開(kāi)始,以k/n的概率來(lái)決定該元素是否被替換到池子中。 當(dāng)遍歷完所有元素之后,就可以得到隨機(jī)挑選出的k個(gè)元素。復(fù)雜度為O(n).
其偽代碼如下:

Init : a reservoir with the size: k
        for    i= k+1 to N
        M=random(1, i);
        if( M <= k)
               SWAP the Mth value and ith value
        end for

證明每個(gè)數(shù)被取到的概率為k/n:

對(duì)于第i個(gè)數(shù)(i<k),在前k步被選中的概率是1, 從第k+1步開(kāi)始,i不被選中的概率為k/k+1,那么讀到第n個(gè)數(shù)時(shí), 第i個(gè)數(shù)(i<k)被選中的概率 = 被選中的概率 * 以后每一步都不被換走的概率,即:
1 * k/k+1 * k+1/k+2*...*n-1/n = k/n
對(duì)于第j個(gè)數(shù)(j>=k)被選中的概率為: 在他出現(xiàn)時(shí)被選中的概率 * 在他出現(xiàn)以后不被換走的概率,即:
k/j * j /j+1*...*n-1/n = k/n
綜上得證。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

推薦閱讀更多精彩內(nèi)容