1.如何對網頁進行Load test. 負載測試
要進行負載測試，先要確定對性要求最高的場景！！！
web 負載測試的對象： ?相應時間， 資源利用率，。。
創造成千上萬的虛擬用戶，模擬并發的情況！！！ 需要編寫Multi-threading program, 建立millions of Threads! ?然后利用程序來測量responding time.
2.涉及擴展性與存儲限制！！！如果涉及一個網絡爬蟲，該怎么避免陷入無限循環？？？什么時候會出現無限循環？？？ web-->web-->web 如果構成一個cycle。為了避免無限循環，只要檢查有沒有cycle。 可以build a list, 訪問過頁面后，將hash[v] set Trueimagine its a tree. Doing BFS, mark visted.? 不過web v 是什么？ 是根據內容還是url來定義的？most cases, www.google/image 和www.google/article是不一樣的兩個東西。不過也有可能后綴不影響。給100億個網站，如何檢查出重復的文件？ 重復表示2個URL完全一樣。首先100億url占用多少空間？? =4TB. 內存絕對放不進去。***永遠先想想simplied version of the problem. 最簡化的問題。? 假設可以放的進內存，對List items找重復項。 但是肯定是沒辦法放進內存的。所以我們可以將部分數據移入硬盤，or放在機器上If on disk. 需要兩次掃描Scan entire dataset, 分成4000組，每組1GB。簡單的做法是把每個url u 取名.txt? x=hash(u)
這樣一來，所有hash value一樣的都會在一個文件里。
第二次掃描，將每個文件Load 進內存， 創建網址的hash-list. 找重復的。
3. System design? Facebook/Linkedin.
設計一種算法展示兩個人之間的關系
我——> tom-->Amy-->你
先移除一些限制條件，解決該問題的簡化版本。
先忘記要應對幾百萬的用戶，針對簡單情況設計算法
構建一個圖，每個人一個node，如果兩個node有line, 表示為朋友。
class Person{
Person[] friends;
}
要找兩個人的鏈接，從其中一個人開始，BFS. ? Now，把百萬用戶的限制條件加入：
Facebook和linkedin這種規模的服務，不可能所有數據存放在一個機器上。也就是說簡單數據結構不管用
因為我們在一個機器上do DFS,很有可能找不到人。
把朋友列表改為他們ID的列表，追蹤。
針對每個朋友的ID，找出機器的位置。 int machine_index = getMachineIDForUser(person ID)
轉到編號的machine上
在那臺機器上，執行Person friend = getPersonWithID(person_ID)
在這個機器上找人。
非常重要的優化：
減少機器間的跳轉次數
批量嘗試跳轉動作。如果5個朋友都在同一臺機器上，就應該一次性找出來。
4. 給定一個輸入文件，包含40億Non-Negative Integer.產生一個不在該文件中的整數
設定你有1GB內存來做
Followup: 如果只有10MB
5. ?假設你有一個20GB的文件， 每一行一個string, 將如何對這個文件進行排序？
當看到20GB這么大的限制，就應該想到這是一個套路。 也就是不能全部將數據load 進內存里。所以，只是將部分文件load進內存。 將整個文件分成許多快。 每個快x MB, 各個塊完成排序以后，將他們合并在一起。 這個是一個External Sort. [implementation 也是略麻煩]
6. 實現一個搜索引擎。 Search Engine.?
這個搜索系統有一百臺機器來相應搜索查詢， 響應查詢的機器是隨機挑選的， 因此兩個一樣的請求，【比如都是搜索 which school is the best】，不一定由同一臺機器響應。請這幾一種cache 緩存機制，緩存最近幾次查詢的結果。
因為Process Search cost a lot.
答：緩存機制需要有一個功能： 舊數據會過期，讓它被新的數據代替。那么如何實現cache? 可以使用List， 只要把新的搜索放在list head， 當list長度超過一定大小的時候，刪除List 末尾元素。?
然后我們還需要引入Hash 的idea，這樣會使得搜索變得非常快。O(1).
所以，這里實際上就是implement a cache.
上述是最簡單的情況，假設只有一臺機器。 如果我們有很多臺機器，每個機器也許都應該有自己的緩存。這種做法很容易實現，但是問題也很多。比如說search "A" 對于機器1來講是在緩存里的，要是不小心由機器2來處理，也許就不是緩存里的東西了。那就需要花很多時間，浪費在本身是重復的東西上。
我們也可以讓每臺機器都有一個total cache copy. 大家都知道完整版的cache是什么樣。 這的問題是 每一次update cache要發送給所有的機器。如果機器數量1萬臺，每次要update一萬臺機器。 這個有點恐怖。而且total cache的capacity也會少很多很多。
還有一種選擇是把cache 分隔開，每臺機器存放cache的不同部分。 當機器要找某次查詢的結果，只要找哪臺機器有這個value。 這里就可以使用hash(query) % N的方法。
7. 設計一個算法，給定10億個數字，找出最小的100萬個數字。 假設計算機內存足以容納全部10億個數字。
這道題有很多種1. sorting. 因為memory可以load 所有數字，所以可以直接排序 O(nlogm) 然后數前100萬個數字
解法2. ?Heap: 先給前100萬個數字創建一個max Heap. 最大的在頂部。 然后iterate whole array。將每個元素插入max heap 并且刪掉最大的元素. ?當10億個數字全掃過一遍后，留下來的是最小的100萬個元素，因為大的都給刪掉了。 ?O(nlogm)
做一個Priority Queue， size 100萬也是一樣的。?
解法3. 選擇排序法: selection sort [高級]
可以在Linear time 找到數組中第i 小的元素。?
一旦找到第i 小的，我們可以iterate entire array,找到所有小于等于該元素的值。 O(n)
