1.場景
隨著智能手機和傳感器技術的發展,LBS(Location based service)類的應用也逐漸多了起來。幾乎每一個軟件或多或少都要牽扯上點位置的事。這篇文章主要來講解下怎么快速的搜尋某個位置點周邊的數據。
將問題模型化就是,給一組數據,每個數據包括了這個數據的位置信息(經緯度)和其他信息,給一個搜尋點(經度和緯度)和搜尋范圍(radius),在最少的計算和時間內將在搜尋點的搜尋范圍內的數據找出來。
List<Data> findData(List<Data> datas,int radius)
2.目前的解決方案
(1)圓形區域一一匹配搜索。
將list中的數據一個一個同搜索位置進行距離計算。幾乎沒有人這樣用,每一個數據都需要進行開根號操作,數據量大的時候不可想象。
(2)先對數據庫中的經度(longitude)和緯度(latitude)添加B+樹索引,然后搜索以radius的兩倍為邊長的正方形,如下圖:
圓形搜索需要進行距離計算,而正方形搜索只需要進行經度和緯度的一個比較就行,因此在效率上大大提高。最后一步就是對正方形內的數據一一進行距離計算,輸出距離在radius之內的數據。
(3)使用目前現成的擁有地理位置搜索的數據庫,比如mongoDB,HBase等等。
(4)使用geohash數據結構,見下面介紹
2.geohash介紹
(1)感性認識GeoHash
首先來點感性認識,http://openlocation.org/geohash/geohash-js/ 提供了在地圖上顯示geohash編碼的功能。
1)GeoHash將二維的經緯度轉換成字符串,比如下圖展示了北京9個區域的GeoHash字符串,分別是WX4ER,WX4G2、WX4G3等等,每一個字符串代表了某一矩形區域。也就是說,這個矩形區域內所有的點(經緯度坐標)都共享相同的GeoHash字符串,這樣既可以保護隱私(只表示大概區域位置而不是具體的點),又比較容易做緩存,比如左上角這個區域內的用戶不斷發送位置信息請求餐館數據,由于這些用戶的GeoHash字符串都是WX4ER,所以可以把WX4ER當作key,把該區域的餐館信息當作value來進行緩存,而如果不使用GeoHash的話,由于區域內的用戶傳來的經緯度是各不相同的,很難做緩存。
2)字符串越長,表示的范圍越精確。如圖所示,5位的編碼能表示10平方千米范圍的矩形區域,而6位編碼能表示更精細的區域(約0.34平方千米)
3)字符串相似的表示距離相近(特殊情況后文闡述),這樣可以利用字符串的前綴匹配來查詢附近的POI信息。如下兩個圖所示,一個在城區,一個在郊區,城區的GeoHash字符串之間比較相似,郊區的字符串之間也比較相似,而城區和郊區的GeoHash字符串相似程度要低些。
通過上面的介紹我們知道了GeoHash就是一種將經緯度轉換成字符串的方法,并且使得在大部分情況下,字符串前綴匹配越多的距離越近,回到我們的案例,根據所在位置查詢來查詢附近餐館時,只需要將所在位置經緯度轉換成GeoHash字符串,并與各個餐館的GeoHash字符串進行前綴匹配,匹配越多的距離越近。
(2)GeoHash算法的步驟
下面以北海公園為例介紹GeoHash算法的計算步驟
2.1. 根據經緯度計算GeoHash二進制編碼
地球緯度區間是[-90,90], 北海公園的緯度是39.928167,可以通過下面算法對緯度39.928167進行逼近編碼:
1)區間[-90,90]進行二分為[-90,0),[0,90],稱為左右區間,可以確定39.928167屬于右區間[0,90],給標記為1;
2)接著將區間[0,90]進行二分為 [0,45),[45,90],可以確定39.928167屬于左區間 [0,45),給標記為0;
3)遞歸上述過程39.928167總是屬于某個區間[a,b]。隨著每次迭代區間[a,b]總在縮小,并越來越逼近39.928167;
4)如果給定的緯度x(39.928167)屬于左區間,則記錄0,如果屬于右區間則記錄1,這樣隨著算法的進行會產生一個序列1011100,序列的長度跟給定的區間劃分次數有關。
根據緯度算編碼
bit | min | mid | max |
---|---|---|---|
1 | -90.000 | 0.000 | 90.000 |
0 | 0.000 | 45.000 | 90.000 |
1 | 0.000 | 22.500 | 45.000 |
1 | 22.500 | 33.750 | 45.000 |
1 | 33.7500 | 39.375 | 45.000 |
0 | 39.375 | 42.188 | 45.000 |
0 | 39.375 | 40.7815 | 42.188 |
0 | 39.375 | 40.07825 | 40.7815 |
1 | 39.375 | 39.726625 | 40.07825 |
1 | 39.726625 | 39.9024375 | 40.07825 |
同理,地球經度區間是[-180,180],可以對經度116.389550進行編碼。
根據經度算編碼
|bit|min|mid|max|
|-|-|-|
|1|-180|0.000|180|
|1|0.000|90|180|
|0|90|135|180|
|1|90|112.5|135|
|0|112.5|123.75|135|
|0|112.5|118.125|123.75|
|1|112.5|115.3125|118.125|
|0|115.3125|116.71875|118.125|
|1|115.3125|116.015625|116.71875|
|1|116.015625|116.3671875|116.71875|
2.2. 組碼
通過上述計算,緯度產生的編碼為10111 00011,經度產生的編碼為11010 01011。偶數位放經度,奇數位放緯度,把2串編碼組合生成新串:11100 11101 00100 01111。
最后使用用0-9、b-z(去掉a, i, l, o)這32個字母進行base32編碼,首先將11100 11101 00100 01111轉成十進制,對應著28、29、4、15,十進制對應的編碼就是wx4g。同理,將編碼轉換成經緯度的解碼算法與之相反,具體不再贅述。
(3)GeoHash Base32編碼長度與精度
下表摘自維基百科:http://en.wikipedia.org/wiki/Geohash
可以看出,當geohash base32編碼長度為8時,精度在19米左右,而當編碼長度為9時,精度在2米左右,編碼長度需要根據數據情況進行選擇。
(4)GeoHash算法
上文講了GeoHash的計算步驟,僅僅說明是什么而沒有說明為什么?為什么分別給經度和維度編碼?為什么需要將經緯度兩串編碼交叉組合成一串編碼?本節試圖回答這一問題。
如圖所示,我們將二進制編碼的結果填寫到空間中,當將空間劃分為四塊時候,編碼的順序分別是左下角00,左上角01,右下腳10,右上角11,也就是類似于Z的曲線,當我們遞歸的將各個塊分解成更小的子塊時,編碼的順序是自相似的(分形),每一個子快也形成Z曲線,這種類型的曲線被稱為Peano空間填充曲線。
這種類型的空間填充曲線的優點是將二維空間轉換成一維曲線(事實上是分形維),對大部分而言,編碼相似的距離也相近, 但Peano空間填充曲線最大的缺點就是突變性,有些編碼相鄰但距離卻相差很遠,比如0111與1000,編碼是相鄰的,但距離相差很大。
除Peano空間填充曲線外,還有很多空間填充曲線,如圖所示,其中效果公認較好是Hilbert空間填充曲線,相較于Peano曲線而言,Hilbert曲線沒有較大的突變。為什么GeoHash不選擇Hilbert空間填充曲線呢?可能是Peano曲線思路以及計算上比較簡單吧,事實上,Peano曲線就是一種四叉樹線性編碼方式。
(5)使用注意點
1)由于GeoHash是將區域劃分為一個個規則矩形,并對每個矩形進行編碼,這樣在查詢附近POI信息時會導致以下問題,比如紅色的點是我們的位置,綠色的兩個點分別是附近的兩個餐館,但是在查詢的時候會發現距離較遠餐館的GeoHash編碼與我們一樣(因為在同一個GeoHash區域塊上),而較近餐館的GeoHash編碼與我們不一致。這個問題往往產生在邊界處。
解決的思路很簡單,我們查詢時,除了使用定位點的GeoHash編碼進行匹配外,還使用周圍8個區域的GeoHash編碼,這樣可以避免這個問題。
2)我們已經知道現有的GeoHash算法使用的是Peano空間填充曲線,這種曲線會產生突變,造成了編碼雖然相似但距離可能相差很大的問題,因此在查詢附近餐館時候,首先篩選GeoHash編碼相似的POI點,然后進行實際距離計算。
3.實踐操作
本文使用asp.net core作為后臺,不管什么語言什么后臺,大致的思路是一樣的
(1)在數據庫的表中加一列,geohash,并且加上hash索引。使用如下方法得到geohash的值:
public static String Encode(double latitude, double longitude, int precision = 12)
{
bool even = true;
int bit = 0;
int ch = 0;
string geohash = "";
double[] lat = { -90.0, 90.0 };
double[] lon = { -180.0, 180.0 };
if (precision < 1 || precision > 20) precision = 12;
while (geohash.Length < precision)
{
double mid;
if (even)
{
mid = (lon[0] + lon[1]) / 2;
if (longitude > mid)
{
ch |= Bits[bit];
lon[0] = mid;
}
else
lon[1] = mid;
}
else
{
mid = (lat[0] + lat[1]) / 2;
if (latitude > mid)
{
ch |= Bits[bit];
lat[0] = mid;
}
else
lat[1] = mid;
}
even = !even;
if (bit < 4)
bit++;
else
{
geohash += Base32[ch];
bit = 0;
ch = 0;
}
}
return geohash;
}
上式中的precision指的是geohash的編碼長度,長度越長經度越高。
得到每一個數據之后的geohash后將它插入到數據庫的表中去。
(2)這時候有兩個輸入值,經緯度和radius范圍值。
同樣,首先通過范圍值獲取到geohash的有效位數,geohash的前面幾位相同就代表了之間的距離在一定范圍之內。具體查看上面的[
GeoHash Base32編碼長度與精度]
public static int getEffectDigitNumber(int radius)
{
int result = 0;
if (radius <= 0) result = 0;
else if (radius < 1) result = 10;
else if (radius < 5) result = 9;
else if (radius < 20) result = 8;
else if (radius < 77) result = 7;
else if (radius < 610) result = 6;
else if (radius < 2400) result = 5;
else if (radius < 20000) result = 4;
else if (radius < 78000) result = 3;
else if (radius < 630000) result = 2;
else result = 0;
return result;
}
這是我寫的經度和位數對應表
(3)計算目標位置的geohash值,同上面的數據庫產生geohash算法一致。
(4)為了避免邊界點產生的誤差,我們取出周圍8個的geohash。怎么取就要看選擇的曲線了。這里選擇
Peano曲線。可以通過以下方法得到一個點geohash周圍的8個相鄰點的geohash。
public enum Direction
{
Top = 0,
Right = 1,
Bottom = 2,
Left = 3
}
private const string Base32 = "0123456789bcdefghjkmnpqrstuvwxyz";
private static readonly int[] Bits = new[] { 16, 8, 4, 2, 1 };
private static readonly string[][] Neighbors = {
new[]
{
"p0r21436x8zb9dcf5h7kjnmqesgutwvy", // Top
"bc01fg45238967deuvhjyznpkmstqrwx", // Right
"14365h7k9dcfesgujnmqp0r2twvyx8zb", // Bottom
"238967debc01fg45kmstqrwxuvhjyznp", // Left
},
new[]
{
"bc01fg45238967deuvhjyznpkmstqrwx", // Top
"p0r21436x8zb9dcf5h7kjnmqesgutwvy", // Right
"238967debc01fg45kmstqrwxuvhjyznp", // Bottom
"14365h7k9dcfesgujnmqp0r2twvyx8zb", // Left
}
};
private static readonly string[][] Borders = {
new[] {"prxz", "bcfguvyz", "028b", "0145hjnp"},
new[] {"bcfguvyz", "prxz", "0145hjnp", "028b"}
};
public static String CalculateAdjacent(String hash, Direction direction)
{
hash = hash.ToLower();
char lastChr = hash[hash.Length - 1];
int type = hash.Length % 2;
var dir = (int)direction;
string nHash = hash.Substring(0, hash.Length - 1);
if (Borders[type][dir].IndexOf(lastChr) != -1)
{
nHash = CalculateAdjacent(nHash, (Direction)dir);
}
return nHash + Base32[Neighbors[type][dir].IndexOf(lastChr)];
}
得到周圍的點:
public static HashSet<string> getGeoSearchSet(string geohash,int effectDigitNumber)
{
HashSet<string> searchStringSet = new HashSet<string>();
string tophash = Geohash.CalculateAdjacent(geohash, Geohash.Direction.Top);
string toplefthash = Geohash.CalculateAdjacent(tophash, Geohash.Direction.Left);
string toprighthash = Geohash.CalculateAdjacent(tophash, Geohash.Direction.Right);
string bottomhash = Geohash.CalculateAdjacent(geohash, Geohash.Direction.Bottom);
string bottomlefthash = Geohash.CalculateAdjacent(bottomhash, Geohash.Direction.Left);
string bottomrighthash = Geohash.CalculateAdjacent(bottomhash, Geohash.Direction.Right);
string lefthash = Geohash.CalculateAdjacent(geohash, Geohash.Direction.Left);
string righthash = Geohash.CalculateAdjacent(geohash, Geohash.Direction.Right);
searchStringSet.Add(tophash.Substring(0, effectDigitNumber));
searchStringSet.Add(geohash.Substring(0, effectDigitNumber));
searchStringSet.Add(toplefthash.Substring(0, effectDigitNumber));
searchStringSet.Add(toprighthash.Substring(0, effectDigitNumber));
searchStringSet.Add(lefthash.Substring(0, effectDigitNumber));
searchStringSet.Add(righthash.Substring(0, effectDigitNumber));
searchStringSet.Add(bottomlefthash.Substring(0, effectDigitNumber));
searchStringSet.Add(bottomrighthash.Substring(0, effectDigitNumber));
searchStringSet.Add(bottomrighthash.Substring(0, effectDigitNumber));
return searchStringSet;
}
使用HashSet去除重復的元素,畢竟臨近的geohash有大概率重復。
(5)得到周圍點之后遍歷 searchStringSet中的geohash值就能從數據庫中取數據了。
List<Data> DataList = new List<Data>();
foreach (string searchstring in searchStringSet)
{
var result = _dataContext.DataDB.AsNoTracking().Where(u => u.geohash.StartsWith(searchstring) && u.name.Contains(nearbyQuery.keywords)).ToList();
if (result != null)
{
DataList.AddRange(result);
}
}
List<Data> DataListNoRepeat =DataList.Distinct().ToList();
直接遍歷數據庫,然后將結果存在List中,最后剔除掉重復的數據。
(6)好了,到這里為止已經獲取了一個正方形周邊的數據,這個正方形的邊長要大于radius的兩倍。因此需要使用傳統方法對搜索結果一一作距離清洗。
List<TData> DataListFinal = new List<Data>();
foreach (Data Datatemp in DataListNoRepeat)
{
int dis;
if ((dis = getDistance(Datatemp.latitude,Datatemp.longitude, nearbyQuery.latitude, nearbyQuery.longitude)) < nearbyQuery.radius)
{
DataListFinal.Add(Datatemp);
}
}
return DataListFinal;
這樣就獲得了最終的想要的額結果DataListFinal。