?????????????????????? Led燈壞掉引發(fā)的思考

兩年前新買的房子裝修時候，為了以后不用頻繁的換燈泡大部分的光源都采用LED燈，led燈公認(rèn)的壽命比較長，包裝上都宣稱至少用10000小時。不曾想上周一個月黑風(fēng)高的晚上，我一個人在空蕩蕩的房間里看書，為了節(jié)能環(huán)保家里只亮著一盞房間的吸頂led燈，一陣風(fēng)吃過瞬間燈滅了，克服著心里的恐懼，抹黑過去重新開關(guān)了下燈結(jié)果證實(shí)燈壞了。

還好裝修的時候留一手，我打開了備用的日關(guān)燈。說好的10000小時呢，心里萬馬奔騰，我拿了把椅子,卸下了led燈罩（藍(lán)翔學(xué)校必備技能）發(fā)現(xiàn)led燈還能發(fā)出微弱的光，于是我就斷定led燈的整流器壞了卸下來，等到周末帶著整流器就出門找店家買了。一路波折要么沒有，要么都和led燈片一起賣的。大約逛了5-6家，一個好心的老板提醒了我：‘’小伙子，這個東西一般都不會壞，肯定是led燈片或者線路壞了。又找了幾家都沒法測試我的整流器是否壞掉。做水電的二個提醒我說：“回家直接把客房那個拆下來接上這個看看就知道了，于是乎我測試出來了是led板子壞了。出去買了個帶整流器的led燈板（捆綁銷售不單賣）換上終于解決了。耗了大半天的時間做了一堆無用功，換下來的led燈板我仔細(xì)觀察表明并沒有燒掉的痕跡，通電后有微弱的關(guān)說明led燈主體沒壞。上網(wǎng)搜索發(fā)現(xiàn)led燈只接上火線的時候會發(fā)微弱的光。于是我就仔細(xì)的觀察電路，電路板很簡單所有的燈泡以下面的形式串接

仔細(xì)觀察發(fā)現(xiàn)有一組燈泡的兩個里面有一個完全不亮，輕按后整個線路都在閃，于是我找了個東西按住這個燈，接電后除了這組的第二個燈全部都亮起來了。用東西固定住這個燈后，led燈重新恢復(fù)了活力。老婆夸我果然不愧是藍(lán)翔畢業(yè)的。

晚上躺在床上回想整件事情的經(jīng)過，發(fā)現(xiàn)很多事情原理都有互通之處，大致歸納以下幾點(diǎn)：

留一手：（注重備份）

無論是日常生活，還是架構(gòu)設(shè)計(jì)，備份的設(shè)計(jì)顯的尤為重要，通俗的場景你在上廁所的時候才發(fā)現(xiàn)沒紙是一件多么痛苦的事情。工作上的情景更加比比皆是，前段時間公司的內(nèi)部環(huán)境全部使用vm虛擬機(jī)集群搭建，公司沒有郵件系統(tǒng)，于是我就提議搭建個郵件系統(tǒng)，之前沒有自己搭建的經(jīng)歷，于是各種查資料，花了九牛二虎之力用postfix+dovecot搭建起來了郵件服務(wù)器。為了管理方便我又搭設(shè)了postfixadmin。正打算試用推廣的時候沒想到虛擬機(jī)集群重啟后異常，我的郵件服務(wù)器掛了起不來了。搭建的過程沒想過備份問題，導(dǎo)致虛擬機(jī)掛掉無法重啟之后我的所有的工作付諸一炬。只能硬著頭皮重新開始了搭建工作，還好搭建的過程資料有保存，于是我又花了一些時間把郵件服務(wù)器重新搭建起來了。這次我再虛擬機(jī)上做了鏡像。同時，為了防止集群性的故障事件我又把搭建好的軟件和數(shù)據(jù)庫表結(jié)構(gòu)全部備份到我的工作機(jī)上。根據(jù)墨菲定律，可能發(fā)生的事情一定會發(fā)生。果然升級內(nèi)存的時候多次重啟集群，集群的大部分虛擬機(jī)掛掉，文件丟失。還好郵件服務(wù)器有備份集群恢復(fù)后用了大概1小時時間恢復(fù)了我的服務(wù)。

找痛點(diǎn)（發(fā)現(xiàn)問題根源）

問題發(fā)生之后，需要確認(rèn)問題的所在，只根據(jù)表面現(xiàn)象很容易被迷惑，找錯方向浪費(fèi)了解決問題，恢復(fù)原狀的寶貴時間。由于我根據(jù)自己的初步觀察就斷定了是整流器的故障導(dǎo)致浪費(fèi)半天時間跑了5-6家店差點(diǎn)還買了實(shí)際沒有壞的整流器。可見沒有找到痛點(diǎn)會在時間和金錢上都有極大的浪費(fèi)。我不禁聯(lián)想到之前做某個游戲業(yè)務(wù)的時候，有一次版本發(fā)布不久發(fā)生了一個故障，用戶登入后頻繁掉線。看服務(wù)器端的負(fù)載和網(wǎng)絡(luò)情況都正常，自己登入客戶端查看，也發(fā)生了同樣的故障，查看網(wǎng)絡(luò)，ping值和網(wǎng)絡(luò)延時都正常，同機(jī)房機(jī)架的其他業(yè)務(wù)沒有任何問題，idc的監(jiān)控測試也顯示網(wǎng)絡(luò)情況正常。服務(wù)端抓包發(fā)現(xiàn)收到的消息是服務(wù)端在三次握手后就沒有收到來自客戶端的消息導(dǎo)致超時連接退出。于是依照以往的經(jīng)驗(yàn)判斷是網(wǎng)絡(luò)鏈路或者反外掛加殼導(dǎo)致的問題。于是就找網(wǎng)絡(luò)平臺的人以及反外掛的人一起排查問題，時間轉(zhuǎn)瞬即逝用戶的情緒越來越激動，反復(fù)的修改維護(hù)公告，論壇已經(jīng)一片罵聲。結(jié)果兩邊排查都沒有問題，找服務(wù)端客戶端重新抓包梳理財(cái)發(fā)現(xiàn)是程序的bug導(dǎo)致任務(wù)包的邏輯有問題導(dǎo)致的客戶端無法正常連接或者頻繁退出。歷時3個小時才解決了這個問題。沒有找到痛點(diǎn)永遠(yuǎn)也只能在做無用功費(fèi)事費(fèi)力，就像現(xiàn)在人人都在談敏捷，如果沒有依據(jù)各個崗位各個公司的具體情況盲目套用只能是費(fèi)事費(fèi)力而且效果往往差強(qiáng)人意，很多以失敗告終。

雙機(jī)熱備就夠了嗎？（架構(gòu)設(shè)計(jì)中的單點(diǎn)消除）

我們看前一個led燈片實(shí)際上也做了雙機(jī)熱備，可是每一個設(shè)備其實(shí)都是一個故障點(diǎn)，每組的燈實(shí)際上是線路上的單點(diǎn)。后面我買了新的led光源就考慮到了這一點(diǎn)，所有的燈都以并聯(lián)的方式進(jìn)行連接避免了架構(gòu)上的耦合性

我們在做架構(gòu)設(shè)計(jì)的時候，除了要考慮雙機(jī)熱備以外還要考慮冷熱備結(jié)合，以及物理機(jī)房機(jī)架的分離，架構(gòu)上盡量消除耦合性，減少單模塊的故障引起的其他模塊的異常。

細(xì)節(jié)決定成敗

觀察故障的led燈片以及新買的燈片我發(fā)現(xiàn)故障的燈片上的焊接點(diǎn)形狀大小相去甚遠(yuǎn)，制作工藝上有很大的差別，導(dǎo)致led光源還沒壞的時候焊點(diǎn)就接觸不良了。另外在架構(gòu)設(shè)計(jì)的時候考慮的不周，才導(dǎo)致局部的異常整體掛掉。有時候我們追求效率的時候很容易忽略質(zhì)量，導(dǎo)致后面要么引發(fā)故障，要么返工重來，坑了自己也坑了別人。特別是一些維護(hù)或者發(fā)布的操作，手一抖就容易引發(fā)慘重的問題。追求效率更多的是從工具的源頭的優(yōu)化，而不是犧牲質(zhì)量的情況下盲目追求。