用MQK寫一個(gè)自動(dòng)記賬的應(yīng)用
不知道大家平時(shí)是否記賬,反正我是不記的。最近想知道平時(shí)都花了多少錢,比如做一個(gè)支出的趨勢(shì)圖看看,順便在看看支出明細(xì)。
作為一個(gè)工程師,查看消費(fèi)短信遠(yuǎn)遠(yuǎn)達(dá)不到我的要求。最好是可以把每一筆消費(fèi)都記錄在數(shù)據(jù)庫里面,這樣就想怎么玩就怎么玩。沒事用SELECT查詢消費(fèi)清單,或者用GROUP sum 一下每段時(shí)間的消費(fèi)總額,這樣感覺就很爽。
銀行一般都有消費(fèi)短信的提醒,可以分析短信的內(nèi)容得到消費(fèi)記錄,再保存到數(shù)據(jù)庫里面。
思路是這樣的,寫一個(gè)Android的App,接收到短信后把短信內(nèi)容發(fā)送給PHP后端程序分析并入庫。我手上的這臺(tái)安卓是一個(gè)備用機(jī),所以接收到短信之后,還要把其他所有的短信用郵件發(fā)送到郵箱。
下面是數(shù)據(jù)庫保存支出的時(shí)間和金額,金額的單位按分保存。
mysql> select * from payments;
+----+------+-------+---------------------+---------------------+---------------------+
| id | bank | money | charge_time | created_at | updated_at |
+----+------+-------+---------------------+---------------------+---------------------+
| 1 | | 6000 | 2017-10-02 22:04:00 | 2017-10-05 00:02:56 | 2017-10-05 00:02:56 |
| 2 | | 6000 | 2017-10-02 22:04:00 | 2017-10-05 00:12:29 | 2017-10-05 00:12:29 |
| 3 | | 6000 | 2017-10-02 22:04:00 | 2017-10-05 00:15:06 | 2017-10-05 00:15:06 |
| 4 | | 6000 | 2017-10-02 22:04:00 | 2017-10-05 00:15:14 | 2017-10-05 00:15:14 |
| 5 | | 98 | 2017-10-05 08:28:00 | 2017-10-05 00:28:33 | 2017-10-05 00:28:33 |
| 6 | | 351 | 2017-10-05 08:29:00 | 2017-10-05 00:29:19 | 2017-10-05 00:29:19 |
| 7 | | 98 | 2017-10-05 08:33:00 | 2017-10-05 00:33:37 | 2017-10-05 00:33:37 |
| 8 | | 3901 | 2017-10-05 08:35:00 | 2017-10-05 00:36:15 | 2017-10-05 00:36:15 |
| 9 | | 1000 | 2017-10-06 06:25:00 | 2017-10-05 22:25:31 | 2017-10-05 22:25:31 |
| 10 | | 4300 | 2017-10-07 04:17:00 | 2017-10-06 20:17:31 | 2017-10-06 20:17:31 |
| 11 | | 17800 | 2017-10-07 05:48:00 | 2017-10-06 21:48:42 | 2017-10-06 21:48:42 |
| 12 | | 2340 | 2017-10-07 07:09:00 | 2017-10-06 23:09:36 | 2017-10-06 23:09:36 |
| 13 | | 450 | 2017-10-08 00:12:00 | 2017-10-07 16:12:16 | 2017-10-07 16:12:16 |
| 14 | | 2700 | 2017-10-08 00:30:00 | 2017-10-07 16:30:28 | 2017-10-07 16:30:28 |
| 15 | | 1100 | 2017-10-08 01:58:00 | 2017-10-07 17:58:37 | 2017-10-07 17:58:37 |
| 16 | | 11600 | 2017-10-08 01:53:00 | 2017-10-07 17:59:00 | 2017-10-07 17:59:00 |
| 17 | | 2800 | 2017-10-08 04:52:00 | 2017-10-07 20:52:19 | 2017-10-07 20:52:19 |
+----+------+-------+---------------------+---------------------+---------------------+
17 rows in set (0.00 sec)
郵件接收短信
用到的框架
因?yàn)楹蠖酥皇翘峁┮粋€(gè)接口保存支出和發(fā)送郵件,所以框架選擇了lumen
,沒有用laravel。用symfony/swiftmailer
發(fā)送郵件。郵件發(fā)送過程通常需要很長(zhǎng)時(shí)間,不希望支出接口把Android客戶端請(qǐng)求Hold太久時(shí)間,用mqk/mqk
做后臺(tái)背景任務(wù)。
MQK是純PHP的多進(jìn)程背景任務(wù)處理框架,客戶端使用K::invoke('Mailer', 'Subject', 'example@qq.com')
發(fā)起一個(gè)異步調(diào)用。MQK會(huì)將任務(wù)進(jìn)入消息隊(duì)列,并在后臺(tái)執(zhí)行。特別適合郵件發(fā)送這樣的場(chǎng)景。
這里我使用了MQK的另外一個(gè)特性:事件機(jī)制,短信接口在接收到短信后派發(fā)一個(gè)接收到短信的事件。
事件機(jī)制相當(dāng)于觀察者模式,特別適合對(duì)代碼進(jìn)行解耦。另外MQK使用固定的進(jìn)程池,和其他的消息隊(duì)列組件不同。一般的消息隊(duì)列組件會(huì)在消息到達(dá)的時(shí)候啟動(dòng)一個(gè)新的進(jìn)程并在任務(wù)完成后銷毀,在消息吞吐量比較大的時(shí)候會(huì)產(chǎn)生很大的開銷。
MQK使用和php-fpm類似的進(jìn)程管理機(jī)制,啟動(dòng)固定的多個(gè)進(jìn)程,如果進(jìn)程數(shù)量不夠的時(shí)候,可以動(dòng)態(tài)的調(diào)整。
https://github.com/imcj/mqk 是MQK項(xiàng)目的地址,可以用 composer require mqk/mqk
安裝。
- 定義短信保存接口的路由
# routes/web.php
$router->post('/', 'InboxController@sms');
- 實(shí)現(xiàn)控制器
\K::dispatch
作用是派發(fā)事件,message.in
是事件名。MessageInEvent
是事件,定義在App\Events\MessageInEvent
class InboxController
{
public function sms(Request $request)
{
$sender = $request->get("sender");
$message = $request->get("message");
\K::dispatch("message.in", new MessageInEvent($sender, $message));
}
}
- 定義MessageInEvent
# app/Events/MessageInEvent.php
class MessageInEvent extends \Symfony\Component\EventDispatcher\Event
{
public $sender;
public $message;
public function __construct($sender, $message)
{
$this->sender = $sender;
$this->message = $message;
}
}
- 監(jiān)聽MessageIn事件
\K::addListener
監(jiān)聽message.in
事件,接收短信分析出時(shí)間和金額,然后保存。
最后用Swift Mailer
將短信轉(zhuǎn)發(fā)到我的郵箱。
# /bootstrap.php
\K::addListener("message.in", function(MessageInEvent $event) {
$sender = $event->sender;
$message = $event->message;
$financeMessage = new Message();
$payment = $financeMessage->extract($message);
if ($payment) {
$payment->save();
}
$transport = (new \Swift_SmtpTransport(getenv("SMTP_HOST"), (int)getenv("SMTP_PORT"), 'ssl'))
->setUsername(getenv("SMTP_USER"))
->setPassword(getenv("SMTP_PASSWORD"));
$mailer = new \Swift_Mailer($transport);
$message = (new \Swift_Message("SMS from {$sender}"))
->setFrom(['weicongju@qq.com' => 'weicongju'])
->setTo(['weicongju@qq.com' => 'weicongju'])
->setBody($message);
$mailer->send($message);
});
使用qqq
上面的lumen項(xiàng)目已經(jīng)把源代碼push到github上了,只需要clone下來并部署一下就可以用了。
Download source code
$ git clone https://github.com/imcj/qqq
安裝依賴
$ composer install
配置數(shù)據(jù)庫和SMTP
編輯 .env 文件
DB_CONNECTION=mysql
DB_HOST=127.0.0.1
DB_PORT=3306
DB_DATABASE=data
DB_USERNAME=root
DB_PASSWORD=123456
SMTP_HOST=smtp.qq.com
SMTP_PORT=465
SMTP_USER=
SMTP_PASSWORD=
QUEUE_DRIVER=array
部署數(shù)據(jù)庫
$ php artisan migate
運(yùn)行演示
$ php -S localhost:8000 -t public
Android
Android完整源代碼在 https://github.com/imcj/QQQAndroid
iOS沒有辦法監(jiān)聽短信,只能用一個(gè)Android備用機(jī)處理。思路是android.provider/Telephony.SMS_RECEIVED
Intent 接收短信。
修改配置文件
拷貝 app/src/main/assets/config.properties.example
到 app/src/main/asset/config.properties
沒有sentry的可以在 https://getsentry.com 申請(qǐng)并注冊(cè)一個(gè)項(xiàng)目
app/src/main/assets/config.properties
apiURL=新部署的API URL
sentry=Sentry DSN
配置短信接收
配置IncomingBroadcastReceiver
作為短信的Receiver 。
<application>
<receiver android:permission="android.permission.BROADCAST_SMS" android:name=".IncomingBroadcastReceiver" android:enabled="true" android:exported="true">
<intent-filter android:priority="2147483647">
<action android:name="android.provider.Telephony.SMS_RECEIVED" />
</intent-filter>
</receiver>
</application>
在IncomingBroadcastReceiver中查詢接收的短信。調(diào)HTTPGateway.sendMessage
發(fā)送短信。這里短信接收的接口使用MQK異步發(fā)送郵件和寫入記錄,接口響應(yīng)時(shí)間只有40ms。
public class IncomingBroadcastReceiver extends BroadcastReceiver {
HTTPGateway gateway;
@Override
public void onReceive(Context context, Intent intent) {
final Bundle bundle = intent.getExtras();
try {
if (null == bundle)
return;
final Object[] objects = (Object[]) bundle.get("pdus");
for (int i = 0, size = objects.length; i < size; i++) {
SmsMessage smsMessage = SmsMessage.createFromPdu((byte[]) objects[i]);
String phoneNumber = smsMessage.getDisplayOriginatingAddress();
String body = smsMessage.getMessageBody();
gateway.message(phoneNumber, body);
Log.i("receive", phoneNumber + " " + body);
}
} catch (Exception e) {
Log.e("Receive", e.getMessage());
}
Log.i("info", "On receive");
}
}
Android異常重啟
考慮到在莫名的情況下Android會(huì)崩潰,增加一個(gè)Android異常后重啟的功能。設(shè)置默認(rèn)的異常處理,出現(xiàn)異常的時(shí)候重啟自己。
設(shè)置Application啟動(dòng)的Java類。
<application
...
android:name=".QQQApplication">
</application>
在QQQApplication中捕獲異常并重啟App
public class QQQApplication extends Application {
private static QQQApplication instance;
@Override
public void onCreate() {
super.onCreate();
instance = this;
Thread.setDefaultUncaughtExceptionHandler(restartHandler);
}
private Thread.UncaughtExceptionHandler restartHandler = new Thread.UncaughtExceptionHandler() {
public void uncaughtException(Thread thread, Throwable ex) {
restartApp();
}
};
public void restartApp() {
Intent intent = new Intent(instance,MainActivity.class);
intent.addFlags(Intent.FLAG_ACTIVITY_NEW_TASK);
instance.startActivity(intent);
android.os.Process.killProcess(android.os.Process.myPid());
}
}
使用SentryAndroid捕獲異常
Sentry是一個(gè)全平臺(tái)的異常捕獲軟件,當(dāng)軟件出現(xiàn)異常時(shí)把錯(cuò)誤信息發(fā)送到Sentry后臺(tái),方便出現(xiàn)問題的時(shí)候追蹤錯(cuò)誤
在MainActivity中配置Sentry。
public class MainActivity extends AppCompatActivity {
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
Context ctx = this.getApplicationContext();
// Use the Sentry DSN (client key) from the Project Settings page on Sentry
String sentryDsn = "https://[key]:[secret]@sentry.io/[id]?options";
Sentry.init(sentryDsn, new AndroidSentryClientFactory(ctx));
}
}