本文是學習《貝葉斯方法 概率編程與貝葉斯推斷》重點參考了這個教程

import numpy as np
import pymc3 as pm
import matplotlib.pyplot as plt
import os

# 加載數據并且展示
count_data=np.loadtxt("data/txtdata.csv")
plt.figure(figsize=(12.5,3.5))
n_count_data=len(count_data)
plt.bar(np.arange(n_count_data),count_data,color="#348ABD")
plt.xlabel("days")
plt.ylabel("number of messages")
plt.title("did the model change?")
plt.xlim(0,n_count_data)
plt.show()

bayesian_opitimization_2_0.png

初步假設，在時間之前短信數量服從泊松分布,在時間之后短信數量服從泊松分布.這樣就有了三個參數，，，我們的目標呢就是根據證據給出這三個參數的概率分布。（注意！是參數的概率分布！！這是貝葉斯推斷的核心！！）
為了進行推斷呢，我們首先給這三個參數一個初始的先驗分布，因為先驗分布是要根據證據不斷更新的，相當于一個初始值，會在后續的調整中不斷地接近真實值，所以我們先驗可以給的隨意一些。是個離散值，最常見是用一個離散的均勻分布就完事了，，是連續值，我們用一個指數分布。有人就說啦，憑啥呀？為啥用這些做先驗呢？沒有憑啥，我們只是想給一個先驗分布而已，你要是想用別的分布完全也可以，甚至，你可以不用已知的分布，直接一個個值的指定，也沒毛病，自創一個分布。都行。

接下來的東西呢，為了方便編程，我們用到了Pymc3這個庫，這是一個專門針對概率相關問題進行編程的庫。還是那句話，用了方便，不用也行

# 先驗分布
with pm.Model() as model:
    alpha=1.0/count_data.mean() 
    lambda_1=pm.Exponential("lambda_1",alpha)
    lambda_2=pm.Exponential("lambda_2",alpha)
    tau=pm.DiscreteUniform("tau",lower=0,upper=n_count_data)
    # get likelihood
    lbds=np.zeros(n_count_data)
    lbds[:tau]=lambda_1
    lbds[tau:]=lambda_2
    target=pm.Poisson("target",observed=lbds)

# 學習方法1： MAP。返回的是一個參數的數值，而不是分布！ 這玩意就是極大似然求導吧（不是，要區分MLE和MAP），但是這個tau是怎么求出來的，不可導吧。 參考這篇文章https://zhuanlan.zhihu.com/p/40024110
map_estimate=pm.find_MAP(model=model)
print(map_estimate)

{'lambda_1_log__': array(-9.1772865), 'lambda_2_log__': array(-9.1772865), 'tau': array(37), 'lambda_1': array(0.00010336), 'lambda_2': array(0.00010336)}

# 學習方法2：MCMC
import arviz as az
with model:
    trace=pm.sample(500,return_inferencedata=False)
    az.plot_trace(trace)
    display(az.summary(trace,round_to=2))

Multiprocess sampling (4 chains in 4 jobs)
CompoundStep
>NUTS: [lambda_2, lambda_1]
>Metropolis: [tau]







Sampling 4 chains for 1_000 tune and 500 draw iterations (4_000 + 2_000 draws total) took 10 seconds.
There was 1 divergence after tuning. Increase `target_accept` or reparameterize.
The number of effective samples is smaller than 25% for some parameters.

bayesian_opitimization_6_4.png