1.主要模塊
class DbPool(object)：數(shù)據庫連接池類
class ThreadDb(DbPool)：多線程操作類
2.數(shù)據庫連接池PooledDB?
PooledDB 基本參數(shù)：
mincached : 最少的空閑連接數(shù)，如果空閑連接數(shù)小于這個數(shù)，Pool自動創(chuàng)建新連接;
maxcached : 最大的空閑連接數(shù)，如果空閑連接數(shù)大于這個數(shù)，Pool則關閉空閑連接;
maxconnections : 最大的連接數(shù);
blocking : 當連接數(shù)達到最大的連接數(shù)時，在請求連接的時候，如果這個值是True，請求連接的程序會一直等待，直到當前連接數(shù)小于最大連接數(shù)，如果這個值是False，會報錯;
更多的參數(shù)介紹請參考：https://blog.csdn.net/diuleilaomu/article/details/103278147
3，MySQL表結構如下圖:
4，全部代碼：
Code DbPool:
class DbPool(object):
????def __init__(self,db_type,config):
????self.__db_type = db_type
????if self.__db_type =='mysql':
????????db_creator = importlib.import_module('pymysql')
????elif self.__db_type =='sqlserver':
????????db_creator = importlib.import_module('pymssql')
????elif self.__db_type =='oracle':
????????db_creator = importlib.import_module('cx_Oracle')
????else:
????????raise Exception('unsupported database type ' +self.__db_type)
self.pool = PooledDB(
creator=db_creator,
? ? ? ? ? ? mincached=0,
? ? ? ? ? ? maxcached=6,
? ? ? ? ? ? maxconnections=12,
? ? ? ? ? ? blocking=True,
? ? ? ? ? ? ping=1,
? ? ? ? ? ? **config
)
def execute_query(self, sql, as_dict=True):
"""
? ? ? ? ? ? 查詢語句
? ? ? ? ? ? :paramsql:
? ? ? ? ? ? :paramas_dict:
? ? ? ? ? ? :return:
"""
? ? ? ? ? ? conn =None
? ? ? ? ? ? cur =None
? ? ? ? ? ? try:
conn =self.pool.connection()
cur = conn.cursor()
cur.execute(sql)
rst = cur.fetchall()
if rst:
if as_dict:
fields = [tup[0]for tupin cur._cursor.description]
return [dict(zip(fields, row))for rowin rst]
return rst
return rst
except Exception as e:
print('sql:[{}]meet error'.format(sql))
print(e.args[-1])
return ()
finally:
if conn:
conn.close()
if cur:
cur.close()
def execute_manay(self, sql, *args):
"""
? ? ? ? ? ? 執(zhí)行多條語句
? ? ? ? ? ? :paramsql:
? ? ? ? ? ? :paramdata:
? ? ? ? ? ? :return:
"""
? ? ? ? ? ? conn =None
? ? ? ? ? ? cur =None
? ? ? ? ? ? try:
conn =self.pool.connection()
cur = conn.cursor()
cur.executemany(sql, *args)
conn.commit()
return True
? ? ? ? ? ? except Exception as e:
print('[{}]meet error'.format(sql))
print(e.args[-1])
conn.rollback()
return False
? ? ? ? ? ? finally:
if conn:
conn.close()
if cur:
cur.close()
def execute(self, sql, *args):
"""
? ? ? ? 執(zhí)行多條語句
? ? ? ? :paramsql:
? ? ? ? :paramdata:
? ? ? ? :return:
"""
? ? ? ? conn =None
? ? ? ? cur =None
? ? ? ? try:
conn =self.pool.connection()
cur = conn.cursor()
cur.execute(sql, *args)
conn.commit()
return True
? ? ? ? except Exception as e:
print('[{}]meet error'.format(sql))
print(e.args[-1])
conn.rollback()
return False
? ? ? ? finally:
if conn:
conn.close()
if cur:
cur.close()
def execute_ai(self, **sql):
sqls=sql['sql']
parms=sql['param']
conn =None
? ? ? ? cur =None
? ? ? ? try:
conn =self.pool.connection()
cur = conn.cursor()
for iin range(len(sqls)):
sql1 = sqls[i]
print(sqls[i], parms[i])
if str(sql1).find("update") >=0 or str(sql1).find("delete") >=0:
if? parms[i]:
cur.execute(sql1, parms[i])
else:
cur.execute(sql1)
elif? str(sql1).lower().find("insert") >=0:
cur.executemany(sql1, parms[i])
conn.commit()
return True
? ? ? ? except Exception as e:
print('[{}]meet error'.format(sql))
print(e.args[-1])
conn.rollback()
return False
? ? ? ? finally:
if conn:
conn.close()
if cur:
cur.close()
Code ThreadDb:
import vthread
from Db.DbPoolimport DbPool
sys.path.append(os.path.abspath('%s/..' % sys.path[0]))
from Db.dbconfigimport *
pool_1 = vthread.pool(5, gqueue=1)
class ThreadDb(DbPool):
"多線程并發(fā)MySQL插入數(shù)據"
? ? def __init__(self,db_type,config):
super(ThreadDb, self).__init__(db_type,config)
self.data =self.getData()
self.mysql_delete()
? ? def getData(self):
#產生測試數(shù)據
? ? ? ? random_list =list(range(0,10000))
data = [('A'+str(i), 'B'+str(i),'C'+str(i),'D'+str(i))for iin random_list]
n=100
? ? ? ? result = [data[i:i+n]for iin range(0, len(data),n)]
return result
def mysql_delete(self):
st = time.time()
con =self.pool.connection()
cur = con.cursor()
sql ="TRUNCATE TABLE baike.test"
? ? ? ? cur.execute(sql)
con.commit()
cur.close()
con.close()
print("清空原數(shù)據.==>> 耗時:{}'s".format(round(time.time() - st, 3)))
@pool_1
? ? def mysql_insert(self, content):
sql ="INSERT INTO baike.test(sku, fnsku, asin, shopid) VALUES(%s, %s, %s, %s)"
? ? ? ? print(sql)
self.execute_manay(sql, content)
def mysql_update(self, content):
sql ="update? baike.test set sku=%s,fnsku=%s"
? ? ? ? print(sql)
self.execute(sql, content)
def task(self):
while self.data:
content =self.data.pop()
self.mysql_insert(content)
vthread.pool.wait(gqueue=1)
if __name__ =='__main__':
? ?threadb=ThreadDb('mysql',dbconfig)
? ?threadb.task()
5，小結
? ?DbPool類是數(shù)據庫池操作類，封裝了增刪改查的方法，里面有一個ai的方法主要作用是我們可以傳一個sql的list和sql的一個參數(shù)list，可以在一個事務里完成多個sql的操作，不過這個只在?mysql測試過，其它的類型可以參考修改。
? ?ThreadDb?類是一個多線程操作類，初始化里繼承了DbPool類,?大家可以修改線程個數(shù)。
歡迎交流！
