1、端口指南
https://blog.csdn.net/u011563666/article/details/79026114
用于 https服務的端口就是直接可以通過網址訪問的,比如
NameNode - http://localhost:9870 (原來是50070,改為了9870)
ResourceManager - http://localhost:8088
2、python權限
用python上傳文件到hadoop顯示沒有權限,直接在終端里面是可以操作的,查看了一下,hadoop文件價原本的權限是:
rw-r--r--,第一部分RW-代表當前用戶具有讀寫的權限。第二部分的R--代表當前用戶所在的用戶組中其他成員只有讀得權限,最后一個R--表示額外的其他用戶只有讀得權限。
所以用命令更改文件夾權限為rwx rwx rwx那么普通用戶就可以成功的訪問hdfs了,可以執行寫入hadoop 分布式文件系統。
https://blog.csdn.net/OldDirverHelpMe/article/details/90144986
3、mysql權限
mysql執行導出任務時,顯示報錯:
select * from top_value into outfile '/Users/ranmo/Desktop/數據分析案例/top_value.csv';
OS errno 13 - Permission denied
所以是權限問題:https://www.cnblogs.com/puloieswind/p/5845638.html
要么是導出目標文件夾沒有權限,要么是數據庫沒有權限。
用ls -l命令查看目標文件夾權限后,執行chmod -R 777 /Users/ranmo/Desktop/數據分析案例/ ,此時目標文件夾有權限但是仍舊無法導入。
推測是數據庫沒有權限,執行cd /usr/local/mysql/data/ 竟然都無法進去,用chmod -R 777 /usr/local/mysql/data/ 賦予權限也不行,只能采用手動前往目錄文件夾——顯示簡介—更改權限的方法人工調整,之后數據庫能進來了,但是也只有采用人工調整的辦法更改所有文件權限,更改之后:
(base) ranmodeiMac:data ranmo$ ls -l
total 338248
drwxrwxrwx 12 _mysql _mysql 408 7 23 23:51 #innodb_temp
-rw-r----- 1 _mysql _mysql 56 7 23 02:52 auto.cnf
-rw-r----- 1 _mysql _mysql 667 7 23 02:52 binlog.000001
-rw-r----- 1 _mysql _mysql 83865 7 23 20:26 binlog.000002
-rw-r----- 1 _mysql _mysql 178 7 23 23:40 binlog.000003
-rw-r----- 1 _mysql _mysql 178 7 23 23:44 binlog.000004
-rw-r----- 1 _mysql _mysql 178 7 23 23:48 binlog.000005
-rw-r----- 1 _mysql _mysql 178 7 23 23:51 binlog.000006
-rw-r----- 1 _mysql _mysql 155 7 23 23:51 binlog.000007
-rw-r----- 1 _mysql _mysql 112 7 23 23:51 binlog.index
-rw------- 1 _mysql _mysql 1676 7 23 02:52 ca-key.pem
-rw-r--r-- 1 _mysql _mysql 1112 7 23 02:52 ca.pem
-rw-r--r-- 1 _mysql _mysql 1112 7 23 02:52 client-cert.pem
-rw------- 1 _mysql _mysql 1676 7 23 02:52 client-key.pem
drwxrwxrwx 77 _mysql _mysql 2618 7 23 03:16 hive
-rw-r----- 1 _mysql _mysql 3858 7 23 23:51 ib_buffer_pool
-rw-r----- 1 _mysql _mysql 50331648 7 23 23:51 ib_logfile0
-rw-r----- 1 _mysql _mysql 50331648 7 23 02:52 ib_logfile1
-rw-r----- 1 _mysql _mysql 12582912 7 23 23:51 ibdata1
-rw-r----- 1 _mysql _mysql 12582912 7 23 23:51 ibtmp1
drwxrwxrwx 8 _mysql _mysql 272 7 23 02:52 mysql
-rw-r----- 1 _mysql _mysql 24117248 7 23 23:51 mysql.ibd
-rw-r----- 1 _mysql _mysql 7959 7 23 23:51 mysqld.local.err
-rw-r----- 1 _mysql _mysql 5 7 23 23:51 mysqld.local.pid
drwxrwxrwx 105 _mysql _mysql 3570 7 23 02:52 performance_schema
-rw------- 1 _mysql _mysql 1680 7 23 02:52 private_key.pem
-rw-r--r-- 1 _mysql _mysql 452 7 23 02:52 public_key.pem
-rw-r--r-- 1 _mysql _mysql 1112 7 23 02:52 server-cert.pem
-rw------- 1 _mysql _mysql 1676 7 23 02:52 server-key.pem
drwxrwxrwx 3 _mysql _mysql 102 7 23 02:52 sys
-rw-r----- 1 _mysql _mysql 11534336 7 23 23:51 undo_001
-rw-r----- 1 _mysql _mysql 11534336 7 23 23:40 undo_002
幾個庫,包括hive庫是全權限啊,然而還是無法導出。。。
最后參考這個辦法,成功了:
https://blog.csdn.net/zx1245773445/article/details/82316268
http://www.360doc.com/content/15/1231/20/1073512_524491459.shtml
所以其實還是數據庫權限問題,只能先導出到臨時目錄,再進行轉換了。
4、shell中操作mysql問題:
https://blog.csdn.net/long12310225/article/details/77521957
在shell中進入mysql然后單獨執行sql語句沒有任何問題,最后也可以用quit;退出,
但是如果是執行sh腳本,腳本中用eof執行sql語句的話,就不一樣了??。∫粋€是創建新表列名不能喊引號’,還有最后退出是exit 不是quit; ??目前遇到這些問題,可能之后還有更多問題。
5、mac shell定時
http://www.lxweimin.com/p/bc3441f88e36