flink on k8s

按照最新的1.11.0版本官方文檔裝的，中間有些修改，裝完后運行了下wordcount是可以運行的，但是web界面任務狀態刷不出來，有些異常

官網地址：

https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/kubernetes.html

kubectl apply 以下幾個文件

flink配置文件

flink-configuration-configmap.yaml

apiVersion: v1

kind: ConfigMap

metadata:

? name: flink-config

? labels:

? ? app: flink

data:

? flink-conf.yaml: |+

? ? jobmanager.rpc.address: flink-jobmanager

? ? taskmanager.numberOfTaskSlots: 20

? ? blob.server.port: 6124

? ? jobmanager.rpc.port: 6123

? ? taskmanager.rpc.port: 6122

? ? queryable-state.proxy.ports: 6125

? ? jobmanager.memory.process.size: 1600m

? ? taskmanager.memory.process.size: 18000m

? ? parallelism.default: 2

? ? classloader.resolve-order: child-first

? log4j-console.properties: |+

? ? # This affects logging for both user code and Flink

? ? rootLogger.level = INFO

? ? rootLogger.appenderRef.console.ref = ConsoleAppender

? ? rootLogger.appenderRef.rolling.ref = RollingFileAppender

? ? # Uncomment this if you want to _only_ change Flink's logging

? ? #logger.flink.name = org.apache.flink

? ? #logger.flink.level = INFO

? ? # The following lines keep the log level of common libraries/connectors on

? ? # log level INFO. The root logger does not override this. You have to manually

? ? # change the log levels here.

? ? logger.akka.name = akka

? ? logger.akka.level = INFO

? ? logger.kafka.name= org.apache.kafka

? ? logger.kafka.level = INFO

? ? logger.hadoop.name = org.apache.hadoop

? ? logger.hadoop.level = INFO

? ? logger.zookeeper.name = org.apache.zookeeper

? ? logger.zookeeper.level = INFO

? ? # Log all infos to the console

? ? appender.console.name = ConsoleAppender

? ? appender.console.type = CONSOLE

? ? appender.console.layout.type = PatternLayout

? ? appender.console.layout.pattern = %d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n

? ? # Log all infos in the given rolling file

? ? appender.rolling.name = RollingFileAppender

? ? appender.rolling.type = RollingFile

? ? appender.rolling.append = false

? ? appender.rolling.fileName = ${sys:log.file}

? ? appender.rolling.filePattern = ${sys:log.file}.%i

? ? appender.rolling.layout.type = PatternLayout

? ? appender.rolling.layout.pattern = %d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n

? ? appender.rolling.policies.type = Policies

? ? appender.rolling.policies.size.type = SizeBasedTriggeringPolicy

? ? appender.rolling.policies.size.size=100MB

? ? appender.rolling.strategy.type = DefaultRolloverStrategy

? ? appender.rolling.strategy.max = 10

? ? # Suppress the irrelevant (wrong) warnings from the Netty channel handler

? ? logger.netty.name = org.apache.flink.shaded.akka.org.jboss.netty.channel.DefaultChannelPipeline

? ? logger.netty.level = OFF

? log4j-cli.properties: |+

? ? log4j.rootLogger=INFO, file

? ? #Log all infos in the given file

? ? log4j.appender.file=org.apache.log4j.FileAppender

? ? log4j.appender.file.file=${log.file}

? ? log4j.appender.file.append=false

? ? log4j.appender.file.layout=org.apache.log4j.PatternLayout

? ? log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n

? ? # Log output from org.apache.flink.yarn to the console. This is used by the

? ? # CliFrontend class when using a per-job YARN cluster.

? ? log4j.logger.org.apache.flink.yarn=INFO, console

? ? log4j.logger.org.apache.flink.yarn.cli.FlinkYarnSessionCli=INFO, console

? ? log4j.logger.org.apache.hadoop=INFO, console


? ? log4j.appender.console=org.apache.log4j.ConsoleAppender

? ? log4j.appender.console.layout=org.apache.log4j.PatternLayout

? ? log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n


? ? # suppress the warning that hadoop native libraries are not loaded (irrelevant for the client)

? ? log4j.logger.org.apache.hadoop.util.NativeCodeLoader=OFF


? ? # suppress the irrelevant (wrong) warnings from the netty channel handler

? ? log4j.logger.org.apache.flink.shaded.akka.org.jboss.netty.channel.DefaultChannelPipeline=ERROR, file

? log4j.properties: |+

? ? log4j.rootLogger=INFO, file

? ? log4j.logger.akka=INFO

? ? log4j.logger.org.apache.kafka=INFO

? ? log4j.logger.org.apache.hadoop=INFO

? ? log4j.logger.org.apache.zookeeper=INFO

? ? log4j.appender.file=org.apache.log4j.FileAppender

? ? log4j.appender.file.file=${log.file}

? ? log4j.appender.file.layout=org.apache.log4j.PatternLayout

? ? log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n

? ? log4j.logger.org.apache.flink.shaded.akka.org.jboss.netty.channel.DefaultChannelPipeline=ERROR, file

jobmanager外部端口service

jobmanager-rest-service.yaml

apiVersion: v1

kind: Service

metadata:

? name: flink-jobmanager-rest

spec:

? type: NodePort

? ports:

? - name: rest

? ? port: 8081

? ? targetPort: 8081

? ? nodePort: 30081

? selector:

? ? app: flink

? ? component: jobmanager

jobmanager通信service

jobmanager-service.yaml

apiVersion: v1

kind: Service

metadata:

? name: flink-jobmanager

spec:

? type: ClusterIP

? ports:

? - name: rpc

? ? port: 6123

? - name: blob-server

? ? port: 6124

? - name: webui

? ? port: 8081

? selector:

? ? app: flink

? ? component: jobmanager

taskmanager外部端口service

taskmanager-query-stat-service.yaml

apiVersion: v1

kind: Service

metadata:

? name: flink-taskmanager-query-state

spec:

? type: NodePort

? ports:

? - name: query-state

? ? port: 6125

? ? targetPort: 6125

? ? nodePort: 30025

? selector:

? ? app: flink

? ? component: taskmanager

taskmanager會話

taskmanager-session-deployment.yaml

apiVersion: apps/v1

kind: Deployment

metadata:

? name: flink-taskmanager

spec:

? replicas: 3

? selector:

? ? matchLabels:

? ? ? app: flink

? ? ? component: taskmanager

? template:

? ? metadata:

? ? ? labels:

? ? ? ? app: flink

? ? ? ? component: taskmanager

? ? spec:

? ? ? containers:

? ? ? - name: taskmanager

? ? ? #? image: flink:1.7.2-scala_2.11

? ? ? ? image: 172.16.22.162:5000/myflink:v2

? ? ? ? args: ["taskmanager"]

? ? ? ? ports:

? ? ? ? - containerPort: 6121

? ? ? ? ? name: data

? ? ? ? - containerPort: 6122

? ? ? ? ? name: rpc

? ? ? ? - containerPort: 6125

? ? ? ? ? name: query-state

? ? ? ? livenessProbe:

? ? ? ? ? tcpSocket:

? ? ? ? ? ? port: 6122

? ? ? ? ? initialDelaySeconds: 30

? ? ? ? ? periodSeconds: 60

? ? ? ? volumeMounts:

? ? ? ? - name: flink-config-volume

? ? ? ? ? mountPath: /opt/flink/conf/

? ? ? ? securityContext:

? ? ? ? ? runAsUser: 9999? # refers to user _flink_ from official flink image, change if necessary

? ? ? ? env:

? ? ? volumes:

? ? ? - name: flink-config-volume

? ? ? ? configMap:

? ? ? ? ? name: flink-config

? ? ? ? ? items:

? ? ? ? ? - key: flink-conf.yaml

? ? ? ? ? ? path: flink-conf.yaml

? ? ? ? ? - key: log4j-console.properties

? ? ? ? ? ? path: log4j-console.properties

? ? ? ? ? - key: log4j-cli.properties

? ? ? ? ? ? path: log4j-cli.properties

? ? ? ? ? - key: log4j.properties

? ? ? ? ? ? path: log4j.properties

jobmanager會話

jobmanager-session-deployment.yaml

apiVersion: apps/v1

kind: Deployment

metadata:

? name: flink-jobmanager

spec:

? replicas: 1

? selector:

? ? matchLabels:

? ? ? app: flink

? ? ? component: jobmanager

? template:

? ? metadata:

? ? ? labels:

? ? ? ? app: flink

? ? ? ? component: jobmanager

? ? spec:

? ? ? containers:

? ? ? - name: jobmanager

? ? ? #? image: flink:1.7.2-scala_2.11

? ? ? ? image: 172.16.22.162:5000/myflink:v2

#? ? ? ? command: ['chown -R flink:flink /']

? ? ? ? args: ["jobmanager"]

#? ? ? ? command: ["chown -R flink:flink /opt/flink"]

? ? ? ? ports:

? ? ? ? - containerPort: 6123

? ? ? ? ? name: rpc

? ? ? ? - containerPort: 6124

? ? ? ? ? name: blob-server

? ? ? ? - containerPort: 8081

? ? ? ? ? name: webui

? ? ? ? livenessProbe:

? ? ? ? ? tcpSocket:

? ? ? ? ? ? port: 6123

? ? ? ? ? initialDelaySeconds: 30

? ? ? ? ? periodSeconds: 60

? ? ? ? volumeMounts:

? ? ? ? - name: flink-config-volume

? ? ? ? ? mountPath: /opt/flink/conf

? ? ? ? securityContext:

? ? ? ? ? runAsUser: 9999? # refers to user _flink_ from official flink image, change if necessary

? ? ? volumes:

? ? ? - name: flink-config-volume

? ? ? ? configMap:

? ? ? ? ? name: flink-config

? ? ? ? ? items:

? ? ? ? ? - key: flink-conf.yaml

? ? ? ? ? ? path: flink-conf.yaml

? ? ? ? ? - key: log4j-console.properties

? ? ? ? ? ? path: log4j-console.properties

? ? ? ? ? - key: log4j-cli.properties

? ? ? ? ? ? path: log4j-cli.properties

? ? ? ? ? - key: log4j.properties

? ? ? ? ? ? path: log4j.properties

kubectl apply -f?flink-configuration-configmap.yaml

kubectl apply -f jobmanager-service.yaml

kubectl apply -f?jobmanager-rest-service.yaml

kubectl apply -f?taskmanager-query-stat-service.yaml

kubectl apply -f?jobmanager-session-deployment.yaml

kubectl apply -f taskmanager-session-deployment.yaml

去nodeport端口30081訪問即可

最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發布，文章內容僅代表作者本人觀點，簡書系信息發布平臺，僅提供信息存儲服務。
  • 人面猴
    序言：七十年代末，一起剝皮案震驚了整個濱河市，隨后出現的幾起案子，更是在濱河造成了極大的恐慌，老刑警劉巖，帶你破解...
    沈念sama閱讀 228,739評論 6贊 534
  • 死咒
    序言：濱河連續發生了三起死亡事件，死亡現場離奇詭異，居然都是意外死亡，警方通過查閱死者的電腦和手機，發現死者居然都...
    沈念sama閱讀 98,634評論 3贊 419
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人，你說我怎么就攤上這事。” “怎么了？”我有些...
    開封第一講書人閱讀 176,653評論 0贊 377
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵，是天一觀的道長。 經常有香客問我，道長，這世上最難降的妖魔是什么？ 我笑而不...
    開封第一講書人閱讀 63,063評論 1贊 314
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任，我火速辦了婚禮，結果婚禮上，老公的妹妹穿的比我還像新娘。我一直安慰自己，他們只是感情好，可當我...
    茶點故事閱讀 71,835評論 6贊 410
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布。 她就那樣靜靜地躺著，像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上，一...
    開封第一講書人閱讀 55,235評論 1贊 324
  • 城市分裂傳說
    那天，我揣著相機與錄音，去河邊找鬼。 笑死，一個胖子當著我的面吹牛，可吹牛的內容都是我干的。 我是一名探鬼主播，決...
    沈念sama閱讀 43,315評論 3贊 442
  • 雙鴛鴦連環套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了？” 一聲冷哼從身側響起，我...
    開封第一講書人閱讀 42,459評論 0贊 289
  • 萬榮殺人案實錄
    序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎，沒想到半個月后，有當地人在樹林里發現了一具尸體，經...
    沈念sama閱讀 49,000評論 1贊 335
  • ?護林員之死
    正文 獨居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,819評論 3贊 355
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年，在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,004評論 1贊 370
  • 活死人
    序言：一個原本活蹦亂跳的男人離奇死亡，死狀恐怖，靈堂內的尸體忽然破棺而出，到底是詐尸還是另有隱情，我是刑警寧澤，帶...
    沈念sama閱讀 38,560評論 5贊 362
  • ?日本核電站爆炸內幕
    正文 年R本政府宣布，位于F島的核電站，受9級特大地震影響，放射性物質發生泄漏。R本人自食惡果不足惜，卻給世界環境...
    茶點故事閱讀 44,257評論 3贊 347
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧，春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,676評論 0贊 26
  • 一樁弒父案，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至，卻和暖如春，著一層夾襖步出監牢的瞬間，已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,937評論 1贊 288
  • 情欲美人皮
    我被黑心中介騙來泰國打工， 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人。 一個月前我還...
    沈念sama閱讀 51,717評論 3贊 393
  • 代替公主和親
    正文 我出身青樓，卻偏偏與公主長得像，于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當晚...
    茶點故事閱讀 48,003評論 2贊 374