flink streamWordCount demo

关注

原创最新推荐文章于 2023-12-20 21:14:35 发布 765 阅读 AI 写同款· GEO 优化 ›

Flink源码剖析：flink-examples-streaming 自带demo示例文章目录1.wordcount2.socket3.async4.iteration5.join6.sideoutput7.windowing7.1 session window7.2 count window7.2.1 slide count window7.2.2 tumble count window 本文主要分析下 Flink 源码中 flink-examples-streaming 模块，... 阅读详情

flink 的 wordCount 流式计算的demo

package com.hbn.wc

import org.apache.flink.api.scala._
import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment}

object StreamWordCount {

  def main(args: Array[String]): Unit = {


    val  env:StreamExecutionEnvironment = StreamExecutionEnvironment.createLocalEnvironment()
    //  并行度
    env.setParallelism(8)

    val inputStream:DataStream[String] = env.socketTextStream("localhost",7777)

    val  result :DataStream[(String,Int)] = inputStream
      .flatMap(_.split(" "))
      .filter( _.nonEmpty)
      .map((_,1))
      .keyBy(0)  //  以  第一个 字段 分组
      .sum(1)   //  以 第二个 字段 求和


    result.print()

    env.execute("stream word  count  job")


  }


}

启动后执行结果如图所示

5> (you,1)
8> (ok,1)
4> (are,1)
6> (how,1)
5> (you,2)
4> (are,2)
5> (fine,1)
3> (hello,1)
7> (flink,1)
3> (hello,2)
2> (saprk,1)
3> (hello,3)

收录于

flink

标签

#flink

本内容遵循 CC 4.0 BY-SA 版权协议

Flink实现WordCount（实操详细步骤）本文使用 Flink 的两种方式实现 WordCount 基于流计算基于批计算文章目录1. Idea 新建 Maven 项目并配置以下依赖2. 实现代码及详细注释2.1 Flink 基于流计算实现 WordCount2.2 Flink 基于批计算实现 WordCount2.3 附件：完整代码先说一下我的环境： Flink 1.9 开发工具：Idea Maven版本：3.3.9 Linux：CentOS 7 演示语言：Scala 2.11 1. Idea 新建 Maven 项目并配置以下依赖 &lt 阅读详情

flink streamWordCount demo

相关推荐