解决办法：这种问题在Spark Sql或者Flink Sql中，最常见的办法就是直接过滤掉。在实际中，遇到的情况会非常多，则我们可以自定义一个UDF，这个UDF的作用就是用来处理null或者空字符串或者其他各种异常情况的。
该异常几乎都是由于程序业务逻辑有误，或者数据流里存在未处理好的脏数据导致的，继续向下追溯异常栈一般就可以看到具体的出错原因，比较常见的如POJO内有空字段，或者抽取事件时间的时间戳为null等。
业务系统的埋点代码时刻会产生一些分散的原始日志，可以用Flume监控接收这些分散的日志，实现分散日志的聚合，即采集。数据清洗：原始的日志，数据是千奇百怪的 一些字段可能会有异常取值，即脏数据。为了保证数据下游的数据分析统计能拿到比较高质量的数据，需要对这些记录进行过滤或者字段数据回填。
数据处理 获取数据，把数据处理成自己想要的东西。（3）形成报告 把数据分析的结果可视化，展现出来。
您好，大数据学习内容包括6个阶段：第一阶段 JavaSE基础核心 第二阶段 数据库关键技术 第三阶段 大数据基础核心 第四阶段 Spark生态体系框架&大数据高薪精选项目 第五阶段 Spark生态体系框架&企业无缝对接项目 第六阶段 Flink流式数据处理框架 您可以按照顺序学习，希望您早日学有所成。
老二C老四C++：这东西不是SPSS，stata，tableau，powerbi，excel，Echart，FineReport等强大的数据分析工具就可以解决了，都是用我们和老大开发的，干嘛还要写代码。 老三Py：我一把屠龙剑Pycharm，一把倚天剑anaconda，一个开发，一个数据分析，双剑合并，威力无敌。
前面的文章 使用Flink批处理完成数据比对（对账）二 讨论了使用Table API来处理数据比对的问题，但有些场景下还会有一些比较复杂的业务需求，如输出的时候要将两边的数据合并在一起输出，这个时候用Table API就不太好完成这样的需求了，这就需要借助底层的DataSet API和Process Function。
大数据技术框架的演变历程引领我们进入Flink的世界。作为分布式与高性能的流批处理框架，Flink凭借其基石技术如checkpoint、state、time和window，成为处理实时与持久数据的强大工具。流处理处理的是无界、实时的数据流，而批处理则针对有界、需要持久化的数据集。
Storm 实现了低延迟，还做不到高吞吐，也不能在故障发生时准确地处理计算状态；Spark Streaming通过采用微批处理方法实现了高吞吐和容错性，但是牺牲了低延迟和实时处理能力，也不能使窗口与自然时间相匹配，并且表现力欠佳。而flink就是目前为止的最佳答案。
在一次关于kafka+flink+doris的实时操作项目中，我们的目标是为某市医院构建一个统一的数据中心主索引，同时处理历史离线数据和增量实时数据，确保数据的实时性和准确性。
flink12版本中使用了flinksql，固定了groupid。但是因为重复上了两个相同任务之后，发现数据消费重复。下图sink中创建两个相同任务，会消费相同数据。两个任务同时处理，并没有在一个consume group里，所以不会共同消费。
kafka是一个具有数据保存、数据回放能力的消息队列，说白了就是kafka中的每一个数据，都有一个专门的标记作为标识。而在Flink消费kafka传入的数据的时候，source任务就能够将这个偏移量以算子状态的角色进行保存，写入到设定好的检查点中。
技术专栏从实战出发，通过基础介绍入门-环境搭建-项目实践，让初学者快速掌握Apache Doris分析型OLAP数据库开源产品。其中示例项目KFD演示通过Flink处理Kafka中的消息记录，处理之后的数据再写入到Kafka和Elasticsearch中，最后以Routine Load方式再将处理好的数据导入到Doris中。
1、消息队列的数据既是离线数仓的原始数据，也是实时计算的原始数据，这样可以保证实时和离线的原始数据是统一的。 计算层 Flink 有了源数据，在 计算层 经过Flink实时计算引擎做一些加工处理，然后落地到存储层中不同存储介质当中。
2、实时数据的接入其实在底层架构是一样的，就是从kafka那边开始不一样，实时用flink的UDTF进行解析，而离线是定时（目前是小时级）用camus拉到HDFS，然后定时load HDFS的数据到hive表里面去，这样来实现离线数据的接入。实时数据的接入是用flink解析kafka的数据，然后在次写入kafka当中去。
3、SmartNews的数据湖架构师戚清雨在Flink Forward Asia 2022大会上分享了他们构建的高效数据湖实践，这一创新性策略分为五个关键环节：数据湖构建、Iceberg v1的挑战与解决方案、实时更新优化、Iceberg v2的革命性突破，以及未来展望。
4、Libraries层：该层也可以称为Flink应用框架层，根据API层的划分，在API层之上构建的满足特定应用的计算框架，也分别对应于面向流处理和面向批处理两类。核心概念：Job Managers，Task Managers，Clients Flink也是典型的master-slave分布式架构。
1、Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行。
2、flink框架是什么 Apache Flink 是一个流处理和批处理的开源框架，它用于构建大规模数据流和离线处理应用程序。Flink 提供了一个高效的分布式计算引擎，能够在多核和集群环境中处理实时数据流，并且能够同时处理大规模数据集。
3、Flink其实就是Apache Flink，是一款业内非常火的大数据产品，由Apache软件基金会开发，核心是用Java和Scala编写的分布式流数据流引擎。Apache Flink是个旨在提供‘一站式’ 的分布式开源数据处理框架。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。
4、Flink是什么 Java Apache Flink是一个开源的分布式，高性能，高可用，准确的流处理框架。支持实时流处理和批处理。
5、Flink是一个基于流计算的分布式引擎，以前的名字叫stratosphere，从2010年开始在德国一所大学里发起，也是有好几年的 历史 了，2014年来借鉴了社区其它一些项目的理念，快速发展并且进入了Apache顶级孵化器，后来更名为Flink。
6、Flink是一个框架和分布式处理引擎，用于对无限制和有限制的数据留进行有状态的计算。Flink被设计为可在所有常见的集群环境中运行，以内存速度和任何规模执行计算。任何类型的数据都是作为事件流产生的。信用卡交易，传感器测量，机器日志或网站移动应用程序上的用户交互，所有这些数据均作为流生成。
