StarRocks Connector For Apache Flink 整合

我们看下 StarRocks 怎么和 Flink 通过 Connector 来整合。上图描绘了 Flink Connector 的整体情况，StarRocks 提供了 Source Connector。用户可以把 StarRocks 的表作为数据源，用 Flink 分布式的提取 StarRocks 的数据。可以用于跨机房的数据迁移，或者基于 Flink 做进一步复杂的分布式处理。

Sink Connector 主要是把 Flink 内存里的数据，走 StarRocks 的向量化导入接口，将实时的流数据高效的导入到 StarRocks。

之前客户为了实现 Flink 读 StarRocks 表，需要自己定制 Source，以 MySQL JDBC 的形式读取数据，BE 的数据最终需要单点抽上来，效率较差。

StarRocks 提供的 Source Connector，进行了分布式设计。先在 FE 找到对应的分片元数据信息，然后分布式的直接从存储层提取数据，整体的吞吐能力大大提升。

Sink Connector 的使用会比 Source 更多，借助 Flink 强大的流批一体处理能力，可以处理流式消息，也可以抽取 TP 数据库的数据，乃至于 Hive 数仓的数据。经过 Flink 的加工之后，通过 Sink Connector，走 Stream Load 接口，同步到 StarRocks。

这里举个部分列更新的例子，原来有“101，Tom，80”的记录。现在需要追加一些新的数据，并做数据更新。目标是要把 101 的 Tom 改为 Lily。我们看到，对于接口侧，只需要指定主键 id 列和需要更新的 name 列，按照正常数据导入的形式导入就行。

在 Flink-Connector 配置也非常简单，和 Stream Load 接口用法一致，只需要启用 partial_update，然后指定数据的列名就可以了。