Flink 中 DataSet 的 Transformation 操作有哪些？-JavaScript中文网-JavaScript教程资源分享门户

本题详细解读

Map

Map 操作是对数据集中的每个元素应用一个函数，生成一个新的数据集。例如：

DataSet<Integer> numbers = // ...
DataSet<Integer> doubled = numbers.map(new MapFunction<Integer, Integer>() {
    @Override
    public Integer map(Integer value) {
        return value * 2;
    }
});

FlatMap

FlatMap 操作类似于 Map，但每个输入元素可以生成零个、一个或多个输出元素。例如：

// www.javascriptcn.com code example
DataSet<String> lines = // ...
DataSet<String> words = lines.flatMap(new FlatMapFunction<String, String>() {
    @Override
    public void flatMap(String value, Collector<String> out) {
        for (String word : value.split(" ")) {
            out.collect(word);
        }
    }
});

Filter

Filter 操作根据给定的条件过滤数据集中的元素。例如：

DataSet<Integer> numbers = // ...
DataSet<Integer> filtered = numbers.filter(new FilterFunction<Integer>() {
    @Override
    public boolean filter(Integer value) {
        return value > 10;
    }
});

Reduce

Reduce 操作对数据集中的元素进行聚合操作，生成一个单一的结果。例如：

DataSet<Integer> numbers = // ...
DataSet<Integer> sum = numbers.reduce(new ReduceFunction<Integer>() {
    @Override
    public Integer reduce(Integer value1, Integer value2) {
        return value1 + value2;
    }
});

GroupBy

GroupBy 操作根据指定的键对数据集进行分组。例如：

DataSet<Tuple2<String, Integer>> pairs = // ...
GroupedDataSet<Tuple2<String, Integer>> grouped = pairs.groupBy(0);

Join

Join 操作将两个数据集根据指定的键进行连接操作。例如：

DataSet<Tuple2<String, Integer>> set1 = // ...
DataSet<Tuple2<String, Integer>> set2 = // ...
DataSet<Tuple2<String, Integer>> joined = set1.join(set2).where(0).equalTo(0);

CoGroup

CoGroup 操作类似于 Join，但可以对两个数据集进行更复杂的操作。例如：

DataSet<Tuple2<String, Integer>> set1 = // ...
DataSet<Tuple2<String, Integer>> set2 = // ...
DataSet<Tuple2<String, Integer>> cogrouped = set1.coGroup(set2).where(0).equalTo(0);

Union

Union 操作将两个数据集合并为一个数据集。例如：

DataSet<Integer> set1 = // ...
DataSet<Integer> set2 = // ...
DataSet<Integer> unioned = set1.union(set2);

Distinct

Distinct 操作去除数据集中的重复元素。例如：

DataSet<Integer> numbers = // ...
DataSet<Integer> distinctNumbers = numbers.distinct();

Sort

Sort 操作对数据集中的元素进行排序。例如：

DataSet<Tuple2<String, Integer>> pairs = // ...
DataSet<Tuple2<String, Integer>> sorted = pairs.sortPartition(1, Order.ASCENDING).setParallelism(1);

Cross

Cross 操作对两个数据集进行笛卡尔积操作。例如：

DataSet<Integer> set1 = // ...
DataSet<Integer> set2 = // ...
DataSet<Tuple2<Integer, Integer>> crossed = set1.cross(set2);

Project

Project 操作从数据集中选择特定的字段。例如：

DataSet<Tuple3<Integer, String, Double>> tuples = // ...
DataSet<Tuple2<Integer, String>> projected = tuples.project(0, 1);

Aggregate

Aggregate 操作对数据集中的元素进行聚合操作，如求和、求平均值等。例如：

DataSet<Tuple2<String, Integer>> pairs = // ...
DataSet<Tuple2<String, Integer>> aggregated = pairs.groupBy(0).aggregate(Aggregations.SUM, 1);

Flink 中 DataSet 的 Transformation 操作有哪些？

推荐答案