Java教程

Spark SQL（一）DataFrame对string类型列进行加1操作

本文主要是介绍Spark SQL（一）DataFrame对string类型列进行加1操作，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

代码如下：

package com.github.ralgond.sparkjavaapi.sql;

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

import static org.apache.spark.sql.functions.col;


public class Sql {

	public static void main(String args[]) {
		SparkSession spark = SparkSession.builder().getOrCreate();
		
		Dataset<Row> df = spark.read().json("examples/src/main/resources/people.json");
		df.show();
		df.select(col("name").plus(1)).show();
	}
}

这段代码的结果是：

+----+-------+
| age|   name|
+----+-------+
|null|Michael|
|  30|   Andy|
|  19| Justin|
+----+-------+

+----------+
|(name + 1)|
+----------+
|      null|
|      null|
|      null|
+----------+

Spark SQL发现正要处理的对象的值不是数值类型时，并不会报错，也不会将1追加到字符串后面（比如Andy1），而是设置结果为null。

这篇关于Spark SQL（一）DataFrame对string类型列进行加1操作的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！
您可能喜欢
栏目导航