PySpark StructType 和 StructField 类用于以编程方式指定 DataFrame 的据类schema并创建复杂的列，如嵌套结构、型定数组和映射列。据类StructType是型定StructField的集合，它定义了列名、据类列数据类型、型定布尔值以指定字段是据类否可以为空以及元数据。
目录
PySpark 提供从pyspark.sql.types import StructType类来定义 DataFrame 的结构。其中，据类StructType 是 StructField 对象的集合或列表。
DataFrame 上的 PySpark printSchema()方法将 StructType 列显示为struct。
DataFrame.printSchema()PySpark 提供pyspark.sql.types import StructField类来定义列，包括列名（String）、列类型（DataType）、可空列（Boolean）和元数据（MetaData）。
在创建 PySpark DataFrame 时，我们可以使用 StructType 和 StructField 类指定结构。StructType 是 StructField 的集合，用于定义列名、数据类型和是否可为空的标志。使用 StructField 我们还可以添加嵌套结构模式、用于数组的 ArrayType 和用于键值对的 MapType ，我们将在后面的部分中详细讨论。
下面的示例演示了一个非常简单的示例，说明如何在 DataFrame 上创建 StructType 和 StructField 以及它与示例数据一起使用来支持它。
import pysparkfrom pyspark.sql import SparkSessionfrom pyspark.sql.types import StructType,StructField, StringType, IntegerTypespark = SparkSession.builder.master("local[1]") \ .appName('SparkByExamples.com') \ .getOrCreate()data = [("James","","Smith","36636","M",3000), ("Michael","Rose","","40288","M",4000), ("Robert","","Williams","42114","M",4000), ("Maria","Anne","Jones","39192","F",4000), ("Jen","Mary","Brown","","F",-1) ]schema = StructType([ \ StructField("firstname",StringType(),True), \ StructField("middlename",StringType(),True), \ StructField("lastname",StringType(),True), \ StructField("id", StringType(), True), \ StructField("gender", StringType(), True), \ StructField("salary", IntegerType(), True) \ ]) df = spark.createDataFrame(data=data,schema=schema)df.printSchema()df.show(truncate=False)通过运行上面的代码片段，它会显示在下面的输出中。
root |-- firstname: string (nullable = true) |-- middlename: string (nullable = true) |-- lastname: string (nullable = true) |-- id: string (nullable = true) |-- gender: string (nullable = true) |-- salary: integer (nullable = true)+---------+----------+--------+-----+------+------+|firstname|middlename|lastname|id |gender|salary|+---------+----------+--------+-----+------+------+|James | |Smith |36636|M |3000 ||Michael |Rose | |40288|M |4000 ||Robert | |Williams|42114|M |4000 ||Maria |Anne |Jones |39192|F |4000 ||Jen |Mary |Brown | |F |-1 |+---------+----------+--------+-----+------+------+在处理 DataFrame 时，我们经常需要使用嵌套的结构列，这可以使用 StructType 来定义。
在下面的示例列中，“name” 数据类型是嵌套的 StructType。
structureData = [ (("James","","Smith"),"36636","M",3100), (("Michael","Rose",""),"40288","M",4300), (("Robert","","Williams"),"42114","M",1400), (("Maria","Anne","Jones"),"39192","F",5500), (("Jen","Mary","Brown"),"","F",-1) ]structureSchema = StructType([ StructField('name', StructType([ StructField('firstname', StringType(), True), StructField('middlename', StringType(), True), StructField('lastname', StringType(), True) ])), StructField('id', StringType(), True), StructField('gender', StringType(), True), StructField('salary', IntegerType(), True) ])df2 = spark.createDataFrame(data=structureData, schema=structureSchema)df2.printSchema()df2.show(truncate=False)模式和 DataFrame 下方的输出。
root |-- name: struct (nullable = true) | |-- firstname: string (nullable = true) | |-- middlename: string (nullable = true) | |-- lastname: string (nullable = true) |-- id: string (nullable = true) |-- gender: string (nullable = true) |-- salary: integer (nullable = true)+--------------------+-----+------+------+|name |id |gender|salary|+--------------------+-----+------+------+|[James, , Smith] |36636|M |3100 ||[Michael, Rose, ] |40288|M |4300 ||[Robert, , Williams]|42114|M |1400 ||[Maria, Anne, Jones]|39192|F |5500 ||[Jen, Mary, Brown] | |F |-1 |+--------------------+-----+------+------+使用 PySpark SQL 函数 struct()，我们可以更改现有 DataFrame 的结构并向其添加新的 StructType。下面学习如何将列从一个结构复制到另一个结构并添加新列。PySpark Column 类还提供了一些函数来处理 StructType 列。
from pyspark.sql.functions import col,struct,whenupdatedDF = df2.withColumn("OtherInfo", struct(col("id").alias("identifier"), col("gender").alias("gender"), col("salary").alias("salary"), when(col("salary").cast(IntegerType()) < 2000,"Low") .when(col("salary").cast(IntegerType()) < 4000,"Medium") .otherwise("High").alias("Salary_Grade") )).drop("id","gender","salary")updatedDF.printSchema()updatedDF.show(truncate=False)在这里，它将 gender，salary 和 id 复制到新结构 otherInfo，并添加一个新列 Salary_Grade。
root |-- name: struct (nullable = true) | |-- firstname: string (nullable = true) | |-- middlename: string (nullable = true) | |-- lastname: string (nullable = true) |-- OtherInfo: struct (nullable = false) | |-- identifier: string (nullable = true) | |-- gender: string (nullable = true) | |-- salary: integer (nullable = true) | |-- Salary_Grade: string (nullable = false)SQL StructType 还支持 ArrayType 和 MapType 来分别为数组和地图集合定义 DataFrame 列。在下面的示例中，列hobbies定义为 ArrayType(StringType) ，列properties定义为 MapType(StringType, StringType)，表示键和值都为字符串。
arrayStructureSchema = StructType([ StructField('name', StructType([ StructField('firstname', StringType(), True), StructField('middlename', StringType(), True), StructField('lastname', StringType(), True) ])), StructField('hobbies', ArrayType(StringType()), True), StructField('properties', MapType(StringType(),StringType()), True) ])输出以下模式。注意字段 Hobbies 是 array类型，properties是 map类型。
root |-- name: struct (nullable = true) | |-- firstname: string (nullable = true) | |-- middlename: string (nullable = true) | |-- lastname: string (nullable = true) |-- hobbies: array (nullable = true) | |-- element: string (containsNull = true) |-- properties: map (nullable = true) | |-- key: string | |-- value: string (valueContainsNull = true)如果有太多列并且 DataFrame 的结构不时发生变化，一个很好的做法是从 JSON 文件加载 SQL StructType schema。可以使用 df2.schema.json() 获取 schema 并将其存储在文件中，然后使用它从该文件创建 schema。
print(df2.schema.json()){ "type" : "struct", "fields" : [ { "name" : "name", "type" : { "type" : "struct", "fields" : [ { "name" : "firstname", "type" : "string", "nullable" : true, "metadata" : { } }, { "name" : "middlename", "type" : "string", "nullable" : true, "metadata" : { } }, { "name" : "lastname", "type" : "string", "nullable" : true, "metadata" : { } } ] }, "nullable" : true, "metadata" : { } }, { "name" : "dob", "type" : "string", "nullable" : true, "metadata" : { } }, { "name" : "gender", "type" : "string", "nullable" : true, "metadata" : { } }, { "name" : "salary", "type" : "integer", "nullable" : true, "metadata" : { } } ]}或者也可以使用 df.schema.simpleString()返回一个相对简单的schema 格式。
现在让我们加载 json 文件并使用它来创建一个 DataFrame。
import jsonschemaFromJson = StructType.fromJson(json.loads(schema.json))df3 = spark.createDataFrame( spark.sparkContext.parallelize(structureData), schemaFromJson)df3.printSchema()这将打印与上一节相同的输出。还可以在逗号分隔的文件中为可为空的文件提供名称、类型和标志，我们可以使用这些以编程方式创建 StructType。
就像从 JSON 字符串中加载结构一样，我们也可以从 DLL 中创建结构（通过使用SQL StructType 类 StructType.fromDDL 上的 fromDDL()静态函数）。还可以使用 toDDL() 从模式生成 DDL。结构对象上的 printTreeString() 打印模式，类似于 printSchema() 函数返回的结果。
ddlSchemaStr = "`fullName` STRUCT<`first`: STRING, `last`: STRING, `middle`: STRING>,`age` INT,`gender` STRING" ddlSchema = StructType.fromDDL(ddlSchemaStr) ddlSchema.printTreeString()如果要对DataFrame的元数据进行一些检查，例如，DataFrame中是否存在列或字段或列的数据类型；我们可以使用 SQL StructType 和 StructField 上的几个函数轻松地做到这一点。
print(df.schema.fieldNames.contains("firstname"))print(df.schema.contains( StructField("firstname", StringType,true)))此示例在两种情况下都返回True。对于第二个，如果是 IntegerType 而不是 StringType，它会返回 False，因为名字列的数据类型是 String，因为它会检查字段中的每个属性。同样，还可以检查两个模式是否相等或更多。
import pysparkfrom pyspark.sql import SparkSessionfrom pyspark.sql.types import StructType,StructField, StringType, IntegerType,ArrayType,MapTypefrom pyspark.sql.functions import col,struct,whenspark = SparkSession.builder.master("local[1]") \ .appName('SparkByExamples.com') \ .getOrCreate()data = [("James","","Smith","36636","M",3000), ("Michael","Rose","","40288","M",4000), ("Robert","","Williams","42114","M",4000), ("Maria","Anne","Jones","39192","F",4000), ("Jen","Mary","Brown","","F",-1) ]schema = StructType([ StructField("firstname",StringType(),True), StructField("middlename",StringType(),True), StructField("lastname",StringType(),True), StructField("id", StringType(), True), StructField("gender", StringType(), True), StructField("salary", IntegerType(), True) ]) df = spark.createDataFrame(data=data,schema=schema)df.printSchema()df.show(truncate=False)structureData = [ (("James","","Smith"),"36636","M",3100), (("Michael","Rose",""),"40288","M",4300), (("Robert","","Williams"),"42114","M",1400), (("Maria","Anne","Jones"),"39192","F",5500), (("Jen","Mary","Brown"),"","F",-1) ]structureSchema = StructType([ StructField('name', StructType([ StructField('firstname', StringType(), True), StructField('middlename', StringType(), True), StructField('lastname', StringType(), True) ])), StructField('id', StringType(), True), StructField('gender', StringType(), True), StructField('salary', IntegerType(), True) ])df2 = spark.createDataFrame(data=structureData,schema=structureSchema)df2.printSchema()df2.show(truncate=False)updatedDF = df2.withColumn("OtherInfo", struct(col("id").alias("identifier"), col("gender").alias("gender"), col("salary").alias("salary"), when(col("salary").cast(IntegerType()) < 2000,"Low") .when(col("salary").cast(IntegerType()) < 4000,"Medium") .otherwise("High").alias("Salary_Grade") )).drop("id","gender","salary")updatedDF.printSchema()updatedDF.show(truncate=False)""" Array & Map"""arrayStructureSchema = StructType([ StructField('name', StructType([ StructField('firstname', StringType(), True), StructField('middlename', StringType(), True), StructField('lastname', StringType(), True) ])), StructField('hobbies', ArrayType(StringType()), True), StructField('properties', MapType(StringType(),StringType()), True) ])在本文中，云朵君和大家一起学习了 SQL StructType、StructField 的用法，以及如何在运行时更改 Pyspark DataFrame 的结构，将案例类转换为模式以及使用 ArrayType、MapType。
责任编辑：武晓燕 来源： 数据STUDIO PySpark数据结构(责任编辑：热点)
“海基一号”平台主体工程海上安装完成 处于南海内波流主通道上
4月25日，中国海洋石油集团有限公司发布消息，由我国自主设计建造的亚洲第一深水导管架平台——“海基一号”平台主体工程海上安装完成，标志着我国深水超大型导
...[详细]
VR看房到底是噱头还是新爆点曾经是个争议不断的话题。前两年VR风头正起的时候，许多企业争相加入地产VR市场，寻找机会。如今，VR产业已日渐成熟，而地产VR也进入了行业细分的阶段，身处其中的企业该如何自
...[详细]不吹不黑！年均PUE 1.1的百度首个自建超大型数据中心是什么水平？
雷锋网按：在百度上搜索“百度”会搜到什么，搜索、网盘、地图、百科、知道、图片等等，这些C端的应用构成了普通用户对百度的固有印象，但少有人了解，支撑百度等大型互联网公司数以亿计用户使用的C端应用背后，互
...[详细]
自2015年起，笔者有幸参与了群晖在中国大陆地区举办的所有发布会，也见证了更适合所有用户的群晖操作系统DSM 6.0的发布，见证了群晖从存储管理逐渐转向协同、同步、共享等存储应用的实践，以及与阿里云等
...[详细]鹰君(00041.HK)授出499万份购股期权 惟须待承受人接纳方可作实
鹰君(00041.HK)宣布，于2021年3月18日，根据公司购股期权计划，按行使价每股28.45港元，授出499万份购股期权，惟须待承受人接纳方可作实。已授出的499万份购股期权中，169.2万份购
...[详细]
失望总是难免的，不过有时候有失才有得，虽然今天要回程，计划的行程也已经走完了，但是时间还有富裕，所以我们临时决定去不远的盐田鹅湾红树林，一个拍完后我觉得是此次拍摄最美的滩涂。【PChome影像行摄频道
...[详细]三星终于发布AI处理器Exynos9820迎战苹果、华为，但用的是8nm工艺
雷锋网消息，三星今天发布Exynos9系列处理器新品Exynos9820，最受关注的莫过于其首次集成了NPU。关于这款处理器此前已有所曝光，不过，Exynos9820并未采用传言中的7nm EUV，而
...[详细]
未来的手机行业会是大集团 + 副牌的战争了，细分市场独立品牌也的确机会不大了。11 月 19 日晚间九点半，魅族科技高级副总裁李楠在知乎表达了自己的上述观点。就在李楠发声前的几个小时里，小米刚刚发布了
...[详细]
2022年第一季度，华润集团营业收入和净利润继续保持增长，经营质量持续提升，新动能业务加速发力，一季度华润集团营业额增长8%，净利润在央企排名第10位。今年以来，华润集团坚持稳字当头、稳中求进总基调，
...[详细]7nm Vega20香归香，但AMD需要的除了新制程，更重要的是新架构
雷锋网消息，作为今天凌晨Next Horizon活动的一部分，AMD正式公布了基于7nm Vega20 GPU的两款加速卡，分别为Radeon Instinct MI60和Radeon Instinc
...[详细]
网商贷怎么才能有额度 增加支付宝账户活跃度有用吗？
工信部公布2018人工智能创新项目 云从科技布局AI芯片
AI企业标配服务器诞生！FP5295G2即将问世
好未来发布教育开放平台，战略转型意图凸显
恒嘉融资租赁(00379.HK)预计年度亏损扩大至3亿
