Hive 中如何创建外部表？

推荐答案

在 Hive 中创建外部表的语法如下：

// www.javascriptcn.com code example
CREATE EXTERNAL TABLE IF NOT EXISTS table_name (
    column1_name column1_type,
    column2_name column2_type,
    ...
)
COMMENT 'table_comment'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE
LOCATION 'hdfs_path';

示例

// www.javascriptcn.com code example
CREATE EXTERNAL TABLE IF NOT EXISTS employee (
    id INT,
    name STRING,
    salary FLOAT
)
COMMENT 'Employee details'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE
LOCATION '/user/hive/warehouse/employee';

本题详细解读

1. 外部表的概念

外部表（External Table）是 Hive 中的一种表类型，它与内部表（Managed Table）的主要区别在于数据的生命周期管理。对于外部表，Hive 只管理表的元数据，而不管理数据本身。删除外部表时，Hive 只会删除表的元数据，而不会删除实际的数据文件。

2. 创建外部表的关键点

• EXTERNAL 关键字：使用 EXTERNAL 关键字来声明这是一个外部表。
• IF NOT EXISTS：可选参数，用于避免在表已存在时抛出错误。
• 表结构定义：定义表的列名和数据类型。
• COMMENT：可选参数，用于为表添加注释。
• ROW FORMAT DELIMITED：指定行的格式，通常用于文本文件。
• FIELDS TERMINATED BY：指定字段之间的分隔符，例如逗号 ,。
• STORED AS：指定数据的存储格式，例如 TEXTFILE、ORC、PARQUET 等。
• LOCATION：指定表数据在 HDFS 中的存储路径。如果不指定，Hive 会使用默认的仓库路径。

3. 外部表的优势

• 数据共享：外部表的数据可以与其他系统共享，Hive 只负责元数据的管理。
• 数据安全：删除外部表时，数据不会被删除，避免了误操作导致的数据丢失。
• 灵活性：外部表的数据可以存储在任意的 HDFS 路径下，便于与其他数据处理工具集成。

4. 注意事项

• 数据路径：创建外部表时，LOCATION 指定的路径必须存在，否则表创建会失败。
• 数据格式：确保 STORED AS 指定的存储格式与数据文件的实际格式一致，否则可能导致数据读取错误。
• 权限管理：确保 Hive 用户对 LOCATION 指定的路径有足够的读写权限。