Fork me on GitHub

UDF自定义函数

字数统计: 162字   |   阅读时长≈ 1分

一、UDF的使用手册

1、简介

Hive中，提供了丰富的内置函数，比如trim(),cast(),max(),count(),coalesce()等之外， 还允许用户用java开发自定义的UDF函数。

1.1、开发自定义UDF函数的2种方式：

  • 继承org.apache.hadoop.hive.ql.exec.UDF;
  • 继承org.apache.hadoop.hive.ql.udf.generic.GenericUDF;

1.2、总结：

  • 针对简单数据类型：String,Integer等，可以使用UDF。
  • 针对复杂数据类型：Array,Map,Struct等，可以使用GenericUDF
  • GenericUDF还可以在函数开始之前和结束之后做一些初始化和关闭的处理操作。

2、UDF

使用UDF实现对String类型的字符串取HashMD5

3、GenericUDF

赏

谢谢你请我吃糖果

支付宝
微信

扫一扫，分享到微信

× 文章目录
  1. 1. 一、UDF的使用手册
    1. 1.0.1. 1、简介
      1. 1.0.1.1. 1.1、开发自定义UDF函数的2种方式：
      2. 1.0.1.2. 1.2、总结：
    2. 1.0.2. 2、UDF
    3. 1.0.3. 3、GenericUDF

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

主要涉及技术：
Java后端开发、Hadoop、Spark、微服务、TensorFlow
AI、公众号开发、开源爱好者、Linux