专栏中心

EEPW首页 > 专栏 > 5分钟 NLP :Hugging Face 主要类和函数介绍

5分钟 NLP :Hugging Face 主要类和函数介绍

发布人:数据派THU 时间:2022-03-13 来源:工程师 发布文章
来源:Deephub Imba

主要包括Pipeline, Datasets, Metrics, and AutoClasses

HuggingFace是一个非常流行的 NLP 库。本文包含其主要类和函数的概述以及一些代码示例。可以作为该库的一个入门教程 。
Hugging Face 是一个开源库,用于构建、训练和部署最先进的 NLP 模型。Hugging Face 提供了两个主要的库,用于模型的transformers 和用于数据集的datasets 。可以直接使用 pip 安装它们。

pip install transformers datasets

Pipeline


使用transformers库中的Pipeline是开始试验的最快和最简单的方法:通过向Pipeline对象提供任务名称,然后从 Hugging Face 模型存储库中自动下载合适的模型,然后就可以使用了!
transformers库中已经提供了以下的几个任务,例如:

  • 文本分类
  • 问答
  • 翻译
  • 文本摘要
  • 文本生成


除此以外还有计算机视觉和音频任务(主要也是基于transformer的)下面是一个情绪分析任务的例子。为了预测句子的情绪,只需将句子传递给模型。

from transformers import pipeline

classifier = pipeline("sentiment-analysis")

results = classifier("I'm so happy today!")
print(f"{results[0]['label']} with score {results[0]['score']}")
# POSITIVE with score 0.9998742341995239


模型的输出是一个字典列表,其中每个字典都有一个标签(对于这个特定示例,值为“POSITIVE”或“NEGATIVE”)和一个分数(即预测标签的分数)。
可以为分类器提供多个句子,并在一个函数调用中获得所有结果。

results = classifier(["I'm so happy today!", "I hope you don't hate him..."])
for result in results:
  print(f"{result['label']} with score {result['score']}")
# POSITIVE with score 0.9998742341995239
# NEGATIVE with score 0.6760789155960083


也可以通过设置模型名称的参数指定要使用的模型,所有的模型和关于模型的信息都在官方文档中提供了,例如下面代码使用的是twitter-roberta-base-sentiment

classifier = pipeline("sentiment-analysis",
                    model="cardiffnlp/twitter-roberta-base-sentiment",
                    tokenizer="cardiffnlp/twitter-roberta-base-sentiment")
# three possible outputs:
# LABEL_0 -> negative
# LABEL_1 -> neutral
# LABEL_2 -> positive

results = classifier(["We are very happy to show you the

专栏文章内容及配图由作者撰写发布,仅供工程师学习之用,如有侵权或者其他违规问题,请联系本站处理。 联系我们

关键词: AI

相关推荐

PowiGaN for AI Data Centers: Unmatched Power Density and Reliability

视频 2025-12-19

国家“算力网”:像用水用电一样用AI

2026-05-18

存储器转型AI战略资源 台厂受惠

网络与存储 2026-05-19

AI催生“芯片通胀”:2D NAND价格失控,300%涨幅背后的行业博弈

2026-05-19

尼吉康的事业介绍

视频 2025-07-25

AI/HPC新世代 COUPE光互连扮要角

网络与存储 2026-05-15

思科凭借通用商用芯片与光模块赢得 AI 领域客户

AI聊天机器人能像医生一样推理吗?

基于Microchip MCU的AI/ML培训教程1

视频 2025-11-12

电子元件培训教材

基于Microchip MCU的AI/ML培训教程3

视频 2025-11-12

研华科技与Axelera AI深化战略合作 加速推动基于Europa平台的边缘AI创新

EEPW2018年3月刊(工业物联网)

基于Microchip MCU的AI/ML培训教程2

视频 2025-11-12

重新构想AI电源:塑造AI加速的未来(第三部分)

CSR8670CSR8675智能语音Alexa蓝牙方案开发

资源下载 2017-12-14

联发科加速AI在地化应用布局

智能计算 2026-05-19

被动元件新周期:AI时代高端化、服务器化重构MLCC产业格局

EEPW2018年6月刊(5G)

资源下载 2018-06-11
更多 培训课堂
更多 焦点
更多 视频

技术专区