专栏中心

EEPW首页 > 专栏 > 智能硬件大模型语音交互流程自定义编排(基础篇)

智能硬件大模型语音交互流程自定义编排(基础篇)

发布人:ListenAI 时间:2024-09-06 来源:工程师 发布文章

本篇文章主要讲解怎么在聆思大模型平台LSPlatform上实现自定义大模型应用开发,包含云端节点的输入输出,以及怎样在实际应用落地的时候怎么做调试、debug和错误捕获。

如果想了解有哪些现成示例可以使用,可以参考之前分享的文章。


编辑器介绍


左边侧边栏的节点模块是编排应用需要用到的一些节点,这些节点封装了对应功能,例如提示词节点,它的作用是将输入通过该节点处理后组装成所需的prompt提示词进行输出。

中间是流程编排区,新建或对导入的模块进行自定义修改就在此区域进行。

在编排区点击对应的节点,会在右侧弹出编辑框,可以进行对应功能的编辑。


节点使用

如下图所示,每个节点通常包含几个方面:首先是节点属性栏,其中包括节点的各种操作设置;其次是帮助信息部分,每个节点都会提供相应的帮助说明,明确该节点所需输入数据格式以及输出内容将包含在哪个JSON文件中。



以提示词节点为例,根据节点帮助信息的指导,需要在输入时构造相应格式的数据,并将其存放在message.payload中。假设需要调试一个包含"a"和"b"键的提示词,可以在此创建一个包含"a"和"b"值的JSON作为输入,连接到提示词节点的输入端。



对于其他封装节点,我们可以通过点击节点查看其相关属性,并通过帮助信息了解节点输入输出详细格式,这对于后续编写复杂链路和数据获取至关重要。例如知识库问答节点打开后按照项目名填入对应信息即可加入链路使用。




调试方法

在调试过程中,我们可以使用【inject】触发输入进行测试。如下图所示,部署后,可以直接点击时间戳前面的方框触发链路编排,激活从某一节点开始,经过配置的节点,最终到达提示词节点。



成功请求后,若需查看输出结果,可以在调试阶段引入一个debug节点,然后再次部署并触发,以查看链路执行结果。



在右侧侧边栏的debug部分,可查看所添加的debug节点输出的信息,它会将上游节点的输出作为自身输入,并将其内容记录在日志中。这里显示的日志内容包括msg.payload中的JSON,即经过提示词节点模板渲染后的输出结果。

最小业务流搭建

先参考下图把对应节点拉入编排区

打开【function】节点在模拟调试时,我们需要对数据进行处理,根据【星火大模型】调用节点的输入要求准备数据。打开星火大模型节点的帮助文件,可以看到输入为带messages数组的JSON格式,而输出则为标准模型对话格式。

例如使用“1+2等于多少”作为示例数据,打开【function 1】节点配置,随后利用debug节点观察输出结果,这有助于应用开发过程中的调试工作。



如下图触发后,可以看到debug节点接收到多帧数据,这表明节点配置了流式返回。在debug节点中可以观察到流式返回的内容。



若不需要流式返回,可关闭此选项再次触发,此时debug节点展示的输出为标准对话输出格式。从中可以观察到msg.payload中choices 数组的message的content字段包含了模型的实际输出结果。



扩展用法


我们可以用function节点来改变输入和输出。例如在上图中的【function 2】节点,将模型输出的content字段复制到massage.payload中作为输出。


检查function节点处理后的输出结果,可以看到输出已经按照预期改变了结构,直接显示为模型生成的文本内容。


总结

链路应用开发技巧包括使用前置触发器启动流程、引入function节点修改数据结构、编写链路,以及使用debug节点逐项检查每个节点的输出并进行调试,从而形成完整的工作链路。

配套讲解视频【聆思大模型平台LSPlatform云端节点编排教程上集 —— 基础节点使用-】 https://b23.tv/x8Dg0jp





专栏文章内容及配图由作者撰写发布,仅供工程师学习之用,如有侵权或者其他违规问题,请联系本站处理。 联系我们

关键词: 人工智能 聆思科技

相关推荐

莱迪思联手英伟达推出 Sensor Bridge 方案 加速边缘 AI 产品落地

AOS 推出 SmartClamp 智能功率级 适配 AI 高动态电流应力工况

东南大学人工智能01

东南大学人工智能02

中国硅片国产化提速 带动奕斯伟产能大幅扩张

2026-05-12

三菱携手Tallgrass布局怀俄明州 AI 专属能源枢纽

微软X英特尔黑客松大赛

个人-口罩识别系统项目采访

硬件革新:借助稀疏计算让AI算力提质降耗

个人-窗口卫士项目采访

AI 全域数字孪生加速半导体与电子系统研发落地

光电路交换何以成为 AI 数据中心刚需

软银宣布已在日本正式启动电池业务 满足AI电力需求

东南大学人工智能03

人工智能与机器人

ADI公司:工业4.0——人工智能的端

视频 2019-11-08

Omdia大幅上调预期:2026年半导体行业增速飙升至62.7%

2026-04-29

2026 全球半导体产业冲刺 1 万亿美元规模

本科毕业设计:一种基于发育思想的语音识别系统实现

仿人机器人

更多 培训课堂
更多 焦点
更多 视频

技术专区