金融、气象、言模能源等各行各业每天都会生成大量的数据异构数据。人们急切需要一个工具来有效地管理、助手处理和展示这些数据。大语
近日,言模浙江大学提出 DataCopilot,数据通过部署大语言模型 (LLMs) 来自主地管理和处理海量数据,助手即它连接不同领域的大语丰富数据,满足多样化的言模用户查询,计算,数据预测,可视化等需求。
Repo: https://github.com/zwq2018/Data-Copilot
Arxiv: https://arxiv.org/abs/2306.07209
Demo: https://huggingface.co/spaces/zwq2018/Data-Copilot
只需要输入文字告诉 DataCopilot 你想看啥数据,无需繁琐的操作,无需自己编写代码,DataCopilot 自主地将原始数据转化为最符合用户意图的可视化结果,因为它可以自主地帮你找数据,处理数据,分析数据,画图,无需人类协助。
图片
许多研究已经探索了 LLMs 的潜力。例如 Sheet-Copilot、Visual ChatGPT、Audio GPT 利用 LLMs 调用视觉,语音等领域工具进行数据分析、视频编辑和语音转换。从数据科学的角度来看,表格、可视化和音频都可以被视为一种形式的数据,所有这些任务都可以被看作是与数据相关的任务。因此,一个新的问题出现了:在通用数据的背景下,LLMs 能否构建自动化的数据科学工作流来处理各种与数据相关的任务?为了实现这一目标,需要解决几个挑战:
因此,为了实现的囊括数据相关任务的通用框架,研究提出 Data-Copilot:
图片
Data-Copilot 是一个基于 LLM 的系统,用于处理与数据相关的任务,连接了数十亿条数据和多样化的用户需求。它独立设计接口工具,以高效地管理、调用、处理和可视化数据。在接收到复杂请求时,Data-Copilot 会自主调用这些自设计的接口,构建一个工作流程来满足用户的意图。在没有人类协助的情况下,它能够熟练地将来自不同来源、不同格式的原始数据转化为人性化的输出,如图形、表格和文本。
Data-Copilot 是一个通用的大语言模型系统,具有接口设计和接口调度两个主要阶段。
Data-Copilot 通过自动生成请求和自主设计接口的方式,实现了高度自动化的数据处理和可视化,满足用户的需求并以多种形式向用户展示结果。
图片
接口设计
如上图所示,首先要实现数据管理,第一步需要接口工具。
Data-Copilot 会自己设计了大量接口作为数据管理的工具,其中接口是由自然语言(功能描述)和代码(实现)组成的模块,负责数据获取、处理等任务。
如下图:Data-Copilot 自己设计的接口工具用于数据处理:
图片
接口调度
在前一个阶段,研究获取了用于数据获取、处理和可视化的各种通用接口工具。每个接口都有清晰明确的功能描述。如上图所示的两个查询请问,Data-Copilot 通过实时请求中的规划和调用不同的接口,形成了从数据到多种形式结果的工作流程。
在接口描述和示例的指导下,Data-Copilot 在每个步骤内以顺序或并行的方式精心安排接口的调度。
如下图例子:
Data-Copilot 自主设计了工作流如下:
图片
针对这个复杂的问题,Data-Copilot 采用了 loop_rank 这个接口来实现多次循环查询。
最后该工作流并执行后结果如下:
图片
横坐标是每只成分股的股名,纵坐标是一季度的净利润同比增长率
预测工作流
图片
部署工作流:获取历史 GDP 数据 ----> 采用线性回归模型预测未来 -----> 输出表格
图片
并行工作流
图片
图片
图片
研究提出了一个通用的框架,Data-Copilot,用于处理各种数据相关任务。它作为连接众多异构数据和人类之间的桥梁,根据人类的喜好有效地管理、处理和展示数据。Data-Copilot 通过将 LLMs 整合到数据相关任务的每个阶段中,根据用户的请求将原始数据自动转化为用户友好的可视化结果,显著减少了对繁琐劳动和专业知识的依赖。
像一位经验丰富的专家一样,Data-Copilot 自主设计了适用于各种类型数据和潜在用户需求的通用接口工具,并在实时响应中调用这些接口,为用户请求部署清晰的工作流程。接口设计和调度这两个过程完全由 Data-Copilot 控制,几乎不需要人的干预。
研究提供了一个中国金融版的 Data-Copilot, 它可以灵活处理与股、基金、经济、公司财务和实时新闻等方面的复杂请求,是一个可靠的人工智能助手。
责任编辑:张燕妮 来源: PaperWeekly 模型AI(责任编辑:时尚)
嘉里物流(00636.HK)因购股权获行使发行8万股 每股发行价10.2港元
65只券商FOF年内平均收益率6.2% “全明星”FOF收益表现优异
赋能传统文化新活力 郑州两电竞战队携手闯入王者荣耀全国总决赛
冠城大通(600067.SH):2020年度净利同比减少25.43% 基本每股收益0.22元