Towhee可以让用户像搭积木一样,软件轻松地完成 AI 应用程序的开源构建和落地。通过使用大语言模型(LLM)以及其他SOTA深度学习模型,免费从各种未加工过的抓包非结构化数据中(长文本、图像、软件音频和视频)提取信息,开源并将这些信息存储到合适的免费存储系统中,比如可以将提取出的向量数据存储到向量数据库中。开发人员能够通过Towhee提供的抓包Pythonic API来完成各种 AI 流水线和 AI 应用的原型设计,享受自动代码优化,软件低成本实现生产环境的开源应用性能优化。
🎨 多模态 Towhee 能够处理各种数据类型。免费无论是抓包图像数据、视频片段、文本、音频文件还是分子结构,Towhee 都可以处理。
📃 LLM 管道编排 Towhee 具有灵活性,可以适应不同的大语言模型(LLM)。此外,它允许在本地托管开源大模型。此外,Towhee 提供了prompt管理和知识检索等功能,使与这些 LLM 的交互更加高效和有效。
🎓 丰富的算子 Towhee 提供了五个领域内众多最先进的现成模型:计算机视觉、自然语言处理、多模态、音频和医疗领域。拥有超过 140 个模型,如 BERT 和 CLIP,以及丰富的功能,如视频解码、音频切片、帧采样和降维,它有助于高效地搭建数据处理流水线。
🔌 预构建的 ETL 管道 Towhee 提供现成的 ETL(提取、转换、加载)管道用于常见任务,如增强生成检索、文本图像搜索和视频副本检测。这意味着您不需要成为 AI 专家即可使用这些功能构建应用程序。
⚡️ 高性能后端 利用 Triton 推理服务器的计算能力,Towhee 可以使用 TensorRT、Pytorch 和 ONNX 等平台加速 CPU 和 GPU 上的模型服务。此外,您可以用几行代码将 Python 管道转换为高性能的 Docker 容器,实现高效部署和扩展。
🐍 Python 风格的 API Towhee 包含一个 Python 风格的方法链 API,用于描述自定义数据处理流水线。我们还支持模式,这使得处理非结构化数据就像处理表格数据一样简单。
Towhee 需要 Python 3.7 及以上的运行环境,可以通过 pip
来完成快速安装:
pip install towhee towhee.models
Towhee 提供了一些预定义流水线,可以帮助用户快速实现一些功能。目前已经实现的有:
所有的流水线均能在Towhee Hub上找到,下面是sentence_embedding流水线的使用示例:
from towhee import AutoPipes, AutoConfig# get the built-in sentence_similarity pipelineconfig = AutoConfig.load_config('sentence_embedding')config.model = 'paraphrase-albert-small-v2'config.device = 0sentence_embedding = AutoPipes.pipeline('sentence_embedding', config=config)# generate embedding for one sentenceembedding = sentence_embedding('how are you?').get()# batch generate embeddings for multi-sentencesembeddings = sentence_embedding.batch(['how are you?', 'how old are you?'])embeddings = [e.get() for e in embeddings]
通过Towhee python API,可以实现自定义的流水线, 下面示例中,我们来创建一个基于 CLIP 的跨模态检索流水线。
from towhee import ops, pipe, DataCollection# create image embeddings and build indexp = ( pipe.input('file_name') .map('file_name', 'img', ops.image_decode.cv2()) .map('img', 'vec', ops.image_text_embedding.clip(model_name='clip_vit_base_patch32', modality='image')) .map('vec', 'vec', ops.towhee.np_normalize()) .map(('vec', 'file_name'), (), ops.ann_insert.faiss_index('./faiss', 512)) .output())for f_name in ['https://raw.githubusercontent.com/towhee-io/towhee/main/assets/dog1.png', 'https://raw.githubusercontent.com/towhee-io/towhee/main/assets/dog2.png', 'https://raw.githubusercontent.com/towhee-io/towhee/main/assets/dog3.png']: p(f_name)# Flush faiss data into disk. p.flush()# search image by textdecode = ops.image_decode.cv2('rgb')p = ( pipe.input('text') .map('text', 'vec', ops.image_text_embedding.clip(model_name='clip_vit_base_patch32', modality='text')) .map('vec', 'vec', ops.towhee.np_normalize()) # faiss op result format: [[id, score, [file_name], ...] .map('vec', 'row', ops.ann_search.faiss_index('./faiss', 3)) .map('row', 'images', lambda x: [decode(item[2][0]) for item in x]) .output('text', 'images'))DataCollection(p('puppy Corgi')).show()
Towhee 由四个主要模块组成:“算子(Operators)”、“流水线(Pipelines)”、“数据处理 API(DataCollection API)”和“执行引擎(Engine)”。
支持手机扫码连接,不用手动配置Wifi代理,包括配置同步。所有终端都可以互相扫码连接转发流量。
Mac首次打开会提示已损坏,需要到系统偏好设置-安全性与隐私-允许任何来源。
国内下载地址:https://gitee.com/wanghongenpin/network-proxy-flutter/releases
ios下载地址(Safari浏览器打开):https://testflight.apple.com/join/gURGH6B4
ios个人开发者账号用到VPN没法上架AppStore, 后面可能会上架美版AppStore。
MAC-演示使用
图片
图片
图片
图片
图片
(责任编辑:探索)
“双11”全国快件量达47.76亿件 11日当天共处理快件6.96亿件