【云享问答】第3期:大模型时代,如何快速开发ai应用-yb体育官方

举报
华为云社区精选 发表于 2023/09/13 15:47:44 2023/09/13
【摘要】 本期【云享问答】通过这14个问题,带你上手华为云一站式ai开发平台modelarts,实现ai应用的快速开发。

大模型快速普及应用的当下,ai浪潮汹涌而至,对于开发者来说,开发一款属于自己的ai应用并不是遥不可及。华为云ai生态技术专家、中科院计算所博士坐阵,从数据处理、算法开发、模型训练到部署,全方位拆解ai开发全流程,本期 【云享问答】 通过这14个问题,带你上手华为云一站式ai开发平台modelarts,实现ai应用的快速开发。

q1、ai开发的基本流程是怎样的?

一个典型的ai应用开发包括数据处理、算法开发、模型训练、模型部署等,在modelarts上可以完成以上所有流程。数据处理主要是对上传到云端的数据进行标注和特征分析,算法开发可以使用modelarts官方发布或自己开发的算法,模型训练即使用云上的cpu/gpu/npu等资源创建训练作业,最终的模型部署可部署为在线服务或者边缘服务,可以参考这个 实操一下。

image.png

q2、零基础小白,也可以快速上手ai开发吗?

零基础小白,可以使用modelarts进行ai开发体验,推荐尝试modelarts自动学习功能, 自动学习不需要ai能力和编码能力,只需上传数据,通过图像化界面操作即可完成模型训练和部署,当前支持图像分类、物体检测、预测分析、声音分类和文本分类等任务。

也可以前往华为云ai开发交流社区——,里面有很多算法、模型、notebook等资产(这些资产的运行依赖的就是modelarts),也有课程和讨论区。

q3、华为云modelarts是如何简化ai开发过程的?

简单的说,modelarts解决了ai开发最关键的算力和算法获取问题:1、作为云平台,它提供非常方便的算力资源;2. ai gallery作为社区,提供非常多开箱即用的模型。

ai开发包括多个步骤,每个步骤也有很多细节,modelarts提供足够丰富的功能满足不同的需求。另一方面,modelarts也提供了工作流能力(workflow),覆盖数据标注、数据处理、模型开发/训练、模型评估、应用开发、应用评估等ai开发的多个步骤,使用者可以通过可视化配置运行开发好的工作流。

q4、与本地开发相比, 在云上进行ai应用开发有什么优势?

以华为云一站式ai开发平台modelarts为例,它的优势体现在:

  1. 数据智能标注、团队标注、特征分析,可以提高数据处理的效率;

  2. 自动学习、ai gallery的预置算法,无需编写代码开发算法,可以快速进行实验;

  3. 推理部署,不用自己去开发web服务、用户鉴权等模块,可以快速将模型部署成在线服务;

  4. 丰富的案例资料,在ai gallery上可以学习了解当前热门的ai模型、算法等案例。

q5、如何从本地ide连接modelarts,进行ai应用开发?

modelarts支持通过本地ide远程连接到云上的notebook中,开发基于pytorch、tensorflow和mindspore引擎的ai模型:

q6、海量数据处理很繁琐,modelarts可以简化这个流程吗?

可以的,modelarts提供数据标注功能,即在云上提供图像、文本、音频、视频等数据的标注作业,除了人工标注外,modelarts还提供自动标注、团队标注等;另外也提供数据特征分析功能,可以根据数据集中图片特征绘制曲线。

q7、当前在modelarts上能获得哪些公开的数据集?

数据集公开在ai gallery上,一部分是常见的公开数据集,如imagenet、coco、cityspaces、imdb情感分析等;一部分是华为云以往的ai比赛中使用的数据集,如无人车比赛的交通标志识别、疲劳驾驶检测比赛的视频、ocr比赛的中英文购物小票等;最后就是开发者自发上传的各式数据集。可以去逛逛。

q8、如何将本地训练的模型迁移上云?

我们既可以将模型部署到云上作为web服务,也支持下发到端边侧

如果自己线下训练的模型,部署到modelarts平台成为一个api服务,不需要做模型转换,可以参考如下。

q9、其他格式的ai模型支持导入到modelarts继续训练吗?

1、如果是简单的实验,可以用modelarts的notebook,这个环境比较自由,跟你在本地做ai开发差不多,比如keras模型导入后用keras api操作就行。

2、如果是正式的训练/推理作业,需要适配modelarts的规范,建议也是先参考1在notebook里调通,再创建正式作业,需要注意的点是云上作业存储用的是华为云obs(代码/数据需要先传到obs),相关的规范可参考;

q10、modelarts上会有训练好的开放模型吗?提供模型市场或线上调优服务吗?

模型资产发布在ai gallery中,大部分没有公开权重,但是可以在modelarts上部署使用,如往届华为云ai大赛的优秀作品;另外值得一提的是,最近火爆的开源大模型也陆续上架到ai gallery中,如stable diffusion、mpt、falcon等。

q11、modelarts中如何进行大规模分布式训练?

modelarts主要支持数据并行方式的分布式训练,包括单机多卡、多机多卡,与单机单卡相比,借助pytorch、mindspore等框架能力,仅需修改几行代码即可。可参考以下链接。

q12、目前modelarts平台支持哪些ai框架?

pytorch/tensorflow/mindspore都支持,cpu/gpu/ascend版本都有。

q13、modelarts是否有像gpt那样的通用生成能力呢?

modelarts是开发平台,你可以使用modelarts开放自己的大语言模型,ai gallery中也有这样的案例。

q14、modelarts会有一些支持开发者的活动吗?

a:近期上线了,后续陆续有更多活动推出,敬请期待。

如果你有更多关于ai应用开发的问题,可以前往华为云开发者社区论坛提问,参与每个月的提问活动,有机会赢取精美礼品。

【亚博平台下载的版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

举报
请填写举报理由
0/200