序一:ModelArts让AI应用开发更简单
近几年来,在AI(Artificial Intelligence,人工智能)技术突破和应用机会日益扩大的推动下,AI正在深刻影响着诸多行业,例如交通、零售、能源、化工、制造、金融、医疗、天文地理、智慧城市等。使用AI技术提升生产效率、降低生产成本,进一步促进企业数字化和智能化转型已成为业界共识,AI应用正处于大规模发展的临界点。
然而,AI应用的开发仍然非常复杂,主要体现在两大方面。其一,开发流程冗长、烦琐。开发全流程包括数据准备、算法开发、模型开发、应用生成、应用部署和维护等多个环节,链路很长,而且每个环节都需要大量人力和计算资源的投入,例如,当数据量很大时数据标注非常枯燥耗时,当AI应用需要灵活部署时软硬件环境的准备非常烦琐。此外,AI应用还需要不断迭代、调优和维护,使得开发的复杂性进一步加大。其二,开发技能要求综合性强、门槛高。开发者不仅要具备丰富的算法知识,还要熟悉行业问题,最好有行业经验,能够将算法和行业需求紧密结合,并设计出合理的解决方案。受限于AI应用开发的复杂性,目前各个行业中AI应用的渗透率还远远不足。
为了应对上述复杂性问题,华为基于多年的行业AI应用开发经验和实践积累,推出了一站式AI应用开发和部署平台——ModelArts。通过完备的基础平台和行业知识沉淀,使得面向行业的AI应用开发大大简化。
首先,为了简化AI应用开发流程和优化开发成本,ModelArts在基础平台的“一横一纵”两个方向上提供全面能力。“一横”是指对AI应用开发全流程而言,ModelArts支持从数据准备、算法准备、模型训练、模型评估和调优,到应用准备和发布等一系列开发环节,并且通过分享交易机制使得AI应用的开发和使用更加畅通、便捷。“一纵”是指对AI应用开发所依赖的全栈架构而言,ModelArts支持底层的AI计算设备和端边云基础设施资源管理,以及上层的AI计算任务、作业和服务管理,并通过纵向软硬件协同优化使得开发成本降低、效率提升,大幅缩减AI应用开发者的准备工作。此外,ModelArts充分将AI能力注入AI开发全流程的各个环节,提供数据增强、智能标注、模型压缩、难例挖掘等高阶能力,即用“AI for AI”的方式进一步简化开发流程。例如,在智慧交通中,普遍存在大量冗余的视频需要标注,部署后的模型需要一键式部署,并持续不断地适应新场景,全流程中存在大量的冗余可以被优化,ModelArts通过端到端流程优化和智能化渗透,极大地简化了开发流程,提升了开发效率。
其次,为了降低AI行业应用开发技能要求,ModelArts根据华为多年来在企业级客户服务方面积累的大量行业经验沉淀,形成了面向行业的模板、套件和解决方案,覆盖了大多数主要的行业场景。当AI开发者遇到新的应用开发需求时,可基于这些模板套件或解决方案进行二次开发,并最大化复用已有的预置能力(如预置算法、模型、行业知识、端到端模板等)和自动化能力。行业开发者可以充分利用ModelArts已有的预置AI算法和模型,AI算法开发者可以充分利用ModelArts已有的行业知识和模板。这些预置能力和自动化能力可以极大降低对AI应用开发的技能要求,将复杂的处理交给ModelArts平台承载,使得AI应用的开发更加简单化。例如,在智慧医疗中,面向基因数据分类的模板集成了大量行业经验与AI算法,当AI开发者面临类似场景的新数据时,仅需简单迁移即可。
自 2018年10月发布以来,ModelArts累计服务了众多行业十几万开发者,通过基础平台的完备性和面向行业的知识沉淀及平台化能力,使得AI应用开发更简单高效。本书从工业界的角度出发,主要介绍了基于ModelArts的AI应用开发的各个环节及其行业应用实践,希望有助于读者快速熟悉AI应用开发全流程,并更好地运用ModelArts的快、易、惠的能力,将AI应用拓展到各行各业,快速、充分释放AI技术的商业价值。
徐直军
华为公司轮值董事长
2020年8月
序二
近年来,随着深度学习的快速发展,新一轮的AI技术已经深刻地影响着各行各业。如何才能使AI技术快速规模化地应用到各行业,是值得深入思考的问题,也是我国人工智能战略核心要解决的问题之一。
AI学者首先关注于算法的创新研究。然而AI算法要走进各行各业并发挥价值,只有创新的AI算法是远远不够的。在AI的实际开发过程中,数据的采集往往非常困难而复杂,需要借助各种工具和系统才能进行,数据还需要进行清洗、增强等多种处理,并经过复杂的标注、审核等流程,才可以进入深入学习的模型训练; 在训练之前,需要结合具体业务的需求、数据的情况、行业已有经验知识,选择或者开发合适的算法用于训练; 在模型训练和调优过程中,又会涉及最优超参数的调优、模型评估、最优模型的选择问题; 由于AI应用还可能包括其他算子或多个其他模型,因此从模型到应用的生成环节必不可少; 在AI应用部署和使用时,需要能够进行异构资源的管理和灵活的伸缩; 很多AI应用都比较脆弱,会对推理时环境和数据的变化非常敏感,应用的维护就非常必要。由此可见,从数据的采集到最终应用的维护,AI应用开发全流程是一个系统化工程,需要有一套完整的平台支撑。
不同于传统的IT(Information Technology,信息技术)应用,AI应用的开发尚处于早期快速增长期,缺乏针对开发流程端到端平台的支撑。令人非常高兴的是,能够看到华为推出了一站式AI应用开发平台——ModelArts,能够对AI应用开发全流程给出系统的支持,并且在AI开发流程的各个环节中提供各种丰富的能力,使得AI应用的开发不仅更加便捷,而且更加高效。这对于加速AI应用的开发和拓展非常重要,同时也会促进人工智能有关标准的建立和推广。
作者基于ModelArts详细介绍了AI应用开发全流程,从数据、算法、模型、应用等多个层面讲解AI应用开发流程中基本方法、挑战和难点,可供广大AI应用开发者借鉴。另外,当AI开发平台面向企业、复杂行业以及端边云复杂部署的时候,相应的AI应用开发将面临更多的挑战,本书实践环节也围绕这些挑战展开实例介绍。相信本书能够对AI应用开发者带来帮助。随着开发者的增多、人工智能标准和基础平台的逐步完善,我国在人工智能新型基础设施的建设上必将大步前进。
潘云鹤
中国工程院院士
2020年8月
j***1 2020-09-27 10:38:39
好书,值得购买,比较新,好好看看