大数据应用技术课本电子书大数据技术与应用方向评职称出书|上海羊羽卓进出口贸易有限公司

大数据技术与应用方向评职称出书

在数字化浪潮汹涌的今天，大数据技术作为推动社会进步与产业升级的关键力量，正以前所未有的速度渗透到各行各业，深刻改变着我们的工作方式、生活方式乃至思维方式。大数据技术与应用专业，作为这一时代背景下的新兴热门学科，不仅承载着培养未来数据科学家的重任，更为人们开启了一扇通往无限可能的职业大门。

大数据技术，简而言之，是指对海量、高速、多样的数据进行采集、存储、处理、分析及挖掘，从而发现数据背后的价值，为决策提供科学依据的技术体系。它涵盖了数据科学、计算机科学、统计学、机器学习等多个学科领域的知识，是现代信息技术与行业应用深度融合的产物。大数据技术与应用专业致力于培养具备扎实的数据处理与分析能力、良好的创新思维和跨学科视野的高级应用型人才。

大数据技术与应用方向职称出书： 要求具有良好的职业道德、从事人才市场紧缺的java web应用开发、大数据分析、大数据应用开发等工作的高等技术应用人才。面向企事业单位或IT行业，从事大数据应用开发、java web软件开发、大数据分析等工作人员，《**信息技术**大数据应用**》征集作者合作出书，评职称可用。

#数据科学 #数据分析师 #大数据工程师 #产品经理 #咨询顾问 #职称专著出书

新华网财经观察｜大模型落地应用：难点与破局

新华网北京9月18日电 题：大模型落地应用观察：难点与破局

记者冉晓宁、陈听雨、凌纪伟、赵秋玥

大模型太多、应用却太少，大模型要跑起来、更要用起来……怎样走好大模型落地应用“最后一公里”，成为近期业内外探讨的焦点。

“百模大战”打响，并非言过其实。目前，通过国家网信办备案的大模型已达190多个，注册用户超6亿。今年来，各家大模型全面降价，甚至一降到底免费调用。“不要去卷模型了，卷应用吧”，某知名企业多次表达这一观点，映射出大模型赛道竞争已进入卷生态、拼“获客”新阶段。

从百花齐放到场景落地，大模型应用面临哪些挑战，又该如何破解难题、激活生态？近期，记者采访大模型开发企业、设计研发机构、制造企业和终端厂商，探寻大模型助推研发、生产提质增效，以及赋能C端提升用户体验背后的故事。

大模型重构科研生产关系

当前正处于AI为科研带来重构生产力和生产关系的关键时期。自2018年首次提出以来，科学智能（AI for Science）作为一种新的科学研究范式已在学术界达成共识，AI为科研领域带来了革命性的影响。新技术的赋能，提升了科研效率，促进了科研原始创新，展示出人工智能为科学研究带来的巨大价值，AI大模型领先科研团队成果丰硕。

中国科学院院士、嘉庚创新实验室名誉主任田中群表示，AI为理论计算创造了可能，算法的精进，算力的提升，大大提高了计算效率。他打比方说，“做基础科研工作就好比身处一个只有悬崖峭壁而没有路径的孤岛，如今，AI提供了一种工具，能帮助科研人员有机会乘浪而上，登上悬崖峭壁。”

在电化学领域，科研需要解决的是新能源产业化的问题。比如，新能源储能电站，特别是大型储能电站，如若发生安全问题，后果将非常严重。面向电化学的AI技术为能源安全提供了更多保障，能更好地检测、把控以及反馈和控制。又比如，在电池储能体系中，参数的采集、处理、反馈涉及海量的数据，依靠传统的人工处理方式，最快也要以“天”来计算。但对AI来说，可能几小时、几分钟甚至几秒钟就够了。

“AI帮助科学家更快地发现问题，分析问题，反馈问题，并进行主动控制，形成闭环，有效提高安全性和效率。”田中群说。

蛋白质是一切生命活动的物质基础，堪称分子生物学“皇冠上的明珠”。基于深势科技发布的Uni-Mol分子构象大模型，可实现分子生成、性质预测等多种通用能力。在药物发现领域，基于Uni-Mol开发的虚拟动力学分子生成方法VD-Gen，能直接在蛋白靶点空腔中生成具有高结合亲和力的分子。

深势科技联合创始人、CEO孙伟杰介绍，近年来，深势科技与协作者们推出了DPA分子模拟大模型、Uni-Mol分子构象大模型、Uni-Fold蛋白折叠大模型、Uni-RNA基因序列大模型、Uni-Dock高性能分子对接引擎，以及Uni-SMART科学文献多模态大模型等一系列科学大模型及底层引擎。

深势宇知科学大模型体系（深势科技供图）

目前地球上已知的蛋白质约有两亿种，每一种蛋白质都有独特的空间结构。自然界经过漫长的生命进化过程，蛋白质分子在瞬息间就能自发完成整个折叠过程。但科学家若想通过计算氨基酸分子间的相互作用来预测其折叠方式，则要穷尽所有可能的蛋白质构型，需要的时间将超过整个宇宙的年龄。

“现在通过使用AI技术，可以在很短的时间内精确算出蛋白质的三维构象，科学家们还在进一步探索运用AI根据特定的功能需求设计自然界不存在的蛋白质或改造已有的蛋白质。”计算生物学家、分子之心创始人兼首席科学家许锦波教授说，“通过AI预测蛋白质结构，极大提升了人们对蛋白质的认知，理解蛋白质如何行使其生物功能，认识蛋白质与非蛋白质之间的相互作用，进而让人们更好地理解生命的分子过程，这对生物学、医学和药学等领域具有重要影响。比如通过AI蛋白质结构预测，可以更快速地找到准确的蛋白质靶点，帮助药物研发人员设计更加有效的药物分子。”

许锦波认为，AI大模型特别适合用来解决生命科学中的问题。“计算与生物学的结合，最成功的案例就是AI蛋白质结构预测，这是目前为止，AI对生物学、乃至对整个科学界最大的贡献。但这只是刚刚开始，还远未到结束的时候。”

分子之心自主研发的AI蛋白质生成大模型NewOrigin（达尔文），就是集成序列、结构、功能和进化的AI蛋白质基础大模型，它学习了海量高度专业、复杂的多模态数据，可根据产业应用需求，“按需定制”功能性蛋白质。目前，NewOrigin大模型已被广泛应用于创新药研发、材料、食品、化工、农业等领域，在大分子药物设计、极端环境下蛋白质稳定性优化、酶活性优化、酶-特定底物对接、蛋白质从头设计等多类型的高难度产业任务上取得突破。

AI大模型对科研的助力正从地球迈向遥远的深空，在深空探测领域发挥重要作用。中国科学院院士、中国月球探测工程首任首席科学家欧阳自远表示，随着人类深空探测活动的快速推进，探测数据呈井喷式增长。在数据管理方面，我国已经取得先发优势；在数据应用方面，我国必须充分发挥现有的人工智能技术优势。

人类对月球地质演化的研究除了探测返回的样品，主要依靠撞击坑识别等月球地质对象的研究。撞击坑的大小、深浅、形状等特征，是研究月球地质演化的重要依据。据统计，目前月球上直径一公里以上的月球撞击坑数量已超100万个，直径一公里以下的撞击坑数量至今无法确定。如果完全依赖人工，完成所有月球撞击坑的识别是“几乎无法实现的”。

在2024数博会上，中国科学院地球化学研究所与阿里云联合发布国际首个“月球科学多模态专业大模型”（简称“月球专业大模型”）。该大模型基于阿里云通义系列模型构建，目前在月球撞击坑年代和形态判别上，准确率已达到80%以上。月球专业大模型的应用极大提高了科研效率：科研工作者只需输入月球撞击坑图像和相关问题，月球专业大模型即可调用通义视觉、多模态模型，从17种多模态数据中（包括光谱、高程、重力等数据）判定该图像对应的模态类型。

科研大模型落地需理解底层科学规律

尽管AI大模型已经为科学研究带来了巨大价值，但在下游工业的科研大模型落地中，仍面临一系列相关场景挑战。

许锦波认为，研发蛋白质生成大模型，除了必备的算法、算力、数据等基础条件，还需要具备两大专业进阶能力：首先是融合计算机、生物、物理等多学科，熟识AI、分子动力学、量子计算等多种方法，且能在实践中并行考虑序列与结构、主链与侧链、进化与组学的跨领域融合能力。其次是走出实验室，下沉至真实的产业环境，在需求、验证、落地上贴近真实产业需求的能力。目前，具备这些能力和条件的人才团队非常稀缺。

孙伟杰认为，让AI优先学会微观粒子宇宙的科学规律和数学分布，才能尝试解决微观世界的重要问题。

“已有的算法体系和模型体系所带来的是一个从原子开始真正重构世界的机会。AI大爆发给科研带来了重构生产工具、生产力以及生产关系的系统性机会。从原子开始，软件、数据、表征到最终的制造环节，都将被重构。虽然数字世界的繁荣促进了大模型的发展，但更需要关注的是长远的终局，而AI重构科研生产力的终局将是迈向‘智能原子制造’时代。”他说。

“物理世界是由微观粒子构成，所关切的是微观层面的分子结构、蛋白质基因序列、分子模拟等，这些新模态在经典的大模型里并不能覆盖和处理，过去的大模型也还没有办法真正理解宇宙万物的底层科学规律。”孙伟杰说。

他进而阐述道，需要让AI大模型理解微观粒子的宇宙，并尝试解决微观世界的问题，往往缺乏非常有效的数据，因为微观粒子世界是看不见摸不到的。“在微观世界，目前最好且已被证明的方法，就是AI for Science。AI for Science正在开辟一条全新科研范式的道路，将人工智能与基础科学研究紧密结合，赋予AI以理解微观世界的能力。物理世界大模型、数字世界大模型、具身智能大模型这三大支柱构成了当今AI领域工作和创业的三大主赛道。AI for Science则是AI的三大支柱之一，也是通往AGI的必由之路。”孙伟杰说。

大模型赋能制造需深化融合应用

AI大模型正逐渐渗透到制造业各环节，成为制造业通往智能化、柔性化和自动化的核心技术之一，为制造业带来新机遇。

政府层面正积极推动大模型在生产制造领域的具体应用和创新。今年4月，工业和信息化部科技司提出，推动人工智能在生产制造环节的广泛运用，并强调“以人工智能和制造业深度融合为主线，布局通用大模型和行业大模型，加速人工智能赋能新型工业化”。

在这一趋势指引下，家电、汽车、化工等多个行业纷纷探索AI大模型的落地应用。

注塑是生产洗衣机的重要工序，其生产过程看起来不过模具开合，背后却牵扯着温度、压力、成型周期、模具健康、能耗等复杂的工艺和参数，以往只能依靠人工经验调试。如今，注塑工序的“黑箱”问题已得到解决。

走进海尔天津洗衣机互联工厂，可以看到由卡奥斯COSMOPlat自主研发的天智工业大模型将注塑老师傅们的工业经验转化可量化的数据和指标。相关负责人表示，通过注塑大模型与专家模型的合理适配，使注塑机整体能耗优化降低6%-10%，生产节拍提升5%-12%。据了解，天智工业大模型能够读懂工业语言、理解工业工艺及机理、生成工业执行指令及执行工业机械控制，已在海尔天津、佛山的洗衣机互联工厂应用。

图为海尔天津洗衣机互联工厂注塑设备（卡奥斯供图）

“汽车生产制造中的工业场景及工艺，普遍存在涂胶利用率高、劳务成本高、生产排产需优化，以及工艺设计难以通过人工实现最优工艺编排等痛点。”在中国工业互联网研究院举办的2024“生成式人工智能+汽车”供需对接暨成果转化活动上，多家车企提到了行业面临的系列痛点。

“生成式人工智能技术有助于自动进行焊接工序编排、总装工程编程，从而得出最优负荷均衡，提升工艺文件编制效率。”广汽埃安新能源汽车股份有限公司副总经理郑纯麒说。云从科技集团股份有限公司汽车行业总监叶统生进一步补充道，大模型的分析能力可以对车辆生产进行全流程品质监控。

在石油化工智能化、工业装置智能化和实验研究高效化等方面，催化裂化沉降器结焦智能预测技术，解决催化裂化沉降器的结焦问题。据中国石油大学重质油全国重点实验室教授邓春介绍，生成式人工智能通过物料感知、反应机理、核心装备、工艺优化、系统优化，推动化工行业工业装置运行智能化的应用。

不过，AI大模型在制造层面的落地并非一帆风顺。调研了解到，制造类企业的数据量庞大且碎片化严重，导致数据难以被有效汇总和发挥价值。此外，大模型的算力成本、部署成本、试错成本成本较高，工业AI技术人才也尤为短缺。

“大模型在制造业企业落地应用，需要算法工程师、数据工程师以及企业一线管理者等多方共同努力，特别是要在数据收集及标注、模型微调及流程梳理优化等方面投入大量精力和时间成本。”海南省人工智能协会副理事长、浙江省工商联数委会委员、AI科技企业实在智能创始人孙林君表示，面对制造业企业复杂的供应链，实在Agent智能体借助RPA能够整合和优化数据资源、低成本的替代接口；借助大模型可以降低数据使用门槛，通过推理分解复杂的业务操作并且调度RPA自动完成业务操作、再通过合理控制模型部署成本及算力资源，可应用于原材料采购、库存管理、生产计划和物流配送等各项业务环节和业务流程之中、起到很好的降本增效的作用。

尽管面临诸多挑战，但绝大多数受访企业坚信，AI大模型在制造业的应用前景依然广阔。

中国电子学会理事长徐晓兰建议，要发挥好我国工业体系完备、产业规模庞大、应用场景丰富、工程人才富集等优势，着力夯实AI技术基础、着力深化AI融合应用、着力健全产业发展生态，深化人工智能技术赋能，加快发展新质生产力，推进新型工业化。

大模型进终端推动AI规模化普及

如果说云端大模型展示了AI的强大技术能力，那端侧AI就是加速AI技术红利普及的载体。

端侧AI，为什么这么火？中信建投发布研究报告称，端侧AI是AI发展的下一阶段，通过将大模型赋能终端硬件，有望开启AI应用浪潮。

从终端厂商布局看，OPPO提出今年让约5000万用户手机搭载AI功能，联想全面推进AIPC“一体多端”智能终端战略，小米SU7搭载了AI大模型，长虹多系列电视均已搭载长虹云帆AI大模型……可见，大模型进入端侧已然呈现加速态势。

图为大模型在终端侧的分布与定位（来源：艾瑞咨询）

把大模型装进小终端，前景无限，挑战并存。在智谱AI首席执行官张鹏看来，如何在较低传输量基础上让模型更智能，怎样在移动端提供独有的资源支持大模型运行，这是大模型进入终端遇到的一大难题。

成立仅5年的智谱AI，如今已成为模型开发领域的一颗新星。谈到怎样为大模型落地创造空间，张鹏认为合作是关键，“一方面是要做好大模型全自研，另外硬件厂商和模型算法厂商、操作系统等一系列生态技术厂商需要一起合作。”智谱AI已与英特尔、高通等协作，让大模型跑在了PC、手机、汽车等各类终端上。

“关闭前置摄像头”“把电脑音量调静音”“按照我的阅读习惯生成摘要”……消费者发现，如今使用某品牌的新品电脑更简便了。通过与电脑进行简单对话，就能取代以前复杂的操作。据厂商介绍，未来随着版本迭代，甚至还能帮用户实现编发邮件、制作个性化海报、理解一张图里蕴藏的意思等更高难度的功能。

“2022年，联想就着手计划将大模型放置于本地。”联想集团全球中小企业产品与解决方案总经理郑爱国说，当时大模型参数太大，本地难以承载。直至去年，大模型开发企业将重点下探至6-7B，联想开始意识到，大模型本地计划的实施难度降低。去年5月，联想便将端侧AI大模型与PC项目进行了结合。

小米集团AI实验室主任王斌认为，一方面模型在变小，另一方面计算能力在变大，硬件能力在变强，再加上各种需求反推，预计在端侧，会出现一些杀手级的AI应用。

记者梳理某电商平台在售的AI手机产品发现，语音、图像和AI助手是AI手机最集中的三大功能点。当下，主流手机厂商正积极部署轻量大模型，使AI无感化，并大力开拓AI应用场景。有市场研报预测，AI手机在私人智能助理和提升办公能力等方面呈现较大价值前景。每个终端都内置一个属于自己的AI助理正在成为现实，这被视为人人可享的AI未来。

AI图像识别、语音唤醒、计算摄影等端侧AI用例，看似简单，实际上对芯片的算力、DDR带宽都有非常强的要求。

智能手机上AI用例的迅速增长，突显了高通这家公司的重要性。“高通在设计的一开始，就将AI的理念贯穿到整颗SoC。”高通公司AI产品技术中国区负责人万卫星介绍说，针对大模型对DDR带宽的挑战，高通开发了量化技术、压缩技术，减少模型大小；针对大模型对算力的要求高，高通在NPU上做了非常专业的设计，满足不同用例的多样性需求。

此外，百模齐放，具体到端侧大模型又细分成很多类，而目前在不同终端，模型与模型之间的沟通能力尚未建立。因此在中关村智用人工智能研究院院长孙明俊看来，“未来一段时间，在技术标准的统一和互操作性上，会是一个非常庞大的需要各方去解决的一个技术问题。”

“应用为王”，这一理念在大模型技术发展与落地中尤为重要。调研采访中，业内人士普遍认同，大模型真正的价值在于解决实际问题，要为用户创造实实在在的价值。

随着“人工智能+”行动向纵深推进，期待在多方协作下，大模型技术乘着“飞轮效应”之风，既赋能千行百业、加快形成新质生产力，又在不断落地应用中反哺技术迭代与性能提升，开辟大模型应用新的境界。