2022年3月31日,春至。
实在智能召开RPA行业2022年首场产品发布会。如同007系列电影一样,“AI你所爱 新益求新”的发布会结束语中已悄然埋下伏笔:
“
不说再见,下一次发布会,与您在更高峰相见!
2022年12月7日,大雪。
春去冬来,实在的承诺如约而至,憋足劲儿的“蝶变·新番”实在智能2022冬季新品发布会重磅登场:
“
这是一场震撼行业的RPA发布会!
打破传统,变革模式。
本次发布会从功能和体验两个维度带来了实实在在的“科技与狠活”,一言以蔽之:
“
一款真正人人可用的RPA。
实在智能CEO孙林君、产品负责人周春照、算法负责人欧阳小刚发布新产品和新技术
本次发布会已在实在RPA IPA视频号上进行全程回放,欢迎大家观看。
敲黑板,划重点,以下为干货满满的精华实录。
实实在在的理念,实实在在的产品,实实在在的技术,与您分享:
创业四年,作为国内人工智能行业准独角兽的实在智能始终秉持“AI赋能商业”的初心,坚定相信人机协同及超自动化时代的美好未来。
凡事必作于细,也必成于实,实在智能一直致力于不断突破传统RPA的天花板,降低大众人群上手数字化工具的门槛,提升用户体验。
12月7日,实在智能2022冬季新品发布会,以“蝶变·新番”为主题,带来了RPA行业颠覆性、重量级、首创首发的:
新模式
沉浸式搭建超自动化流程的IPA模式
新技术
智能屏幕语义理解技术(ISSUT)
相信大家正在用手机阅读这篇文章,那么不知您是否还记得2007年苹果公司的iPhone首次发布会。
触屏手机的发明彻底改变了手机和消费电子产品行业,大幅降低手机的使用门槛,让手机全面普及,推动了移动互联网时代的爆发。
这是一个用技术颠覆行业,并让全社会受益的经典案例。
传统RPA软件,其实是一种
“专家模式”
即,用户如果想配置自动化操作,必须要先学会如何使用RPA软件,进而才能在RPA软件与业务软件之间不断切换,逐步以“拖拉拽”或“写代码”的方式,完成自动化流程配置。
而实在RPA的IPA模式,则完全不同,简言之这是一种
“小白模式”
用户不需要额外学习使用实在RPA,也完全不需要“拖拉拽”或“写代码”,按照正常流程直接操作业务软件即可。
每当鼠标悬停,实在RPA会自动推荐(并可在线学习优化推荐)此处可以/可能进行的自动化操作。
每当鼠标点击,该步操作自动转为自动化流程中的一步。由此迭代,任何新手都可以迅速搭建自己的数字员工。
传统RPA“专家模式” vs 实在RPA“IPA模式/小白模式”
实在RPA的IPA模式,类似触屏手机的颠覆式创新,彻底推平了横亘在用户面前,导致传统RPA学习成本大、使用门槛高的三座大山——“拾取、元素和变量”,带来了真正的人人可用,实现“打开就能用、入门就上手”。
不妨来听听行业专家、专业用户提前尝鲜体验的反馈集锦:
不再需要传统RPA软件的“流程画布”
把“更大,更宽,更全面”的电脑屏幕留给用户
不再需要传统RPA软件的“拖拉拽”
鼠标悬停+鼠标点击,即可完成自动化流程配置
再需要传统RPA软件与应用软件之间所必须的频繁切换
基于对所有屏幕元素的识别和理解,以及顶部“灵动岛” + 侧边“流程窗”的轻盈交互,实现在超自动化的元宇宙中快速打造数字员工
震撼二:所见即所得的操作一看就会,一用就对
无需学习:不用理解和记忆“组件/元素/变量”,不用“拖拉拽”,不用“写代码”
无需思考:
鼠标悬停,马上弹出可能的自动化操作推荐列表
鼠标框选任意图像区域后,马上弹出可能的AI能力推荐列表(文字识别等)
支持基于场景和动作的在线学习,用得越多越“聪明”,推荐越准
无需转化:鼠标点击,马上在“流程窗”中自动生成自动化流程
为了更清晰、更全面地展示IPA模式的强大功能,这里用日常工作中最常见、使用频率最高的Excel数据处理做个简单演示。
任何直接对数据表的操作
不仅包括,插入行或列,写入单元格或区域内容,自动填充、数据筛选、复制行列、插入新的sheet、重命名sheet、表格里内容的查找替换等
甚至是,复杂的数据透视操作
都会在右侧“流程窗”中自动生成自动化流程,并自动忽略无效步骤,且可以直接运行。
这种所见即所得的数字员工搭建方式,大幅提升数据采集和处理效率,降低了数据自动化处理门槛。
基于以上模式,以某客户真实场景的Excel自动化操作需求为例:
使用传统RPA
相对资深的RPA开发工程师需花4个多小时,通过50多个组件才能完成搭建。
使用实在RPA的IPA模式
无需RPA开发工程师,业务人员自身只需短短6分钟左右即可完成,“流程窗”中生成的动作只有32个,前所未有地提升了工作效率。
同时,IPA模式还支持对复杂页面数据结构的自动分析,实现一键采集整个表格数据。
被需要的智能才是实在的智能。
实在RPA创新IPA模式的实现,得益于在AI领域的快速持续自研迭代。
目前,实在智能已累计获得近40项发明专利授权、获得软件著作权登记近200项,在RPA行业中实授发明专利数长期位居TOP1。
产品是表,技术是里。
用心优化,用AI改变。
本次发布会上,实在智能同时重磅发布了IPA模式背后的全自研创新技术——智能屏幕语义理解技术(ISSUT:Intelligence Screen Semantics Understanding Techonology)。
看到这里,相信大家已经领略了IPA模式的神奇和惊艳,下面我们就抽丝剥茧、正式拆解一下IPA模式背后“变戏法的帽子”:
Action 1:识别屏幕
1.融合拾取3.0技术:使得“元素”皆可拾取
RPA行业中提到的“元素”,指的是屏幕上的图标、文字或区域。RPA要首先识别它们,然后才能自动地点击和操作它们。
基于CV技术的融合拾取,支持无差别识别各类软件
融合拾取技术持续快速迭代,精度速度大幅提升
在前期工作基础上,本次发布的ISSUT技术,解决了“何为元素、能否识别”等问题,只需鼠标轻轻一移、轻轻一点就能完成拾取元素这个动作。
这是实现智能屏幕语义理解的第一步,
也是实现RPA真正人人可用的第一步!
2.动态元素匹配技术:使得“元素”一键适配
RPA行业中提到的“元素”,指的是屏幕上的图标、文字或区域。RPA要首先识别它们,然后才能自动地点击和操作它们。
当文字内容或图标外观发生了改变时, RPA机器人有可能会找不到之前的元素。
这时就是动态元素匹配技术的用武之地:
借助AI算法,轻松处理元素变化情况
一次识别,永久适配
Action 2:理解屏幕
1.页面结构分析技术既能检得更小,也能看得更大
举个栗子:
当我们使用聊天软件的时候,人可以轻松理解软件界面(电脑屏幕),知道哪里是消息列表,哪里是对话输入框……
那么问题来了,
RPA机器人如何准确、快速、更好地模拟人工操作呢?
为此,我们引入了页面结构分析技术,使得实在RPA在“认识屏幕”之外,更可以“理解屏幕”,并可自适应页面拉伸/移动/及文字填充/位移等各种变化情况。其中包含多项独创技术亮点:
页面图神经网络分析
动态缩放自适应
区域内容填充识别
通过页面结构分析技术智能理解聊天软件界面
2.屏幕语义抽取技术:隔屏取物,懂你所见
这项技术,使得IPA模式真正像人一样理解屏幕的每一个部分,将我们的办公直觉投射到屏幕上,实现真正的所见即所得:
在VR中,我们可以隔空取物;
在实在RPA的IPA模式中,我们可以隔“屏”取物——
即,鼠标的每一次滑动,背后的AI算法都将瞬间完成一次计算,分析出屏幕中元素和区域的含义并且推荐相应的自动化操作:
当鼠标滑过一个浏览器图标,
AI就知道它能用来打开网页和搜索新闻;
当鼠标滑过一个对话框,
AI就判断可以输入文字并发送消息;
当鼠标框选一个包含各种文字的区域,
AI就知道可以进行文字识别及抽取。
通过屏幕语义抽取技术理解界面并推荐自动化操作
Action 3:操作预测
1.多模态意图预测从“头秃想想想”到“自如点点点”
对于传统RPA(“专家模式”)
RPA开发工程师往往需要从一堆的组件中找到一个想要的组件,通过“想想想+拖拉拽”完成自动化流程配置;
对于实在RPA(“IPA模式/小白模式”)
多模态意图预测技术,可以支持通过多模态识别和序列上下文挖掘等方法,精准预测用户的每一个操作意图,抹平了从业务场景操作到RPA组件之间的理解鸿沟:
用户的每一次点击就是一次拾取
用户的每一步操作都在配置流程
应用软件操作回到台前,RPA开发退回到幕后,实现二者的真正分离。
2.业务感知推荐:理解场景,操作业务
结合表格检测、场景预测和自然语言处理技术,实在RPA的IPA模式。
不仅可以,自动推荐原子级操作(点击图标、输入文字、鼠标移动);还可以,基于业务场景理解,自动推荐业务级操作:
打开网站登录页面,
鼠标划过登录区域,自动推荐「智能登录」操作;
打开商品列表页面,
鼠标划过任何带有数据区域,自动推荐「数据采集」操作。
通过多模态意图预测技术,感知业务场景并推荐自动化操作
Action 4:在线学习
本次发布会还有一个功能彩蛋:
实在RPA的IPA模式支持在线学习和迭代优化。
这也正是AI产品的魅力之所在!
根据用户的反馈,算法模型将通过在线学习技术和自动优化机制,能够记住选择和喜好,用的越多,推荐越准。
值得一提的是,所有模型算法都内置在用户本地办公环境,操作习惯和数据均不会通过网络上传,并且配置有防护机制,最大限度地保护用户数据隐私安全。
从这个意义而言,实在RPA的IPA模式:
不仅是人人可用的沉浸式超自动化流程配置模式
更是千人千面的个性化数字员工搭建工具
通过技术的“仪式感”,让每个人都拥有专属的、尊重数据隐私的超级自动化产品。
“蝶变”意味着破茧而出,羽化成蝶。
本次发布会选此作为主题,寓意着快速大量的产品创新和功能迭代为实在RPA带来的破茧成蝶,也标志着实在智能超级自动化平台正式跃入“新、广、信、强”的阶段。
越过山丘,IPA模式引领超自动化全新时代。
开启IPA模式的实在RPA产品,叠加实在智能全国产、全自研、全面支持信创的AI产品矩阵,可以通过灵活式组合,轻松搭建各种超级自动化链路,助力千行百业用户打造泛场景的数字员工。同时,安全、稳定、持续创新的技术产品,也会为客户带来实实在在的服务和支持。
这是实在智能的一小步,
却是RPA行业发展的一大步!