向善而生的AI助盲,让AI多一点,障碍少一点******
有人说,盲人与世界之间,相差的只是一个黎明。在浪潮信息研发人员的心中,失去视力的盲人不会陷入永夜,科技的进步正在力图给每一个人以光明未来。
AI助盲在人工智能赛道上一直是最热门的话题之一。以前,让失明者重见光明依靠的是医学的进步或“奇迹”。而随着以“机器视觉+自然语言理解”为代表的多模态智能技术的爆发式突破,更多的失明者正在借助AI提供的感知、理解与交互能力,以另一种方式重新“看见世界”。
新契机:多模态算法或将造福数以亿计失明者
科学实验表明,在人类获取的外界信息中,来自视觉的占比高达70%~80%,因此基于AI构建机器视觉系统,帮助视障患者拥有对外界环境的视觉感知与视觉理解能力,无疑是最直接有效的解决方案。
一个优秀的AI助盲技术,需要通过智能传感、智能用户意图推理和智能信息呈现的系统化发展,才能构建信息无障碍的交互界面。仅仅依靠“一枝独秀”超越人类水平的单模态人工智能比如计算机视觉技术还远远不够,以“机器视觉+自然语言理解”为代表的多模态算法的突破才是正确的新方向和新契机。
多个模态的交互可以提升AI的感知、理解与交互能力,也为AI理解并帮助残障人士带来了更多可能。浪潮信息研发人员介绍说,多模态算法在AI助盲领域的应用一旦成熟,将能够造福数以亿计的失明者。据世卫组织统计,全球至少22亿人视力受损或失明,而我国是世界上盲人最多的国家,占世界盲人总数的18%-20%,每年新增的盲人数量甚至高达45万。
大挑战:如何看到盲人“眼中”的千人千面
AI助盲看似简单,但多模态算法依然面临重大挑战。
多模态智能算法,营造的是沉浸式人机交互体验。在该领域,盲人视觉问答任务成为学术界研究AI助盲的起点和核心研究方向之一,这项研究已经吸引了全球数以万计的视障患者参与,这些患者们上传自己拍摄的图像数据和相匹配的文本问题,形成了最真实的模型训练数据集。
但是在现有技术条件下,盲人视觉问答任务的精度提升面临巨大挑战:一方面是盲人上传的问题类型很复杂,比如说分辨冰箱里的肉类、咨询药品的服用说明、挑选独特颜色的衬衣、介绍书籍内容等等。
另一方面,由于盲人的特殊性,很难提取面前物体的有效特征。比如盲人在拍照时,经常会产生虚焦的情况,可能上传的照片是模糊的或者没有拍全,或者没拍到关键信息,这就给AI推理增加了难度。
为推动相关研究,来自卡内基梅隆大学等机构的学者们共同构建了一个盲人视觉数据库“VizWiz”,并发起全球多模态视觉问答挑战赛。挑战赛是给定一张盲人拍摄的图片和问题,然后要求给出相应的答案,解决盲人的求助。
另外,盲人的视觉问答还会遭遇到噪声干扰的衍生问题。比如说,盲人逛超市,由于商品外观触感相似,很容易犯错,他可能会拿起一瓶醋却询问酱油的成分表,拿起酸奶却询问牛奶的保质期等等。这种噪声干扰往往会导致现有AI模型失效,没法给出有效信息。
最后,针对不同盲人患者的个性化交互服务以及算法自有的反馈闭环机制,同样也是现阶段的研发难点。
多解法:浪潮信息AI助盲靶向消灭痛点
AI助盲哪怕形式百变,无一例外都是消灭痛点,逐光而行。浪潮信息多模态算法研发团队正在推动多个领域的AI助盲研究,只为帮助盲人“看”到愈发精彩的世界。
在VizWiz官网上公布的2万份求助中,盲人最多的提问就是想知道他们面前的是什么东西,很多情况下这些物品没法靠触觉或嗅觉来做出判断,例如 “这本书书名是什么?”为此研发团队在双流多模态锚点对齐模型的基础上,提出了自监督旋转多模态模型,通过自动修正图像角度及字符语义增强,结合光学字符检测识别技术解决“是什么”的问题。
盲人所拍摄图片模糊、有效信息少?研发团队提出了答案驱动视觉定位与大模型图文匹配结合的算法,并提出多阶段交叉训练策略,具备更充分的常识能力,低质量图像、残缺的信息,依然能够精准的解答用户的求助。
目前浪潮信息研发团队在盲人视觉问答任务VizWiz-VQA上算法精度已领先人类表现9.5个百分点,在AI助盲领域斩获世界冠军两项、亚军两项。
真实场景中的盲人在口述时往往会有口误、歧义、修辞等噪声。为此,研发团队首次提出视觉定位文本去噪推理任务FREC,FREC提供3万图片和超过25万的文本标注,囊括了口误、歧义、主观偏差等多种噪声,还提供噪声纠错、含噪证据等可解释标签。同时,该团队还构建了首个可解释去噪视觉定位模型FCTR,噪声文本描述条件下精度较传统模型提升11个百分点。上述研究成果已发表于ACM Multimedia 2022会议,该会议为国际多媒体领域最顶级会议、也是该领域唯一CCF推荐A类国际会议。
在智能交互研究方面上,浪潮信息研发团队构建了可解释智能体视觉交互问答任务AI-VQA,同时给出首个智能体交互行为理解算法模型ARE。该研究成果已发表于ACM Multimedia 2022会议。该研究项目的底层技术未来可广泛应用于AI医疗诊断、故事续写、剧情推理、危情告警、智能政务等多模态交互推理场景。
眼球虽然对温度并不敏感,但浪潮信息的研发团队,却在努力让盲人能“看”到科技的温度,也希望吸引更多人一起推动人工智能技术在AI助盲、AI反诈、AI诊疗、AI灾情预警等更多场景中的落地。有AI无碍,跨越山海。科技的伟大之处不仅仅在于改变世界,更重要的是如何造福人类,让更多的不可能变成可能。当科技成为人的延伸,当AI充满人性光辉,我们终将在瞬息万变的科技浪潮中感受到更加细腻温柔的善意,见证着更加光明宏大的远方。
数字教科书:教育转型发展的必选项******
【世界教育之窗】
作者:牛楠森(中国教育科学研究院基础教育研究所副研究员)
新一轮科技革命和产业变革深入发展,全球经济越来越呈现数字化特征,因而世界各国都把数字化作为经济发展重点,覆盖经济社会发展全领域。教育作为影响国家当下和未来政治经济社会全方位发展的重要因素,更是数字化转型发展的关键领域。新冠肺炎疫情的发展,也使得线上线下混合学习成为全球教育不得不采用的新形态。可以说,顺应经济数字发展要求,满足学生不受时空限制的大规模学习需求,教育数字化转型已成关乎世界各国教育生存发展的必选项。
数字化教材的开发与使用是教育数字化转型的撬动因素之一。数字化教材,即以数字形态存在、可装载于数字终端阅读、可动态更新内容、可及时记录交互轨迹的新型学习材料。数字教材是国家教材的新类型,既有教材的一般属性,即它是关联教与学的核心纽带,是国家教育方针的落实载体,也有信息技术产品的一般属性,即开放性、个性化、交互性等。因而,数字化教材被视为撬动课堂教学改革及教育改革的重要支点,是教育数字化转型的重要抓手。世界各国基于各自国情基础和需要,积极探索数字教科书的应用、推广、师资培训、使用效果和评价指标,以构建本国的数字教科书使用体系,保障数字教科书的科学有效使用。
政府是数字教科书的主要推动者
数字教科书不同于一般的数字教育资源,隶属于教科书系列,事关“培养什么人,为谁培养人”的问题。因此,世界各国多由政府直接或间接通过专项计划的形式来推广本国数字教科书的使用。
韩国是世界上较早推行数字教科书且已有成效的国家之一。这同韩国政府二十年来的持续推行密不可分。早在2002—2006年,韩国政府便开始探索建立数字教科书模型。2007年,韩国教育部宣布实施中长期“数字教科书商业推广计划(2007—2011)”,开始进行数字教科书试点,测试数字教科书应用于课堂教学的有效性。2011年,韩国教育部宣布“促进智慧教育的行动计划”,主要任务便是开发和应用数字教科书。2013年,韩国宣布“数字教科书开发和调整计划”,正式启用数字教科书教学,课堂上数字教科书与纸质教科书并行使用。2016年,韩国教育部公布“基于2015年修订课程方案的国家指定/授权中小学数字教科书分类(提案)”,开发易于实施、以学习者为中心、多媒体分级的数字教科书。2018年,数字教科书逐步在普通学校全面推广和应用。根据韩国教育研究信息院2021年发布的教育白皮书,从2014年到2021年,韩国全境使用数字教科书的中小学由163所增长到10755所。
法国政府较为重视在农村地区推行数字教科书,以提高农村地区教育质量和全国的教育公平水平。2009年,法国政府拨发专项资金用于支持农村地区的教育信息化发展,即“数字农村学校项目”主要用于农村的数字化基础设施建设。同年,法国政府推行了一项数字教科书试点计划,向来自12个学区的69所初中的一、二年级学生提供数字教科书,包括法语、历史、地理、数学、物理、化学等学科。该项目于2016年5月结束,累计为15000多名学生和1500多名教师提供了数字教科书。2016年,法国教育部又联合投资总署实施“创新的数字学校和农村计划”,用于支持农村地区小学的教育数字化创新发展,进一步完善农村地区学校的带宽等信息化基础设施建设。法国教育部下属的教学项目、教师专业发展和数字发展办公室负责数字教科书推广相关工作,如开发在线平台、组织教师培训并提供多学科课程教育资源。
美国的数字教科书推广也是政府行为,但由州政府先发起,联邦政府支持肯定,再颁布全国计划。美国第一个数字教科书项目,是时任加利福尼亚州州长阿诺德·施瓦辛格于2009年提出的“免费数字教科书计划”,同年,加州法案通过允许K-12公立学区为学生提供数字教科书的规定,允许地方购买达到国家规定的幼儿园和1—8年级数字教科书,以及达到州政府标准的9—12年级数字教科书。2012年10月,时任美国教育部部长阿恩·邓肯呼吁全国学校尽快采用数字教科书。随后,美国教育部与联邦通讯委员会颁布《数字教科书指导手册》,构建了数字教科书建设的系统框架,用于指导全美的数字教科书事业发展。但美国政府并未全权领导和推动数字教科书事宜,2001年成立的美国国家教育技术总监协会是主要的执行推动者,该协会以推动全美教科书电子化为使命,并同美国各州和地方政府形成长效合作机制,发布《美国数字化教科书发展报告》,提供相关的数字教科书资源和软件,引领和支持各州的数字教科书发展。
数字教科书有效运行需要持续投入
数字教科书的数字属性,对国家信息化水平、校园和家庭信息化条件、终端设备等均提出了要求。同时,信息技术发展迅速,基础设施更新换代率极高,进一步抬高了数字教科书的使用成本。面对这个客观现实,各国的应对策略不同,但均持多元路径、积极投入的态度。
法国在“数字教育战略”规划下,为加强学生数字能力、促进教师专业发展和激发教学创新,在学校的数字化基础设施和设备上投入了大量资金,2013—2017年便投入了约23亿欧元,为中小学师生配备高水平的数字化和网络数字设备。
德国2019年正式启动“中小学数字化协议”项目,计划此后五年每年投入5亿欧元用于学校信息化平台建设。2020年,德国在向欧盟提交的《国家恢复和复原力计划》申请中,明确设置了专项资金支持“教育数字化”计划,用于教师数字教育资源和数字技能的数字设备支出,以及开发德国数字教育平台。
韩国科技部发布《2021年数字新政行动计划》,将资助128亿韩元为“教科书试点项目”完善硬件设施,为累计270000间中小学教室安装高性能Wi-Fi,提供约80000台平板电脑。此外,为丰富数字教科书内容,韩国也在积极推进完善《促进远程教育框架法》的立法工作,并修订《教育用著作权作品指南》以扩大中小学教育用著作权作品范围。
数字教科书进入学校的两种路径
不同国家的数字教科书开发模式不同,也会影响数字教科书进入学校的方式。
在韩国,数字教科书是由教育部主导开发与部分授权相结合。根据课程和学习阶段,数字教科书有不同的授权和批准系统,基于“2015年修订课程方案”,小学三、四年级的社会研究和科学科目由国家指定开发,初中一年级的社会研究和科学科目由私人出版商开发、政府部门验收授权后投入使用。因而,在经历了国家主导开发或授权审查后的数字教科书,可以直接推行至学校。当然,这种推行并非是全面铺开,而是试点制逐步推行。2007年,在数字教科书推行的初始阶段,韩国教育部选择了小学五、六年级的部分科目,首期选了20个试点学校,后扩大到100所。至2020年,韩国教育部的报告表明,小学三、四年级、初中一年级的社会研究、科学、英语科目,小学五、六年级和初中一到三年级的社会研究、科学和英语,以及高中三年的英语科目,都应用了国家授权的数字教科书。换言之,除了小学低段的一、二年级,整个基础教育阶段其余年级的部分学科已经应用数字教科书。
在美国,各州政府会参考美国国家教育技术总监协会提供的数字教科书采购指南,组织相关部门对出版商开发的数字教科书进行审核,通过后投入学校使用。以加利福尼亚州为例,教学质量委员会作为州教育部门的咨询机构,负责监管数字教科书评审、建议和任命专家审查小组成员,小组成员一般包括教师、管理人员等教学评审专家,以及专门负责内容审查的专家。教学质量委员会在参考专家审查意见的基础上,为州政府提交数字教科书审查报告。与此同时,教学质量委员会还会收集整理公众对数字教科书的审阅和评论,并撰写研究报告。州政府综合这两份报告,并召开三次公开听证会,充分考虑民众意见后,发布教科书采购清单,供所在州和地区的学校参考。
数字教科书对学生的多元成效
从理论上来说,数字教科书可以通过互动性和多媒体功能,帮助学生更好掌握相关知识,也可以增强学生的信息素养,帮助他们适应数字化社会等。换言之,只有对学生发展真正起到独特而不可替代的作用,才是数字教科书存在和发展的根本依据。
韩国学者使用个案研究、访谈观察等实证研究方法来探究数字教科书对学生的影响。他们发现,在课堂上使用数字教科书的学生在学业成绩、解决问题能力方面要高于使用纸质教科书的学生,数字教科书也有助于提升学生的学习态度、兴趣、动机和自学能力,对学生学习动机的影响要高于对学生成绩的影响。具体来说,随着学生使用数字教科书的时间和频率的增加,学生将获得多方面提升:一是自主学习能力提高,如学生能为自己制定计划,并按照计划进行,同时,设定优先级并首先做重要的事情;二是创新与创造能力显著提高,学生能运用创新思维和方法解决问题等;三是信息素养有所提升,如学生可以收集学习所需信息、用收集到的信息弥补知识空缺。此外,研究发现,教师对数字教科书使用的热情越高,学生的信息素养能力也越高,但与学生的自主学习能力、创新创造能力之间并无显著相关。
关于“数字教科书的使用能够显著提升学生学习动机”这一结论,在美国和英国也得到证实。美国学者通过为处于成绩上游、中游和下游的小学一年级学生提供数字化书籍,再采用问卷调查和一对一访谈的方式,发现使用数字教科书提高了学生学习动机水平。英国学者对11—12岁的小学生进行分组实验研究发现,相较在课堂教学中使用纸质教科书的对照组,使用数字教科书学生的小组成绩和个人成绩更高,学习态度也更积极,学习动机水平更高。
多路径提升教师数字教科书教学能力
数字教科书并非传统纸质教科书的数字化,它是一种新型的教学载体,对教师的学科知识、知识跨度,信息素养、教学整合能力都提出了更高要求,对其所习惯的传统教学方式也提出了挑战。数字教科书的推广过程,也是教师教学能力的转型过程,所谓老路走不到新目的地,因而各国纷纷采取积极策略提高教师的数字教科书教学能力。
美国国家教育技术总监协会提出,各州和地区必须为教师提供专业的信息化培训课程,内容涉及资源使用培训、同伴辅导、持续的专业学习等;培训目的在于让教师有能力选择符合课程标准、支持所有学生使用的数字教科书,持续提高教师信息化素养。
为提升教师数字化水平和技能,法国采取了培训与认证两种路径并行的方式。在项目培训方面,既有专门的数字化培训项目,如法国的“教育数字领地”计划将教师培训作为关键措施之一,根据教师个体需求、背景和专业知识水平,将数字化技术作为培训主题;也有一般类的教师专业发展培训中的“信息化”专题,自愿选择该专题的教师比例从2013年的39.8%增加到2018年的50.2%。在资格认证方面,2007年,法国教育部以教育法令的形式颁布了中小学教师专业能力标准,将信息与通信能力纳入教师十大必备专业能力,只有获得国家规定的计算机与网络二级认证证书,才有机会获得教师资格证。
韩国多措并举提升教师数字化教学能力。首先,制定专门的数字教科书培训计划,派遣指导顾问入校提供现场培训。其次,学校自主建设校内数字教科书学习社群,在学习社群里,教师自愿贡献优秀案例并进行经验交流,以学习共同体的方式提升数字教科书应用能力。另外,2021年,支持教师信息通信技术能力提升的在线平台ITDA交付使用,为教师提供了更丰富的数字教科书资源,更为开放的交流平台。
(本文系国家社科基金教育学重点课题“新时代五育融合实践路径与评价改革研究”)
《光明日报》( 2023年01月05日 14版)
(文图:赵筱尘 巫邓炎)