虽然中考英语听说考试已在各省市普及,但“智能双评+人工仲裁”的评分机制,近几年才开始推行。
“双机评”通过多个智能语音评测引擎的评分结果进行比较和综合,可减少单一评分系统可能存在的误差。
那么,在实践过程中,两家技术公司如何实现“双机评”的高效协同呢?为此,驰声凭借逾10年中高考英语听说考试双机评的丰富经验,制定了“智能双评+人工仲裁”SOP,用标准化、精细化的服务,保障每次评分工作规范、专业、安全、保密。
和而不同,两个AI大脑的合作之旅
为什么说,在中考英语听说考试中,采取两家机评厂商“智能双评+人工仲裁”是个好机制呢?
“和而不同”这个词,恰如其分的形容了英语听说考试中两个AI大脑的合作之旅。“双机评”需要保证两个评分方案是完全独立的算法和思想,才能够互相印证、互相质检、互相均衡,达到最终的评分稳定、不出错。如果采用一家厂商的两种评分方案,实际上是“近亲繁殖”,极不可取。
当然,只有两家技术厂商之间对接顺畅,教育局方能减少协调管理的沟通成本,“智能双评”方案才能有效推行。
然而,目前有“双机评”实践经验的技术公司并不多。在考评场景中,两家公司如何进行角色分配、阶段目标设定、考试数据交接,甚至采用哪种音频格式、表单形式交接会更安全便捷,都只有实践才能出真知。
精耕细作,用SOP规范每一步评分
这些年,在上海、沈阳、盘锦、宜昌、大连等地的中考英语听说考试双机评项目中,驰声连连中标,用高可靠、高准确、高效率的考试级AI口语评测引擎和专业扎实的服务。
基于积累的双评合作经验和心得,驰声梳理出“智能双评+人工仲裁”SOP,六大流程,覆盖了考前筹备、人工定标、机器自适应学习、机器评分、提交成绩、人工仲裁——
环节一:考前筹备
组建服务项目组,包含项目经理、技术工程师、算法工程师、教研老师、服务监管等人员,组织内部培训,明确岗位职责。
准备好充足的服务器和客户端设备。
参与 1-2 次模考评分。
环节二:人工定标
与教育局/考试院明确评分标准,与主评厂商对接人工定标数据,对接流程顺畅、规范、专业、安全、保密。
环节三:机器自适应学习
算法通过自适应学习的方式学习定标集上的内在评分准则,让 AI 更加全面地理解和掌握专家老师的评分标准。
环节四:机器评分
驰声项目组到教育局指定现场部署服务器,搭建评分环境,接收考试数据,对中考试卷机器评分。
评分结束后,对结果进行质检,并根据教育局需求提供考情统计分析。
撤场前,清理服务器数据。
环节五:提交成绩
根据教育局指定格式提交成绩、异常音频列表、项目报告。
环节六:人工仲裁
两家机评厂商提交的成绩中超出阈值的大分差数据,将由评分专家进行仲裁。
合作无间,好沟通,助“双评”
在屡次技术验证中,驰声机器评分系统标准化、规范化,算法稳定,驰声机评结果与真人专家的评分结果一致性相当接近,为中高考英语听说考试提供了强有力的技术支撑。
针对“双机评”模式,驰声还设计了完备的效果保障机制、运营监控机制以及应急预案,可确保最终成绩的公正、准确、严谨、可信,增强公众信任。
在沟通协作方面,各地教育部门也给予驰声满分信赖。不论与哪家友商合作,驰声都充分理解与尊重合作伙伴的工作方式,数据对接规范、衔接流程顺畅。
也因此,驰声成为全国各地教育考试院「智能双评」方案优选的语音技术厂商之一。
未来,驰声仍将不断完善评分逻辑和原理,打磨「智能双评」方案,一路护航中高考考评公平与安全,守护好每个孩子的“人生大考”。