首页  >   档案要闻

数字胶片——一种新的可能

发布时间:2023-04-27

    自信息化时代开启以来,电子档案备份与长期保存一直是档案界关注的一个永恒话题。本文重点从3个方面探讨这一话题。一是要落实好习近平总书记提出的“四个好”“两个服务”目标要求,其中“保管好”是前提,可见保管好电子档案十分重要。二是从数量上看,根据《2021年度全国档案主管部门和档案馆基本情况摘要》,截至2021年底,全国各级国家综合档案馆馆藏电子档案及档案数字化副本分别约为1630TB和24000TB。而梁启超作为中国写作效率最高的作家之一,所著《饮冰室合集》共1200万字,目前我国电子档案存量相当于7500万套《饮冰室合集》;如果按照《中国档案事业发展报告(2022)》计算,该书共50万字,电子档案存量相当于18亿本该书;如果按照中国人民大学图书馆410万册的藏书量计算,相当于182.93个该图书馆。三是风险,风险无处不在,后文可见有关风险的内容。

   在电子档案长期保存方面,硬磁盘、固态盘(SSD)、磁带和光盘是4种众所周知且都在使用的载体。硬盘、固态盘由于使用年限短(3—5年),需要频繁迁移数据;LTO磁带存储数据量大(LTO9能到15TB),但需要倒带,且磁带机的读和写分别只向下兼容两代与一代;普通光盘(CD、DVD)基本上被淘汰,蓝光光盘的存储寿命用了一个比较大的数字——“30年”来描述,但这个“30年”有两个“不靠谱”。

   第一个“不靠谱”,即在2019年发布实施的档案行业标准DA/T 74《电子档案存储用可录类蓝光光盘(BD-R)技术要求和应用规范》中,要求档案级可录类蓝光光盘保存寿命大于30年。事实上,光盘技术的研究始于1961年,由美国斯坦福大学和3M公司率先开始,1972年形成产品LD(激光盘),1985年CD上市,1995年DVD上市,2002年BD(蓝光光盘)上市。蓝光光盘从诞生开始距今只有21年,很难得出它的使用寿命能达30年这么一个愿景。

   第二个“不靠谱”,则是刻录用蓝光光盘的前景。据今年1月28日《电脑报》报道,日本电子巨头松下宣布2月停产刻录用蓝光光盘。目前,仅有来自日本以及我国大陆和台湾地区的很少的几家企业在生产、销售蓝光光盘。如果预测的话,就像当年我们用的录音机、随身听一样,自松下宣布停产开始,意味着一个时代的结束。

   如何找到一个比较靠谱的、能够长期存储电子档案的载体?这就是近年来国家档案局档案科学技术研究所主攻的一个方向——数字胶片。

   数字胶片技术是缩微影像技术与计算机技术的整合应用,利用胶片载体性质稳定、可保存数百年的优势,结合计算机编解码转换和算法扩容,实现真正意义上的数据长期安全保存和快速有效利用。

   数字胶片技术应用主要流程为:首先,利用数字编码技术将各类电子档案信息(文本、图像、音视频、数据库等)进行编码等处理,形成二维码图像。然后,再采用反射投影的方式将二维码图像打印到胶片上,通过冲洗制作成存储电子档案的胶片盘,进行数据备份和长期保存;最后,通过批量扫描识别胶片上的二维码图像,解码还原为原始电子档案信息,实现电子档案的还原利用。

   数字胶片技术的落地应用,共有3个技术难点。

   难点一是如果要在胶片中存储更多的信息,那么二维码单位面积内的点数要多、点要足够小。这个技术难点在胶片端解决了,但在芯片端没有解决。目前,美国德州仪器公司生产的DMD(数字微镜器件)芯片,每块芯片上有800多万个反光单元,可以实现4K精度的二维码图像写入。但是,由于美国贸易限制,只在中国销售2K精度的DMD芯片,未来还存在被“卡脖子”的风险。而相关国产芯片厂商技术上与国外仍有较大差距。

   难点二是通过增加二维码点阵色阶,进一步提高信息密度,现在这个难点已基本解决。目前,我们提高了二维码图像的灰度分辨率,实现了每个点的四阶颜色(黑、白、2种灰度)。在扩容方面,将进一步利用多种技术手段提高二维码图像灰度分辨率,甚至可以考虑彩色,实现胶片存储量的几何级指数扩容。这个难点通过迭代可以解决,只是时间问题。

   难点三是通过算法进行数据压缩。比如,大家使用的手机原图非常大,但是用JPEG格式压缩至几百KB大小也够用。在将电子档案数据进行二维码编码之前,可以先进行多种方式的数据压缩,以进一步提高胶片的信息承载量。

   数字胶片技术最早诞生在挪威,全套设备需要1500万元人民币,绝大部分档案馆都难以承担。如果仅制作数据,每TB数据的成本是25万元,则1630TB数据的成本需要约4亿元。而且,还存在“卡”字的问题。例如,俄乌冲突后,俄罗斯遭西方禁运,无法从德国、美国进口胶片,转而从中国乐凯采购。能生产的一定不制裁,无法生产的才制裁。硬磁盘、磁带、光盘等主流数据存储载体的相关技术专利和生产工艺基本被外国企业垄断,“卡脖子”是我们在数据长期存储领域遇到的最大风险。

   所以,我们按照《“十四五”全国档案事业发展规划》提出的重点开展电子档案长期安全保存等重大课题研究等相关要求,申报了国家档案局重点科技项目“档案数字资源备份策略及数字胶片技术应用研究”。该项目由5家单位共同承担,国家档案局档案科学技术研究所牵头,上海鸿翼档案信息技术有限公司、中国人民大学档案学院、上海市高级人民法院和中国乐凯集团有限公司参与。项目成果主要为:一套档案数字资源备份工作方案,适用于不同层级档案部门;全套数字胶片设备,包括数据写入、数据读取、胶片冲洗设备,以及配套的数据读写管理和编解码处理软件系统;一款国产化数字胶片,胶片性能满足实际工作需求;一套标准规范,包括电子档案输出到数字胶片技术规范、长期保存数据编解码规范、数字胶片保存规范等。

   党的二十大报告提出,“坚持创新在我国现代化建设全局中的核心地位”。我们理解,档案科研就是给档案事业、档案行业提供了一种未来的新的可能。结合国际大背景和新时代要求,我们认为,数字胶片将对传统缩微产生颠覆性影响、给电子档案长期保存带来革命性变化,是实现“保管好”要求的坚强科技支撑。

   路虽远,行则将至;事虽难,做则必成。经过两年努力,我们已经掌握数字胶片技术原理,已经形成核心技术的国产方案,现已完成样机研发,今年年中将完成实战和试点。

   (本文据第二届档案事业发展学术交流会主旨发言摘编)

   原载于《中国档案报》2023年4月27日 总第3975期 第三版



来源:中国档案报    作者:柴德华