今日律司
编辑于 2022-05-17
随着5G技术的不断发展，万物互联进一步得到普及，数字化也不断渗透进企业和个人工作生活的方方面面。而伴随数字化发展而来的，则是难以被直接使或并产生价值的互联网海量数字化信息。
Gartner 统计
Statista.com 统计
据Statista统计发现，2020年全球数字化信息量已经达到50.5万亿GB。而在Gartner的数据统计中显示，目前各企业的数据湖中，却仅有10%的数据是有意义的。
数字爆炸下，我们在各种碎片时间里阅读更加破碎的一条条新闻或短视频，却越来越难以从全貌了解整个世界发生的变化。各个企业的数据也变成了一个一个的孤岛，并不是数据不连通，而是想要消化理解万物联通后的数据更难了。
数字化虽然帮我们解决了数据存储、跟踪、互联等问题，但随之而来的数字爆炸，以及背后如何更好地感知信息、理解数据、快速决策，都成为当前企业的一大挑战。
结构化数据：为了更好地感知信息
人们对短讯息的需求量远远超过了对于完整新闻的需求。目前基于深度学习的自然语言处理技术的快速发展，我们已经可以通过机器学习的方式自动从海量分非结构化数字信息中抽取事件等实体。信息抽取后的内容，被称为结构化数据。
结构化数据可以帮我们更直观的了解信息。我们不用阅读成百上千的文字，只需要短短几个单词，就可以明白发生了什么，相当于有一个阅读助理帮助我们总结信息的中心思想，大大提升了阅读效率。
同时，结构化数据也可以使软件或服务系统对信息进行处理。软件系统无法理解人类的信息，但是可以理解结构化后的数据。如果说OCR技术（Optical Character Recognition,光学字符识别）是对文档进行数字化处理，那么基于自然语言处理的信息抽取是对数字化信息进行结构化处理，而只有结构化后的信息才可以使得数以万亿的数据产生价值。几年前我们常听到得数据者得天下，那么现在应该是得结构化数据者得天下。
目前我们正处于电子化阶段到结构化阶段转型的时间点。面对海量的非结构化数据，我们只能盲人摸象。而只有完成结构化转型，企业才能对市场更加了解。DaaS（数据即服务）指的就是结构化的数据，也只有结构化的数据才可以形成服务。
1STEP.AI通过机器学习对图标和表格结构化
结构化阶段的产品可以使数据更好的提供服务给使用者，同时也可以给其他的系统提供服务。但是结构化后的数据依然是分散的数据，这些数据无法形成系统，也无法对决策进行支持。
我们日常阅读大量的信息，其实是想对现状进行系统性的了解，从而辅助做出决策。比如一个交易员需要对金融市场相关的事件保持高度的了解，这可以帮他作出更好的交易决策；一个技术工程师对新技术的信息理解，可以使得他对系统设计做出正确的决策。
所以对信息的全面了解程度是作出正确决策的重要保证，而知识图谱是一个很好的梳理、关联结构化数据的方法。知识图谱可以对数据进行深层次关联和推理，将结构化的数据变成知识是知识化阶段的重要过程。
在知识化阶段，我们把海量的数据关联起来，通过知识图谱和机器学习，对知识节点进行快速的整理和理解。知识化阶段是机器从感知到认知的过程，通过机器高速的运算能力，对抗海量的数据积累，让机器通过知识图谱为我们绘制整个图谱，从而提供智能决策辅助企业经营。
为了从海量的数据中解放出来，我们可以使用KaaS（知识即服务），除了节省看数据的时间，它还能提供智能辅助决策。
比如在知识化阶段，交易员就可以直接获得各个板块的涨跌预测建议并通过知识图谱给出证据支撑，技术工程师也能直接获得最佳的技术方向选择并获得证据支撑。
KaaS能做到这些，其实是通过人工智能技术和知识图谱的解决方案，有效地将信息结构化成数字化的实体，建立以实体为单元的关系网。通过关系网进行实体和实体的推理和运算，从而加速企业知识化进程，为企业运营提供智能决策。比如1STEP.AI就曾通过KaaS方案向多个企业提供了智能大脑方案，帮助企业从海量数据中梳理知识图谱，提供决策支撑。
目前，很多企业已经开展了电子化阶段到结构化阶段的转型。202x年，企业需要做结构化阶段到知识化阶段的准备。但这个过程中，不通场景的技术仍然面临不同的问题，新的数字化技术趋势也在不断迭代中。
比如KaaS，虽然能辅助企业决策，但不同于传统软件开发，KaaS的建立需要企业提供一定的数据，但企业往往是不愿意对外提供数据的，那么隐私增强学习（Privacy Enhancing Computation）就很必要。它涉及到数据脱敏、数据增强等技术，可以在涉及企业隐私数据的要求下提供增强学习的方案，是未来一个必不可少的技术方向。
另一方面来说，企业的数据问题也反映出企业对人工智能和知识图谱类项目开发的理解和接受程度不够。这就需要人工智能工程（AI Engineering）支持，它就像传统的软件工程一样需要为企业和人工智能开发团队之间建立一套完整的工程化理论，使得项目理解、项目实施和项目验证都有系统化的方法和工具。
而前文我们也提到，随着5G技术的普及，万物智能将逐步进入人们的工作生活中。数据的来源不只局限于互联网和文档等，大量的数据将在人们的日常生活和生产的行为中产生，行为互联网（Internet of Behaviors）可以有效地将行为数字化，不过IoB提供的数据往往是较为直接的真实数据（相对于互联网上各种虚假信息、不及时的信息等等）。
行为互联网通过不同设备、不同类型的行为提供数据，但难以提供海量的训练数据，在这一方面，未来迁移学习或小样本学习也将会在该领域起到重要作用。
5G技术下的万物互联
除此之外，知识蒸馏也将是未来数字化很重要的一个技术趋势。这是由于5G的出现，随处运营（Anywhere Operations）将知识化的结果应用到各个地方，知识在边缘端很难提供像中心云一样的计算能力，而知识蒸馏则能将大型的知识图谱简化成边缘云可以运行的小型有效知识图谱。
通过知识蒸馏后的边缘数据服务
总得来说，从非电子化到电子化、从电子化到结构化，再从结构化到知识化的转型，其实就是从获取数据、理解数据到运用数据的过程。
企业在未来十年没有知识化系统，就像现在没有使用电脑和互联网一样落后。所以，数字化的未来十年就是结构化和知识化阶段的转型。
相关资讯 
