非结构化数据分析在审计实践中的尝试

当我们刚刚认识到结构化数据的分析还有很长的路要走时，非结构化数据分析也越来越需要我们给予关注并在审计实践中进行尝试。在审计实践中，审计人员接触的非结构化数据其实是很多的，这些非结构化数据存在于大量经济合同、总结报告、销售回访音频文件、业务影音资料、业务方案、签到表、巡检表等等。其实，很多审计人员都曾经做过一些初级的非结构化数据分析，例如在word文档里搜索关键词、敏感词，试图发现一些审计线索，又例如有的审计人员凭借自己的经验在会计电子凭证的摘要里寻找审计线索，也取得了较好的效果。

随着电子化的普及，越来越多的经营管理信息储存在电子媒介中，审计人员需要的资料几乎都能在信息系统中可以查到。如果能掌握一些非结构化数据分析方法和技术，审计人员将省去大量翻阅纸质档案、花费大量时间听录音、看视频等。

非结构化数据分析应用在审计实践中，至少能发挥以下作用：

1.拓展审计思路。非结构化数据一般在组织所有的数据中占比70%-80%，通过对非结构化数据的分析，能够发现更多的经营管理信息，也就能为审计人员提供更多的审计思路。

2.提高审计效率。通过非结构化数据分析，减少了肉眼等生理识别受时间、强度影响的限制，使非结构化数据的处理更加快速，同时也提高了非结构化数据档案的利用率。

3.揭示风险原貌。非结构化数据蕴含着大量的风险信息，通过分析，使审计人员能够对相对全量的风险信息进行评估。

4.降低审计风险。由于传统上对非结构化数据采取的人工抽样识别与分析，往往因为抽样量和审计人员敏感性低而不能发现更多的风险，从而也加大了审计风险。

非结构化数据分析的一般流程

见下图：

1.非结构化数据转换。通过使用一些软件工具使非结构化数据转化为文本数据，目前图片、音频、视频的转换难度较大，准确率相对较低。

2.文本数据处理。文本数据根据审计人员的需求，转换为结构化数据。

3.应用场景分析。基于应用场景的不同，通过提取关键词、关键字、词向量等数据，设计算法，开展聚类等分析。

4.审计确认。根据非结构化分析获取的疑点，结合审计人员的经验判断，在现场或非现场进行疑点的核实，通过疑点的核实对问题整体进行确认。

非结构化数据分析的难点：

1.审计人员的动力不足。因为各种条件限制，且要花费大量时间去学习新技能，短期内成果不明显。

2.系统及工具等硬件不支持。首先，一些非结构化文档并未实现电子化，也就没有进入信息系统，单纯依靠审计人员挨个扫描工作量大。其次，审计部门没有购买相应工具、软件。再次，需要有储存非结构化数据转化为结构化数据的数据库。

3.应用场景分析有待加强。非结构化数据无论在转换为结构化数据，还是进行相关分析，都离不开审计人员的经验以及对可能发生风险的预判，也就是哪些场景下可能发生风险事件。

实施非结构化数据分析的策略

循序渐进：审计部门可以先易后难，从最容易入手、数据量相对少的地方开始非结构化数据分析，使审计人员一边学习一边摸索经验。

经验萃取：把审计人员的经验转化为逻辑模型，再从逻辑模型丰富为数据模型，使经验可以语言化、数字化。

场景预演：场景预演比案例分析更能提高审计人员的分析能力和知识学习能力。案例是已经发生的，场景预演既要具备实践经验还要具备不断增加的业务知识储备，通过将场景预演结果与实际作业结果进行对比，改进分析方法和完善作业程序。

上面所说的，技术专家们估计会觉得都是小儿科、不值得一提的内容，但是包括笔者在内的许多审计人员确实需要从入门开始学习，在条件不成熟的情况下，自己摸索方法和技术，为今后全面的数字化审计做准备。