大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产;大数据通常用来形容大量的非结构化和半结构化数据。
结构化数据中最基本的数字、符号等，可以用固定的字段、长短和逻辑结构保存在数据库中，并用数据表的形式向人类展现(想一下常见的Excel表格)，处理非常方便。但是互联网时代产生了大量非结构化数据，对于图片、视频、音频等内容，它们的数据量巨大却没有清晰的结构。对于图像的数据，我们只能理解为一个二维矩阵上的无数像素点。非结构化数据增长量很快，据推测将占未来10年新生数据总量的90%。而大数据技术可以通过图像识别、语音识别、自然语言分析等技术计算、分析大量非结构化数据，大大提升了数据维度。
非结构化数据的数量远超结构化数据，蕴含巨大能量，应用前景广阔。例如，在机场等公共场合的个人身份检查，过去只能根据旅客提供的身份信息这一个主要维度去判断其身份。而人脸识别、语音识别等技术应用成熟后，大数据可以直接通过摄像快速比对审核，增加对个人身份判断的维度，进行既精确又高效的安全检查。
NLPIR文本搜索与挖掘开发平台针对互联网内容处理的需要，融合了自然语言理解、网络搜索和文本挖掘的技术，提供了用于技术二次开发的基础工具集。开发平台由多个中间件组成，各个中间件API可以无缝地融合到客户的各类复杂应用系统之中，可兼容Windows，Linux， Android，Maemo5, FreeBSD等不同操作系统平台。
NLPIR是一套专门针对原始文本集进行处理和加工的软件，提供了中间件处理效果的可视化展示，也可以作为小规模数据的处理加工工具。用户可以使用该软件对自己的数据进行处理。
随着大数据时代的来临，大数据也吸引了越来越多的关注。另一方面，近年来，随着语料库语言学的兴起，尤其是随着以Inter信息发布为主的大数据真实文本的出现，自然语言处理和文本挖掘技术也有了突发猛进的发展。
