农业大数据与农产品监测预警
发表日期：2015-01-27 02:53AM 阅览次数：
摘要：随着海量信息的爆发，农业跨步迈入大数据时代。在大数据的推动下，农业监测预警工作的思维方式和工作范式发生了根本性的变化，农产品监测预警的分析对象和研究内容更加细化、数据获取技术更加便捷、信息处理技术更加智能、信息表达和服务技术更加精准。伴随大数据技术在农产品监测预警领域的广泛应用，构建农业基准数据、开展农产品信息实时化采集技术研究、构建复杂智能模型分析系统、建立可视化的预警服务平台等将成为未来农产品监测预警发展的重要趋势。在大数据时代，农产品监测预警工作应该形成大思维，开展大合作，迎接大挑战。
近年来，随着物联网、云计算、移动互联、LBS(locationbasedservice)、遥感及地理信息技术等的飞速发展，农业数据呈现海量爆发趋势，农业跨步迈入大数据时代。大数据成为和物联网、云计算、移动互联网同样重要的技术和趋势。搜集数据、使用数据已经成为各国竞争的一个新的制高点。大数据也为农产品监测预警工作带来了新的发展机遇，数据驱动决策的工作机制悄然形成，将极大地改变农产品监测预警工作方式，引起农产品监测预警工作模式的根本变革。
1农业大数据时代的农产品监测预警
农业大数据是大数据在农业领域的应用和延展，是开展农产品监测预警工作的重要技术支撑。“大数据”一词，最早由阿尔文·托夫勒在1980年发表的《第三次浪潮》中提过。其后，随着物联网、云计算、移动互联、智能终端等技术的发展，大数据才迅速进入人们的视野。《Nature》和《Science》杂志先后对大数据做了专题性介绍，美国等国家纷纷提出大数据研究与发展计划以及相关战略，大数据一夜之间成为广泛关注的焦点。大数据的兴起，在数据来源、数据规模、数据类型、数据处理方式和数据思维等方面发生了显著的改变，为农产品监测预警发展提供了重要的基础支撑。
1.1农业大数据的类型
究竟何为农业大数据?农业大数据是融合了农业地域性、季节性、多样性、周期性等自身特征后产生的来源广泛、类型多样、结构复杂、具有潜在价值，并难以应用通常方法处理和分析的数据集合。它不仅保留了大数据自身具有的规模巨大(volume)、类型多样(variety)、价值密度低(value)、处理速度快(velocity)、精确度高(veracity)和复杂度高(complexity)等基本特征，还使得农业内部的信息流得到了延展和深化(图1)。
根据农业的产业链条，目前农业数据主要集中在农业环境与资源、农业生产、农业市场和农业管理等领域。农业自然资源与环境数据主要包括土地资源数据、水资源数据、气象资源数据、生物资源数据和灾害数据。农业生产数据包括种植业生产数据和养殖业生产数据。其中，种植业生产数据包括良种信息、地块耕种历史信息、育苗信息、播种信息、农药信息、化肥信息、农膜信息、灌溉信息、农机信息和农情信息；养殖业生产数据主要包括个体系谱信息、个体特征信息、饲料结构信息、圈舍环境信息、疫情情况等。农业市场数据包括市场供求信息、价格行情、生产资料市场信息、价格及利润、流通市场和国际市场信息等。农业管理数据主要包括国民经济基本信息、国内生产信息、贸易信息、国际农产品动态信息和突发事件信息等。
农业大数据的来临，使得全面、多维感知农业成为可能。第一，大数据使得农业进入全面感知时代，用总体替代样本成为可能。例如，在传统农业调查中，只能是利用合理的抽样去无限接近总体，用样本推断总体，而现代信息技术使得直接面对农业客体全部数据成为可能。第二，事物认知进入多维关联时代。每一种数据来源都有一定的局限性和片面性，只有融合、集成各方面的原始数据，才能反映事物的全貌，事物的本质和规律往往隐藏在原始数据的相互关联之中。数据量的增大使得相关关系重要性凸显，有时可以通过分析事物之间的相关关系，得到意想不到的价值。例如谷歌的流感预测、网络搜索数据与CPI相关性研究均是较好的事例，农产品的播种面积和市场行情就可以通过前期种子的销售数量进行预测。
1.2农产品监测预警对大数据的需求日益迫切
农产品监测预警是对农产品生产、市场运行、消费需求、进出口贸易及供需平衡等情况进行全产业链的数据采集、信息分析、预测预警与信息发布的全过程。农业大数据贯穿于农产品的产量形成、产销流通和产品消费的整个过程，大数据技术、农业物联网技术将实时捕捉数据，形成信息流。通过大数据智能分析技术将全面揭示信息流的流量、流向，并对农产品全产业链的过程进行模拟，针对关键节点进行分析，最终实现动态预警和精准调控(图2)。
农产品监测预警是现代农业稳定发展最重要的基础，大数据是做好监测预警工作的基础支撑。农业发展仍然面临着多重不安全因素，急需用大数据技术去突破困境。第一，农业生产风险增加，急需提前获取灾害数据，早发现、早预警。根据中国统计年鉴我国每年因灾损失粮食约5000万t，如果能提前预警，将对我国粮食安全做出重要贡献。像美国的EarthRisk公司利用其旗舰产品TempRisk，对60年的气象历史观测数据，基于820亿次计算进行天气分析、识别和预测，最长可提前40d生成冷热天气概率；第二，农产品市场波动加剧，“过山车”式的暴涨暴跌时有发生，急需及时、全面、有效信息把握市场异常，稳定市场形势。以猪肉价格为例，2006年上半年猪肉价格持续下跌，2007年下半年出现暴涨，2009年上半年又大幅度下降，2014年再现波动。只有充分利用及时、有效的信息才能化解市场信息的不对称，防止市场剧烈波动频繁发生；第三，食物安全事件频发，急需全程监管透明化，惩戒违规行为。2008年三聚氰胺事件、2010年海南毒豇豆事件、2011年瘦肉精事件、2013年“黄浦江死猪”、湖南大米“镉超标”等食品安全事件之所以时有发生，与缺乏质量监管以及信息不足有很大关系。
2大数据推动农产品监测预警全面变革
大数据是“人类社会-物理世界-信息社会”三元世界沟通融合的重要纽带，其形成的信息流贯穿于农产品生产、流通、消费各个环节。大数据的发展正在改变着传统农产品监测预警的工作范式，推动农产品监测预警在监测内容和对象、数据快速获取技术、信息智能处理和分析技术、信息表达和服务技术等方面发生深刻变革。
2.1监测对象和内容更加细化
随着农业大数据的发展，数据粒度更加细化，农产品信息空间的表达更加充分，信息分析的内容和对象更加细化。传统的农产品监测预警常常存在“抓大放小”的问题，抓住了粮、棉、油、糖等大宗农产品，而忽视了小宗鲜活农产品，造成生姜、大蒜、绿豆等小宗产品价格“过山车”式的波动，一度造成市场不稳，因此，市场环境下任何品种都应当予以恰当关注。伴随移动信息获取手段和设备的改进，数据获取变得更加快速和便捷，分析对象也从“总体”监测向“细化”监测转变。农产品的质量风险和市场风险既是“产出来”的，也是“管出来”的，过去受制于信息监测手段和设备的局限，无法实现全产业链的监测预警，而大数据技术则突破了这一困局，使得农产品的分析产品涵盖大宗、小宗农产品，监测预警内容从总体供求向产业链、全过程监测扩展，预警周期由中长期监测向短期监测扩展，预警区域由全国、省域向市域、县域、镇域，甚至是具体的田块扩展(表1)。
农业系统是一个包含自然、社会、经济和人类活动的复杂巨系统，在其中的生命体实时的“生长”出数据，呈现出生命体数字化的特征。农业物联网、无线网络传输等技术的蓬勃发展，极大地推动了监测数据的海量爆发，数据实现了由“传统静态”到“智能动态”的转变。现代化的信息技术将全面、及时、有效的获取与农业相关的气象信息、传感信息、位置信息、流通信息、市场信息和消费信息，全方位扫描农产品全产业链过程。在农作物的生长过程中，基于温度、湿度、光照、降雨量、土壤养分含量、pH等的传感器以及植物生长监测仪等仪器，能够实时监测生长环境状况；在农产品的流通过程中，GPS等定位技术、射频识别技术实时监控农产品的流通全程，保障农产品质量安全；在农产品市场销售过程中，移动终端可以实时采集农产品的价格信息、消费信息，引导产销对接，维护市场稳定。如中国农业科学院农业信息研究所研制的一款便携式农产品市场信息采集设备———“农信采”，具有简单输入、标准采集、全息信息、实时报送、即时传输、及时校验和自动更新等功能。它嵌入了农业部颁发的2个农产品市场信息采集规范行业标准，11大类953种农产品以及相关指标知识库，集成了GPS、GIS、GSM、GPRS、3G/Wi⁃Fi等现代信息技术，实现了市场信息即时采集和实时传输，目前已在天津、河北、湖南、福建、广东和海南等省市广泛使用，并在农业部农产品目标价格政策试点工作的价格监测中推广应用。
2.3信息处理分析技术更加智能
在农业监测预警领域，我国各部门已经建立了一些大型分析系统。如农业部的农产品监测预警系统，国家粮食局的粮食宏观调控监测预警系统，商务部的生猪、重要生产资料和重要商品预测预警系统，新华社的全国农副产品和农资价格行情系统以及海关总署进出口食品安全监测与预警系统等。许多系统在结构化数据处理上能力尚可，但对于半结构化、非结构化数据的处理则比较欠缺。在大数据背景下，数据存储与分析能力将成为未来最重要的核心能力。未来人工智能、数据挖掘、机器学习、数学建模、深度学习等技术将被广泛应用，以Hadoop等平台为支撑的应用平台分析将成为主流，我国农产品监测预警信息处理和分析将向着系统化、集成化、智能化方向发展。如中国农产品监测预警系统(Chinaagriculturalproductsmonitoritingandearlywarningsystem，CAMES)已经在机理分析过程中实现了仿真化与智能化，做到了覆盖中国农产品市场上的953个主要品种，可以实现全天候即时性农产品信息监测与信息分析，用于不同区域不同产品的多类型分析预警。未来农产品监测预警将在获取手段、记录方式、信息管理、分析方法、分析速度、分析主题和结果判断上变得更加智能，尤其是在分析方法上，将由过去侧重专家经验判断为主向重视数据分析、模型分析以及计算机模拟与智能判断相结合的方向转变(表2)。
在大数据的支撑下，智能预警系统通过自动获取农业对象特征信号，将特征信号自动传递给研判系统，研判系统通过对海量数据自动进行信息处理与分析判别，最终自动生成和显示结论结果，发现农产品信息流的流量和流向，在纷繁的信息中抽取农产品市场发展运行的规律。最终形成的农产品市场监测数据与深度分析报告，将为政府部门掌握生产、流通、消费、库存和贸易等产业链变化、调控稳定市场提供了重要的决策支持。
可视化技术的发展使得数据分析的主要流程和结果能够得到更好的呈现和展示。我国具有多样的农产品市场、繁多的农产品品种、差异化的农产品区域，要想直观显示相当困难，而大数据技术则可以利用标签云(tagcloud)、历史流(historyflow)、空间信息流(spatialinformationflow)、热力图等更直观可视的展示农产品市场的变化。这些技术已经在其他领域得到应用，如百度公司利用百度地图热力图和大数据挖掘技术，制作了中国的“春运迁徙图”，展示了一副全程、动态、即时、直观的人员流动图，全面展示了人口大迁移的轨迹特征和春节出行特征。农业领域的表达和服务要在大数据共性技术的基础更多的融入农业本身的特性，只有这样才能使农业的服务和表达更加精准。
3大数据时代农产品监测预警的发展趋势
大数据时代的来临，为农产品监测预警工作提供了海量的数据支撑，将会推动农业监测预警在数据标准、采集工具、分析能力、表达方式等方面向标准化、实时化、智能化和可视化的方向发展。
3.1构建农业基准数据，推动数据标准化
统一数据标准，构建农业基准数据，是开展农产品监测预警工作的前提。农业基准数据是指以农业信息的标准和规范为基础，以现代信息技术为手段，收集并整理的产前、产中、产后各环节的基础精准数据。以农产品分类为例，世界海关组织制定有《商品名称和编码协调制度(HS)》，联合国统计委员制定了《联合国国际贸易标准分类(SITC)》。我国也制定了《全国主要产品分类和代码》(GB/T7635.1⁃2002)、《统计用产品分类目录》、《农产品全息市场信息采集规范NY/T2138⁃2012》[16]等标准，但是各种标准和规范中对农产品的分类和定义不一致，导致数据无法有效衔接和比较。所以，亟需设定数据的采集、传输、存储和汇交标准，构建农业基准数据库。对数据采集的内容、方式、时间、地点，对数据传输的速率、方式、冗余和编码标准，对数据存储格式、存储方式、存储安全、数据结构汇交方法以及数据汇交内容、汇交分类、汇交范围等制定标准和规范，只有这样，才能够保证农业数据分析与应用的顺畅。
3.2开展数据获取技术研究，推进监测实时化
物联网、移动终端、智能穿戴设备开始在农业的各个领域应用，它们配有独特的标识符，具有自动记录、报告并接收数据的能力。根据IDC的数据，现在可联网设备或物件的数量正接近2000亿台，其中7%(140亿台)已经能够连接并通过互联网通信。到2020年，连接设备的数量将增长到320亿部。未来通过在农产品田头市场、产地市场、销地市场等布设移动监测设备，可以实时捕捉、拆分、整合农产品信息流。针对农产品市场量多、面散的环境，研制市场信息移动监测设备，将有助于解决农产品市场信息即时获取困难的问题；研究市场交易混沌场景下的信息识别技术，将有助于实现农产品市场信息流的有效捕捉与拆分；研究市场信息流的定量测度技术，将有助于解决农产品市场信息流自动引发调节的盲目性问题。未来随着这类技术和设备的研发和推广，农产品信息的采集和监测将更加实时化、精准化。
3.3构建大型模型系统，增强分析智能化
数据的处理和分析是大数据时代的核心能力。当前数据分析挖掘的速度已经远远落后于数据产生的速度。传统的数据分析处理方法已经力量不足，未来大数据处理分析将变得更加智能。针对农产品监测预警构建大型智能模型系统，是未来解决大数据条件下分析预警的关键。一是处理方法将更加智能。数据的处理将从处理结构化数据向处理更多的非结构化数据、从处理单一数据集向迭代增长数据集、从批处理向流处理转变；二是数据算法将更加趋于自适应和自识别。传统的数据分析方法如机器学习、数据挖掘和统计分析将不能完全胜任大数据智能化、实时性的要求，个性化推荐算法，智能模型库、算法库将成为大数据分析的重要方向；三是基于云计算的“跨域关联”将有助于发现数据价值。云计算大大提升了数据分析速度，未来大数据与云计算结合将成为重要的趋势，不同领域数据集的跨域关联有助于发掘农产品各个环节的痕迹，从凌乱纷繁的数据背后找到农产品生产、流通和消费的轨迹，把“大数据”变成“小数据”，形成反映事物本质规律的“最小数据集”。
3.4搭建预警服务平台，促进展示和表达可视化
市场信息不对称一直是影响农产品市场稳定的重要因素。信息服务水平落后是其发生的重要原因，农民面对纷繁的市场信息“看不见、听不懂、用不上”，结果经常造成盲目生产，农产品滞销频繁出现。“人—信息空间—农业”三元世界交织在一起，而大数据提供了农业领域中具体对象在信息空间中的数据映像。未来通过搭建农产品监测预警服务平台，将多维度可视化模拟、标签云智能聚类、信息图表等技术嵌入这个平台，通过对信息流动、信息传播、价格传导等的可视化模拟与展示，来寻找到农产品市场信息流动的普适规律，逐步将信息空间这个黑箱透明化，从根本上解决信息不对称问题，使得生产者、管理者、消费者在信息的传播中更好的了解信息、利用信息和享受信息。
4展望
大数据之“大”，并不仅仅在于其“容量之大”，对于农产品监测预警工作而言，更大的意义在于从大数据中形成大思维、开展大合作、构建大平台、获得大发展。做好农产品监测预警工作，一是要加快思维转换。以数据为驱动，创新未来监测预警模式，形成数据计算思维、关联思维和跨界思维；二是要加强协同合作，农业各个领域专家和产业体系专家要提炼领域核心问题和关键指标，同计算机人员密切交流、协同合作，创新分析工具和开放环境，实现监测预警工作的大合作；三是国家农业有关部门应该积极行动，制定标准和规范，开展关键技术攻关与创新，培养交叉人才队伍，构建具有中国特色的农产品监测预警体系，搭建大数据支撑下农产品监测预警工作大平台。针对农业数据问题，实施农业“数据工程”，解决农业生产、经营、管理中的诸多数据问题，突破数据困境，形成数据力量，为推进现代农业发展发挥支撑作用。
与此同时，在大数据环境下农产品监测预警也面临大变革、大挑战和大困难。我国农业领域大数据的发展在理念认知度、概念转变、基础设施、应用推动、技术研发、人才培养、资金投入、组织管理和安全隐私等诸多方面，与国外还有一定的差距，数据公开、数据收集体制、数据应用模式、数据安全状况仍然面临巨大的挑战。（作者许世卫为中国农业科学院农业信息研究所研究员，博士，博士生导师，研究方向为农业信息分析。参考文献略，原文链接：http://118.145.16.216/zgnykjdb/CN/abstract/abstract10427.shtml）
