MIT要用人工智能帮你做菜:上传美食照片,给你一份菜谱

在朋友圈看见美食照片总想自己做一份?MIT来帮忙了。

MIT的计算机科学及人工智能实验室(CSAIL)本周和卡塔尔计算机研究中心(QCRI)一起训练了一个人工智能系统,名叫Pic2Recipe。给这个系统一张食物照片,它会告诉你该怎么做出来。

Pic2Recipe能通过食物照片推断出面粉、鸡蛋、黄油等食材,然后从它的数据库中选出几份与图片最相似的菜谱推荐给你。

据CSAIL团队介绍,因为训练数据集中甜点很多,这个系统尤其“擅长”做曲奇、松饼之类的甜品,而很难教你做卷寿司、奶昔一类的食物,因为通过图片判断食材太难了。

他们还做了个网页版demo,你也可以亲自试一下:
http://tuesday.csail.mit.edu:4242/

要完成这个任务,最大的障碍是没有合适的大规模训练数据集。

2014年,瑞士的研究人员们建立了一个Food-101数据集,训练出来的系统识别食物的准确率只有50%,后来几经迭代,也只达到了80%的准确率。

香港城市大学有个比较大的数据集,包含11万张图片和6.5万份菜谱,但是只有中餐。

于是,CSAIL的团队从All Recipes、Food.com等菜谱网站取材,建立了Recipe1M数据集,其中包含覆盖多种菜系的100万份菜谱,人工标注了其中的食材等信息。

然后,他们用这个数据集和训练了一个神经网络,让它去建立食物照片和食材、菜谱之间的关联模式。

不过据TheVerge评价,拉面、薯片、日式烧牛小排这些食物,这个系统一律认不出,汉堡会认成三明治,但是给它一张模糊的蛋糕粉的照片,倒是能给出好几种推荐菜谱。

关于Pic2Recipe的论文Learning Cross-modal Embeddings for Cooking Recipes and Food Images发表于本周的计算机视觉顶级会议CVPR上。

论文地址:
http://im2recipe.csail.mit.edu/im2recipe.pdf

;