随着社交媒体的发展,越来越多的人喜欢在网上或社交媒体平台晒一些自己喜欢的美食照片,而最新的人工智能技术已经可以通过读取图片信息而分析出食谱中所使用的原辅料。
这套新的智能食品识别体系被称为“Pic2Recipe”,它甚至有潜力发展成为人们的“餐桌助手”,可以帮助人们解析出食品里的营养信息。
无论是打开朋友圈,或者是其他社交平台,总能看到人们分享的各种美食照片,有家庭自制的美食,也有外出就餐的一些厨师级制作,看上去都非常诱人,但是如果你想自己制作这些美味菜肴,就需要知道其中的食材配料和成分。
一支来自麻省理工学院计算机科学和人工智能实验室(CSAIL)的团队,在早先研究人工智能和算法的基础上,创造了食谱数据库。他们认为,这样的照片解析方式能帮助人们了解食谱配方,从而更好地为健康饮食习惯提供宝贵建议配方,更好地理解人们的饮食习惯。
针对一幅菜肴的静态影像,CSAIL团队开发的精深学习算法能够准确推算出食材原料和配方。
在卡塔尔计算研究学院(QCRI)最新发表的一篇文章中,CSAIL团队设计了PicRecipe系统可以通过读取食物的照片,预测其食材组成,并给出相似的食谱配方。
一位来自麻省理工学院的博士后Yusuf Aytar提到,“在计算机视觉领域,食物是最容易被忽略的,因为我们并没有规模足够大的数据集来做这样的预测。但那些看起来似乎没什么用的美食照片,实际上可以在饮食习惯和膳食偏好等方面为我们提供有价值的洞见。”
Yusuf Aytar与同校的教授Antonio Torralba合着了一篇关于该系统的论文, 他表示“7月底时,这篇论文已在檀香山举办的计算机视觉和模式识别会议上发表。”
CSAIL研究生Nick Hynes和西班牙加泰罗尼亚纽约科技大学的Amaia Salvador并列第一作者。联合发表者还包括CSAIL博士后Javier Marin,科学家Ferda Ofli以及QCRI的研发总监Ingmar Weber。
AI识别食物照片,是如何实现的呢?
网站上可以找到大量针对食品数据分级归类的研究,但是它们中的大多数使用的数据集太小,经常导致食物分类的偏差很大。
2014年瑞士研究人员创建了“Food-101”数据集,并用它来开发了一种识别食物图像的算法,精准度可以达到50%。经过进一步迭代循环也只能将这一准确度提高至80%,这也意味着数据集的规模可能是个限制因素。
但即使数据集够大,通常也存在人口普及率方面的局限,如香港城市大学的数据库有多达11万张食物图片,65000个菜谱,每一份都有原配料清单和说明,但仅仅包含了中国菜。
CSAIL团队的项目旨在基于现有的工作基础上构建数据集,但要极大地拓展范围。研究者对All Recipes和Food.com等网站进行了仔细梳理后,开发出“Recipe 1M”,这是一个包含了上百万种食谱及其原料信息的数据库,涵盖菜品的种类也非常广泛。然后他们用数据训练神经中枢网络去查找图像,并在食物图像和相应的原料,食谱间建立联系。
比如给你一张食物图片,Pic2Recipe能够识别出面粉、鸡蛋、黄油等材料,之后它会根据数据库中类似的图片,给出几种配方建议。研究团队制作了在线操作演示,人们可以上传自己的食物照片来做测试。
想象一下,人们可以利用这个功能来追踪每日的营养需求,也可以在餐厅就餐时给喜欢的菜肴拍个照,然后回家之后就可以根据智能推荐的结果自己进行评测。
来自维也纳MODUL大学新媒体技术学院的副教授Christoph Trattner表示,CSAIL团队的方法已经接近人类的判断水平,这是非常伟大的。
对甜点的识别相对更好
该系统对曲奇或松饼等甜点的识别方面做的尤其好,因为这是数据库中的主要素材类别。然而,如果是寿司卷或Smoothie等很多模糊不清的食品,识别起来就较为困难。
当同一道菜有很多相似的配方时,也通常会被难倒。比如卤汁面条的制作方法有十多种,该团队需要确保系统在对比那些相似配方的不同之处时可以更快将其区分开,解决此问题的一种方法是,在对比食谱配方前,先要看看他们的原料与分析照片中的是否大体类似或相同。
未来,该团队希望能够改进系统,使它可以分析出更详细的信息,比如食物的准备方法,是炖的还是切丁的,或者区分更多不同种类的食物,如蘑菇或洋葱。
研究人员非常有兴趣将该系统开发成“餐桌助手”,可以根据膳食偏好和冰箱里的食材清单给出烹饪建议。
Hynes称:“该系统可以在人们没有足够清楚的营养信息时,帮助他们分析摄入的是什么。例如,如果你知道菜肴里有哪些食材,但不知道其使用量,就可以可以拍个照片,输入相应的食材,并运行该模型,寻找到一种已知量的相似配方,然后利用这些信息推算出自己的膳食营养摄入。”