白皮书
车云灵活数采方案:释放数据价值,加速智能创新 →

智能餐饮自助结算系统

2022-3-28

本文系 EMQ&Intel 联合举办的首届“中国物联网数据基础设施最佳案例评选大赛“个人开发者赛道一等奖作品。

项目作者:霍宏亮

项目简介

智能餐饮自助结算系统是一个由称重系统、显示屏、自助扫码盒和 Intel CPU 组成的智能自助结算终端,将装有菜品的托盘放到秤盘上结算,显示屏会向就餐顾客显示本次饭菜菜品的份数、金额,顾客可以通过微信支付宝扫描、刷脸或校园卡员工卡进行自助结算,整个自助收银流程不到两秒钟,充分展示了就餐的智能化、人性化、透明化。

项目地址:https://github.com/roushanburou/zizhujiesuan

技术框架

架构图

架构图

  1. 在采购来的自助结算平台安装 USB 高清摄像头,用于采集菜品图片。

    image1.png

  2. 将采集到的数据集转化为 TensorFlow 格式的 tfrecoed。

    image2.png

  3. 本次选用的是 TensorFlow2 下的预训练模型 ssd_mobilenet_v2,因为看到 OpenVINO 在最新的版本不再支持 TensorFlow1.X 版本,所以采用 TensorFlow2.X 版本去做。

  4. 训练完成后,将模型通过 mo.py 文件转化为 IR 文件

    image3.png

这次发现 OpenVINO 更新了 PaddlePaddle 模型转换,后期有机会可以试一试。在生成 IR 文件后,根据 OpenVINO 基于目标检测提供的object_detection_sample_ssd.py 自己编写了代码推理模板进行推理,然后把命令和结果封装成 Python 脚本。

  1. 编写桌面程序,安装 IronPython 库,嵌入 Python 脚本。这款结算平台的称重是串口通信,在调通波特率后顺利解析出协议,通过电子秤感应程序是否需要进行识别,这样免去了需要实时检测的问题,整体效果如下:

image4.jpeg

实际测试大概两秒左右,效果非常不错。识别后由客户点击结算,结算完成后自助打印小票。

使用说明

将装有菜品的托盘放到秤盘上结算,显示屏会向就餐顾客显示本次饭菜菜品的份数、金额,顾客可以通过微信支付宝扫描,刷脸或校园卡员工卡自助结算,点击结算会有小票打印。

作者寄语

在餐饮这样消费时段集中的行业中,结算速度决定了企业盈利情况。基于 OpenVINO 的智能自助餐饮结算系统可以快速准确识别整盘菜品种类以及数量,软件自动完成金额汇总,不需要人工进行每一个菜品的计价,辅以充值卡、微信、支付宝等快捷支付手段,可以实现结算台前无排队。

智能餐饮自助结算结合了物联网技术,将数据通过 MQTT 汇聚至公有云平台,便于后期制作大数据分析系统。通过大数据分析,可实时掌控柜台菜品的数量,及时补充菜品,还可根据每个菜品的销售状况,实时对后厨的制作口味做出调整;也可跟踪长期顾客的饮食喜好,结合健康营养管理系统,对顾客热量摄入提供健康建议,为客户提供更多价值。

推荐阅读

2021-5-19Elvis
收款语音播报背后的金融支付物联网

经过与金融支付行业众多企业客户的长期合作与实践,EMQ 逐渐形成的成熟的金融支付物联网解决方案,完美满足了聚合支付在内的各个金融场景的物联网业务需求。

2022-3-28
wumei-smart 生活物联网平台

本文系 EMQ&Intel 联合举办的首届“中国物联网数据基础设施最佳案例评选大赛“个人开发者赛道二等奖作品。