Интеллектуальная система бинокулярного фасеточного зрения для определения азимута и расстояния до объекта на плоскости

Кирилл Николаевич Белов, Эвелина Анатольевна Бибикова, Иван Владимирович Булдашев, Наталия Дмитриевна Кундикова, Юрий Викторович Мухин, Андрей Николаевич Николаев, Андрей Владимирович Портнов, Ярослав Максимович Ридный, Леонид Борисович Соколинский, Артем Евгеньевич Старков, Александр Анатольевич Шульгинов

Аннотация


Статья посвящена прототипу системы искусственного бинокулярного зрения для определения азимута и расстояния до объекта на плоскости с использованием искусственной нейронной сети. Дается критический обзор современных систем определения расстояния и азимута на основе активных и пассивных сенсоров. Предлагается интеллектуальная система бинокулярного зрения, представляющая собой пассивный оптический датчик, позволяющий определять азимут и расстояние до круглого объекта произвольного размера, излучающего в видимом или инфракрасном диапазонах электромагнитного спектра. Рассматривается общая архитектура системы фасеточного зрения. Основными структурными элементами системы являются: оптический модуль, аппаратно-программный контроллер и нейросетевой модуль. Оптический модуль с помощью пары объективов преобразует световой сигнал от объекта в два пиксельных Фурье-изображения, которые поступают на вход аппаратно-программного контроллера. Контроллер выполняет первичную обработку пиксельных Фурье-изображений и преобразует их в две битовые маски, элементы которых соответствуют отдельным фасеткам (каждая фасетка интегрирует четыре смежные колонки пиксельного изображения). Полученные битовые маски поступают в нейросетевой модуль, который на основе их анализа определяет координаты объекта в виде расстояния и азимута.

Ключевые слова


фасеточное зрение; оптическая модель; определение расстояния и азимута; ПЗС-матрица; нейросетевая модель; прототип

Полный текст:

PDF

Литература


Ben-Ari M., Mondada F. Elements of robotics. Springer Nature, 2017. 308 p. DOI: 10.1007/978-3-319-62533-1.

Mahajan A., Walworth M. 3D position sensing using the differences in the time-of-flights from a wave source to various receivers. IEEE Transactions on Robotics and Automation. 2001. Vol. 17, no. 1. P. 91–94. DOI: 10.1109/70.917087.

Journet B.A., Poujouly S. High-resolution laser rangefinder based on a phase-shift measurement method. Three-Dimensional Imaging, Optical Metrology, and Inspection IV. Vol. 3520 / ed. by K.G. Harding, D.J. Svetkoff, K. Creath, J.S. Harris. International Society for Optics, Photonics. SPIE, 1998. P. 123–132. DOI: 10.1117/12.334326.

Zhang C., Lindner S., Antolovic I.M., et al. A 30-frames/s, 252 x 144 SPAD Flash LiDAR With 1728 Dual-Clock 48.8-ps TDCs, and Pixel-Wise Integrated Histogramming. IEEE Journal of Solid-State Circuits. 2018. Vol. 54, no. 4. P. 1137–1151. DOI: 10.1109/JSSC.2018.2883720.

Bamji C., Godbaz J., Oh M., et al. A Review of Indirect Time-of-Flight Technologies. IEEE Transactions on Electron Devices. 2022. Vol. 69, no. 6. P. 2779–2793. DOI: 10.1109/TED.2022.3145762.

Dorsch R.G., Häusler G., Herrmann J.M. Laser triangulation: fundamental uncertainty in distance measurement. Appl. Opt. 1994. Mar. Vol. 33, no. 7. P. 1306–1314. DOI: 10.1364/AO.33.001306.

Liebe C.C., Coste K. Distance Measurement Utilizing Image-Based Triangulation. IEEE Sensors Journal. 2013. Vol. 13, no. 1. P. 234–244. DOI: 10.1109/JSEN.2012.2212428.

Bondžulic B.P., Mitrovic S.T., Barbaric Ž.P., Andric M.S. A comparative analysis of three monocular passive ranging methods on real infrared sequences. Journal of Electrical Engineering. 2013. Vol. 64, no. 5. P. 305–310. DOI: 10.2478/jee-2013-0044.

Li L. Building an accurate 3D model of a circular feature for robot vision. Opto-Electronics Review. 2012. Vol. 20. P. 120–125. DOI: 10.2478/s11772-012-0017-y.

Jüngel M., Mellmann H., Spranger M. Improving vision-based distance measurements using reference objects. RoboCup 2007: Robot SoccerWorld Cup XI 11. Vol. 5001. Springer, 2008. P. 89–100. DOI: 10.1007/978-3-540-68847-1_8.

Geidarov P. Algorithm for determining the position and size of objects based on image analysis. Computer Optics. 2011. Vol. 35, no. 2. P. 275–280. (in Russian).

Witus G., Hunt S. Monocular visual ranging. Unmanned Systems Technology X. Vol. 6962. SPIE, 2008. P. 38–44. DOI: 10.1117/12.778686.

Zuev S.V. Monostatic method for measuring the distance to object, its direction and movement speed. 2008. (in Russian).

Lumsdaine A., Georgiev T. The focused plenoptic camera. 2009 IEEE International Conference on Computational Photography (ICCP). IEEE, 2009. P. 1–8. DOI: 10.1109/ICCPHOT.2009.5559008.

Chen Y., Jin X., Dai Q. Distance measurement based on light field geometry and ray tracing. Optics Express. 2017. Vol. 25, no. 1. P. 59–76. DOI: 10.1364/OE.25.000059.

Heinze C., Spyropoulos S., Hussmann S., Perwass C. Automated robust metric calibration algorithm for multifocus plenoptic cameras. IEEE Transactions on Instrumentation and Measurement. 2016. Vol. 65, no. 5. P. 1197–1205. DOI: 10.1109/TIM.2015.2507412.

Sardemann H., Maas H.-G. On the accuracy potential of focused plenoptic camera range determination in long distance operation. ISPRS Journal of Photogrammetry and Remote Sensing. 2016. Vol. 114. P. 1–9. DOI: 10.1016/j.isprsjprs.2016.01.012.

Mahammed M.A., Melhum A.I., Kochery F.A. Object distance measurement by stereo vision. International Journal of Science and Applied Information Technology (IJSAIT). 2013. Vol. 2, no. 2. P. 05–08.

Jeong C.-J., Park G.-M. Real-time Auto Tracking System using PTZ Camera with DSP. International Journal of Advanced Smart Convergence. 2013. Vol. 2, no. 1. P. 32–35. DOI: 10.7236/IJASC.2013.2.1.032.

Starkov A.E., Sokolinsky L.B. Building 2D Model of Compound Eye Vision for Machine Learning. Mathematics. 2022. Vol. 10, no. 2. DOI: 10.3390/math10020181.

Biewald L. Experiment Tracking with Weights and Biases. 2020. URL: https://docs.wandb.ai/.

Goodfellow I., Bengio Y., Courville A. Deep Learning (Adaptive Computation and Machine Learning). MIT Press, 2016. 800 p. URL: http://www.deeplearningbook.org.

Willmott C.J., Matsuura K. Advantages of the mean absolute error (MAE) over the root mean square error (RMSE) in assessing average model performance. Climate Research. 2005. Vol. 30, no. 1. P. 79–82. DOI: 10.3354/CR030079.

Bisong E. Building Machine Learning and Deep Learning Models on Google Cloud Platform. Apress, 2019. 709, XXIX p. DOI: 10.1007/978-1-4842-4470-8.

Myttenaere A., Golden B., Rossi F. Mean Absolute Percentage Error for regression models. Neurocomputing. 2016. Vol. 192. P. 38–48. DOI: 10.1016/J.NEUCOM.2015.12.114.

Barten A.P. The coefficient of determination for regression without a constant term. The Practice of Econometrics. International Studies in Economics and Econometrics. Vol. 15 / ed. by R. Heijmans, H. Neudecker. Springer, 1987. P. 181–189. DOI: 10.1007/978-94-009-3591-4_12.




DOI: http://dx.doi.org/10.14529/cmse250101