Аналіз метрик PSNR, SSIM, LPIPS у контексті людського сприйняття візуальної подібності
Ключові слова:
оцінка якості зображень, PSNR, SSIM, LPIPS, людське сприйняття, візуальні спотворення, генеративні моделі, об'єктивні метрики, суб'єктивна оцінкаАнотація
Ця стаття пропонує комплексний порівняльний аналіз трьох відомих метрик оцінки якості зображення (IQA): PSNR, SSIM та LPIPS. У ній досліджуються їхні основні принципи, математичні основи, переваги та обмеження, зокрема, що стосуються їхньої кореляції зі зоровим сприйняттям людини. Обговорюється еволюція метрик IQA від простих попіксельних порівнянь (PSNR) до структурних підходів (SSIM) та, нещодавно, до метрик вивченого сприйняття (LPIPS). Представлено критичний аналіз ефективності кожної метрики в оцінці різних візуальних спотворень, включаючи шум, розмиття та артефакти стиснення. Притаманні людському зоровому сприйняттю проблеми, такі як роль семантики, текстури, кольору та візуальних артефактів, досліджуються як фундаментальні причини розбіжностей між об'єктивними метричними оцінками та суб'єктивними людськими судженнями. У статті висвітлюється «необґрунтована ефективність» глибоких ознак у LPIPS, а також розглядаються його вразливості, такі як атаки з боку суперників та обмеження в глобальному семантичному розумінні. Зрештою, у ньому окреслено напрямки майбутніх досліджень, спрямованих на розробку більш надійних, інтерпретованих та перцептивно узгоджених метрик IQA, які можуть краще враховувати складність зорової системи людини та мінливі вимоги сучасних технологій обробки зображень та генеративного штучного інтелекту.
Посилання
Johnson, J., Alahi, A., & Fei-Fei, L. (2016, September). Perceptual losses for real-time style transfer and super-resolution. In European conference on computer vision (pp. 694-711). Cham: Springer International Publishing. https://doi.org/10.1007/978-3-319-46475-6_43.
Wang, Z., Bovik, A. C., Sheikh, H. R., & Simoncelli, E. P. (2004). Image quality assessment: from error visibility to structural similarity. IEEE transactions on image processing, 13(4), 600-612. https://doi.org/10.1109/TIP.2003.819861.
Breger, A., Biguri, A., Landman, M. S., Selby, I., Amberg, N., Brunner, E., ... & Schönlieb, C. B. (2025). A study of why we need to reassess full reference image quality assessment with medical images. Journal of Imaging Informatics in Medicine, 1-26. https://doi.org/10.1007/s10278-025-01462-1
Zhang, R., Isola, P., Efros, A. A., Shechtman, E., & Wang, O. (2018). The unreasonable effectiveness of deep features as a perceptual metric. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 586-595). https://arxiv.org/abs/1801.03924.
Arabboev, M., Begmatov, S., Rikhsivoev, M., Nosirov, K., & Saydiakbarov, S. (2024). A comprehensive review of image super-resolution metrics: classical and AI-based approaches. Acta IMEKO, 13(1), 1-8. https://doi.org/10.21014/actaimeko.v13i1.1679.
Gertsiy, O. (2024). Research on graphic data formats for compact representation and comparison of images. Transport systems and technologies, (43), 173-187. https://doi.org/10.32703/2617-9059-2024-43-14.
Zhang, L., Zhang, L., Mou, X., & Zhang, D. (2011). FSIM: A feature similarity index for image quality assessment. IEEE transactions on Image Processing, 20(8), 2378-2386. https://doi.org/10.1109/TIP.2011.2109730.
Shrestha, B. (2005). Evaluation of JPEG2000 for lossless medical image compression. Mississippi State University Libraries. https://www.gri.msstate.edu/publications/docs/2005/03/4328BijayShrestha_2005.pdf.
Russ, J. C. (2006). The image processing handbook. CRC press.
Gonzalez, R.C., & Woods, R.E. (2017). Digital Image Processing. Pearson, New York, 4 editions.
Singh, G.K., Agarwal, A., & Reddy, N.V. (2023). Comparison of PSNR, SSIM, and LPIPS in medical imaging. In 2023 IEEE 12th International Conference on Computing Communication and Networking Technologies (ICCCNT) (pp. 1–6). https:// www.researchgate. net / figure / LPIPS - SSIM - and - PSNR - Metrics - Comparison - This - table - evaluates – the - quality - of - generated _ tbl 2_382080667.
Wang, Z., Simoncelli, E. P., & Bovik, A. C. (2003, November). Multiscale structural similarity for image quality assessment. In The thrity-seventh asilomar conference on signals, systems & computers, 2003 (Vol. 2, pp. 1398-1402). IEEE. https://doi.org/10.1109/ACSSC.2003.1292216.
Kuzovkin, I., Vicente, R., Petton, M., Lachaux, J. P., Baciu, M., Kahane, P., ... & Aru, J. (2018). Activations of deep convolutional neural networks are aligned with gamma band activity of human visual cortex. Communications biology, 1(1), 107. https://doi.org/10.1038/s42003-018-0110-y.
Zhang, K., Liang, J., Van Gool, L., & Timofte, R. (2021). Designing a practical degradation model for deep blind image super-resolution. In Proceedings of the IEEE/CVF international conference on computer vision (pp. 4791-4800). https://doi.org/10.48550/arXiv.2103.14006.
Zhai, G., & Min, X. (2020). Perceptual image quality assessment: a survey. Science China Information Sciences, 63(11), 211301. https://doi.org/10.1007/s11432-019-2757-1.
Gu, S., Bao, J., Chen, D., & Wen, F. (2020, August). Giqa: Generated image quality assessment. In European conference on computer vision (pp. 369-385). Cham: Springer International Publishing. https://doi.org/10.1007/978-3-030-58621-8_22.
Shoshan, A., Gandelsman, Yo., Bagon, S, & Dekel, T. (2024). R-LPIPS: An Adversarially Robust Perceptual Similarity Metric. Scientific Reports. https://doi.org/10.48550/arXiv.2307.15157.
Koffka, K. (1935). Principles of Gestalt Psychology. Harcourt, Brace & Co.
Marr, D. (1982). Vision: A computational investigation into the human representation and processing of visual informatio. WH Freeman and Company.
International Telecommunication Union. (2019). Methodology for the subjective assessment of the quality of television pictures (Recommendation BT.500-14). https://www.itu.int/rec/R-REC-BT.500-14-201910-S/en russ
Завантаження
Опубліковано
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до ліцензії Creative Commons Attribution 4.0 International License.
Ліцензійні умови: Це стаття з відкритим доступом, поширювана за умовами Ліцензії Creative Commons Attribution License, яка дозволяє необмежено використовувати, розповсюджувати та відтворювати на будь-якому носії за умови представлення автора та джерела оригіналу.
