Sony PlayStation Spectral Super Resolution получает патент на динамическую оптимизацию точности CNN

На сегодняшний день технология масштабирования разрешения Sony PlayStation Spectral Super Resolution (PSSR) показывает хорошие результаты, но пока не достигает идеального уровня. Часто возникают проблемы с падением производительности, особенно в загруженных эффектами или динамичных сценах. Представляемый новый патент может решить эту задачу, динамически изменяя точность весов используемой свёрточной нейросети (CNN).

Согласно запатентованному решению, точность весов и/или активаций CNN регулируется в зависимости от текущей вычислительной нагрузки. Если нагрузка растёт, снижается точность, что уменьшает время и объём обращений к памяти, не сильно ухудшая качество картинки. Это позволяет сохранять плавную анимацию и воспринимаемое разрешение для игрока.

Способ включает обнаружение событий высокой вычислительной нагрузки во время игрового процесса, и в ответ на это снижение точности весов/активаций модели. Технология не меняет количество пикселей выходного сигнала, а лишь адаптирует её точность, что считается приемлемым для стабильного игрового процесса.