Frame_buffer
В дополнение к используемому в 3dsmax фрейм буферу (Rendered Frame Window - RFW или VFB), V-Ray позволяет использовать свой собственный фрейм буфер.

Enable built-in frame buffer - включает использование встроенного в V-Ray фрейм буфера. По техническим причинам, оригинальный 3dsmax фрейм буфер остается и будет создаваться. Но при этом V-Ray не будет выводить в него никаких данных. Для уменьшения используемой памяти рекомендуется, установить размер изображения 3dsmax в очень маленькое значение, например: 100x90 и отключить 3dsmax фрейм буфер в секции common 3dsmax рендера.
Render to memory frame buffer - создает фрейм буфер в памяти. Если вы используете очень большой размер изображения, в результате чего фрейм буфер занимает очень много памяти - вы можете отключть эту опцию и использовать только "render to V-Ray image file" вариант.

Output resolution - это настройки размера изображения (resolution) которые вы хотите использовать с V-Ray фрейм буфером.
Get resolution from 3dsmax - настройки размера изображения для V-Ray VFB будут приниматься из 3dsmax секции common настроек рендера.

V-Ray raw image file
Render to V-Ray image file - эта опция использует для фрейм буфера внешний файл который содержит V-Ray raw данные рендера. В этом случае RAM не используется, поэтому эта опция очень удобна при очень больших размерах изображения для уменьшения необходимого обьема памяти. Для того, что бы увидеть результат рендера - включите настройку Generate preview.
Generate preview - создаст небольшой (по размеру) превью того, что было отрендерено. Если вы не используете V-Ray memory frame buffer опцию (для уменьшения использования памяти) - позволяет вам увидеть небольшое изображение в качестве превью, для контроля и возможности остановить рендер если, что-то is wrong:).

Split render channels -позволяет вам сохранить отдельный канал в файл. Используйте Browse... кнопку для указания имени файла. Эта опция доступна только при использовании Render to memory frame buffer. Если используется рендер в raw image file, отдельные каналы могут быть извлечены из этого файла только после завершения рендера.
Save RGB and Save Alpha - эти опции позволяют вам отключить сохранение RGB или Alpha каналов соответственно. Это может быть полезно если вы хотите получить тоько один из выбранных каналов. При этом V-Ray все же будет генерировать (рендерить) все остальные каналы хотя они не будут сохранены.