Конвертируете в том, что Вы лучше всего освоили. если освоили конвертатор не достаточно хорошо и потребуется доработка в шопе тоновых характеристик - 16 бит, если отконветируете хорошо - 8 бит (отдавать в любом случае - Tif без сжатия, 8 бит).
Полиграфия - это adobeRGB без вариантов.
Разрешение - не Ваша проблема, главное отдать все мегапиксели камеры (но если интересно каталоги печатаются обычно офсетом и с высокой линеатурой - обычно 175lpi - которая требует разрешение файла 350ppi, хотя для макро съемки структуры полотна ткани размером на полосу, а бы сделал 600ppi)
Никакого повышения резкости в конвертере и в шопе - У Вас предмет с регулярной структурой и цветокорректору будет необходимо ещё умудриться не получить "предметный" муар при уменьшении в нужный размер, а затем спрогнозировать возможность-невозможность получения муара при растрировании на отпечатке и только тогда поднять резкость.
Обтравка - тоже не дело фотографа - очень дорогая и "времязатратная" процедура, но если Вам заплатили ( для справки средняя цена 100 руб штука) - делается инструментом перо (векторный путь), это если Вы не знакомы с приемами сглаживания выделения другими инструментами. Никаких альфа каналов. Есть вариант на прозрачном слое, но он требует, чтобы верстка велась в индизайне и файлы тогда сохраняются в фрмате PSD.
Главное - если готовит данный каталог контора "три табуретки" (без штатного цветокорректора) - крайним за получившееся "демецо" на оттиске попробуют сделать Вас - поэтому сразу предупредите, что Вы отвечаете за цвет на мониторе в момент сдачи файлов, а за цвет на оттиске отвечает тот, кто переводит картинки в CMYK.
Съемка для печатного издания подразумевает предварительную работу с дизайнером - в плане ракурсов и надо помнить, что диагонали предмета (направление взгляда) нужно снимать и справа на лево и слева на право, что бы дизайнер в зависимости от того на какую страницу разворота пойдет данный предмет мог выбрать нужный ракурс - обычно фотографы это забывают, а дизайнеры просто зеркалят снимок - что очень часто приводит к разным "казусам".
Ps улыбнуло выделение сканированых картин в отдельный вид цифрового изображения (хотя очень часто встречаю "возведение в абсолют" и кучу мифов про "дорогущие альбомы репродукций шедевров живописи")