Вариант - сразу в конструкторе:
MyDialog::MyDialog(QWidget *parent, QString iTitle)
:QDialog(parent,Qt::CustomizeWindowHint|Qt::WindowTitleHint|Qt::MSWindowsFixedSizeDialogHint) {
// bla-bla-bla
}
Или позже, когда окно диалога уже создано:
setSizePolicy(QSizePolicy::MinimumExpanding,QSizePolicy::MinimumExpanding);
setWindowFlags(Qt::CustomizeWindowHint|Qt::WindowTitleHint|Qt::MSWindowsFixedSizeDialogHint);