Сделать диалог нерасширяемый вручную

Вариант - сразу в конструкторе:

MyDialog::MyDialog(QWidget *parent, QString iTitle)
  :QDialog(parent,Qt::CustomizeWindowHint|Qt::WindowTitleHint|Qt::MSWindowsFixedSizeDialogHint) {
  // bla-bla-bla
}

Или позже, когда окно диалога уже создано:

setSizePolicy(QSizePolicy::MinimumExpanding,QSizePolicy::MinimumExpanding);
setWindowFlags(Qt::CustomizeWindowHint|Qt::WindowTitleHint|Qt::MSWindowsFixedSizeDialogHint);