Очевидно, установлен неподходящий стиль окна редактирования. Стандартное однострочное окно игнорирует ввод Enter. Это сообщение будет транслировано системой в нажатие текущей "кнопки по-умолчанию" в родительском окне. Чтобы окно ввода начало реагировать на нажатие Enter, оно должно иметь стили ES_MU...