Wenn man seinen Geburtstag ohne Kinder feiern möchte, kann man das meiner Meinung nach durchaus sagen. Ich würde es eigentlich als normal empfinden, dass dann ein Elternteil absagt, weil es auf die Kinder aufpassen muss, und das andere Elternteil kommt. Wenn ihr das also von Anfang an so kommuniziert habt, geht es auf jeden Fall. Nur wenn ihr vorher angedeutet hätte, dass sie lieber mit Kindern als gar nicht kommen, wäre das schwierig.
Anderer Punkt:
Könnt ihr im Restaurant überhaupt noch die Tischreservierung verändern, so dass zwei Personen (oder sind es mehr Kinder) an den Tisch passen? Wenn ihr sehr schick essen geht, gibt es ja vermutlich entsprechend viel Geschirr, so dass man nicht beliebig zusammenrücken kann. Wenn nicht ist es nicht möglich.
Oder gibt es im Restaurant sogar einen Nebenraum, in dem die Eltern ihre Kinder vorm Essen zum Schlafen hinlegen können? (Wie alt sind die Kinder überhaupt?)