Diese Erfahrung macht mir den Lehrerberuf leider etwas madig.
Das kann ich mir sehr gut vorstellen - lass dich dadurch aber nicht entmutigen. Deine Situation ist überhaupt nicht vergleichbar mit der einer Lehrerin im normalen Berufsalltag.
Du hast sehr wenig Handhabe, unterrichtest "nicht richtig" (im Sinne von: kein benotetes Unterrichtsfach) und das wissen die Schüler.
Zudem siehst du die Schüler vermutlich nachmittags (undankbarer Termin) und nur einmal in der Woche (oder?), sodass auch Beziehungsarbeit viel schwieriger ist als mit mehreren Unterrichtsstunden pro Woche.
In der Jahrgangsstufe pubertieren sie dazu noch lustig vor sich hin. Wenn die Gruppe gemischt ist, sind zudem noch gruppendynamische Prozesse am Laufen, weil die Gruppe sich in der Konstellation sonst nicht zusammenfindet, welche ebenfalls Zeit brauchen und mühsam sind.
Und nicht zuletzt haben die Schüler Nachhilfe/Förderunterricht meist in den Fächern, die sie am wenigsten leiden können und in denen sie am wenigsten Lust haben, sich mit den Inhalten auseinanderzusetzen, das liegt in der Natur der Sache.
Dies alles würde selbst bei einer erfahrenen und viel älteren Lehrkraft dazu führen, dass die Gruppe nicht einfach zu "händeln" ist.
Blöde Sprüche nicht persönlich nehmen! Sie beziehen sich nicht auf dich als Mensch, sie beziehen sich auf deine Rolle als Nachhilfelehrkraft. Mensch und Rolle trennen.
"Nett sein" und loben finde ich persé nicht verkehrt, versuche es nicht in Schreien und Ausrasten umwandeln zu lassen, das würde keinen besseren Effekt haben. Ruhig bleiben, gelassen, konsequent, immer wieder mantra-artig dieselben Arbeitsanweisungen wiederholen, nicht provozieren lassen. Statt strafen/predigen auch immer mal wieder ignorieren, wenn jemand nervt, dafür weiter loben, wenn jemand erwünschtes Verhalten zeigt (nicht immer ist das Lob aber vor der ganzen Gruppe bzw. laut geäußert günstig, weil Jugendliche in der Altersgruppe es häufig als uncooles Strebertum empfinden und daher vor ihrer Peergroup nicht das Gesicht verlieren wollen, indem sie gelobt werden; auf eher subtile, nonverbale Signale oder unter vier Augen reagieren sie vielleicht besser).
Das ist erstmal spontan, was mir so als erstes einfällt und ja, ich habe auch schon solche Erfahrungen gemacht. Es wird wie gesagt besser, wenn möglicherweise nicht in dieser speziellen Gruppe (aber selbst das würde ich nicht ausschließen), dann doch zumindest später in deinem Berufsleben. Lass dich nicht verunsichern! Sieh es eher als herausfordernde Challenge für dich, als Übungsfeld, als berufliche Fortbildung für dich selbst, für die du sogar noch Geld bezahlt bekommst (hoffe ich jedenfalls), anstatt welches zahlen zu müssen. 
