Die Grenzen sind fließend und im Prinzip gilt: Je größer die Kamera, umso größer Sensor & Objektiv und umso besser die Abbildungsleistung. Am Ende ist es immer ein Kompromiss.

Wirklich für die Hosentasche zu empfehlen (und haptisch nicht unproblematisch): Canon S95, S100, S110; Sony RX100
Etwas größer, aber nicht Hosentaschentauglich (haptisch deutlich besser): Olympus XZ-2, Panasonic LX-7, Canon G15

Im Hinblick auf die Bildqualität liegen selbst zwischen diesen Klassen keine Welten, mal von der RX100 abgesehen, die in bestimmten Aufnahmesituationen ihre 20MP sogar voll ausspielen kann. Haptisch sind die Mini Kameras aber nicht unproblematisch. Ausreichend für den, der eh nix einstellen möchte, grenzwertig für Leute mit großen Händen, die viel Einstellen wollen.

Die nächst größere Variante ist (Nikon 1 mal ausgenommen) das m43 System. Insgesamt noch deutlich kleiner und besser zu transportieren als die kleinsten DSLRs, haptisch ohne Abstriche und in Sache Bildqualität und Lichtstärke bläst man z.B mit einer Olympus E-PL5 oder E-PM2 aktuell viele APS-C DSLRs aus dem Wasser, von den Kompakten ganz zu schweigen.