C'est en 1995 à Methuen, Massachusetts que Cave In voit le jour en raison, comme beaucoup de groupes, d'un grand ennui. Le groupe n'est alors composé que de Stephen à la guitare et de Jay Frechette au chant, mais très vite, les deux jeunes garçons vont faire la connaissance de John-Robert et de Adam par l'intermédiaire du cousin à Jay. Après avoir changé successivement de nom, Qunine puis System3, le groupe va finalement opter pour Cave In et recruter un bassiste du nom de Justin Matthes. Le groupe va, dans un premier temps, se limiter à reprendre des morceaux de groupes comme Snapcase et Threadbare, puis vient enfin le temps de la composition. Cave In se cherche puis opte au final pour un son se rapprochant de Snapcase, Failure ou encore Chokehold.

En août 95, le groupe enregistre sa première démo, sans titre et contenant trois titres, dans le garage de Stephen à l'aide d'un médiocre multi-pistes. Cave In saisit alors toutes occasions de concerts et tente de bouger le plus dans les autres états à l'aide de 3 vieilles voitures. Ils enregistrent un split avec un autre groupe local, Gambit, et malgré le fait qu'accidentellement le CD ait été édité en mono, Cave In découvre pour la première fois les joies du studio.

En avril 1996, le groupe enregistre successivement deux autres splits avec Early Grace ainsi que Piebald dont Stephen avouera plus tard, que c'est deux splits procuraient plus de maux de tête que de plaisir à écouter. Quoi qu'il en soit, Cave In désire ardemment enregistrer leur propore musique sans l'appui d'un autre groupe. C'est alors que Aaron Turner du label Hydra Head décide de donner une chance aux cinq jeunes garçons, après les avoir vu jouer durant un concert.

En février 1997, Cave In entre en studio et enregistre sur vinyl leur premier EP éponyme, contenant seulement deux morceaux, qui sortira durant l'été. Justin décide de quitter le groupe et sera remplacé par Andy Kyte qui effectuera avec le groupe, la première tournée de Cave In en Floride mais qui mettra terme à sa contribution au sein de la formation de retour dans le Massachussetts. Peu de temps après cette tournée, Jay décide à son tour de quitter le groupe pour aller jouer de la guitare avec un autre groupe de Boston, laissant ainsi derrière lui un gros vide. Cave In fait alors appel à Dave Scrod, membre d'un autre groupe nommé Swivel, afin de remplacer Jay.

Durant l'hiver 1998, Cave In décide de ré-enregistrer leurs anciennes chansons, éditées alors sur vinyls ou cassettes, afin de donner naissance à une sorte de compilation qui sortira sous le nom de Beyond Hypoternia. Après une tournée d'hiver en compagnie de Piebald, les membres de Cave In décident d'un commun accord de se séparer de Dave. Caleb Scofield, chanteur d'un groupe tout juste splitté avec lequel Cave In avait tourné, rejoint la formation afin de combler le poste de bassiste laissé vacant par Andy. Bien que la basse ne fût pas son instrument de prédilection, le reste du groupe fut vraiment étonné dès leur première répétition. Selon Stephen, Caleb était tout simplement un phénomène. Dans le même temps, Stephen décide de prendre le rôle de chanteur en plus de celui de second guitariste, lassé par le turnover permanent qui reigne dans le groupe depuis sa création.

Quelques mois après, durant l'été 98, le groupe sort son premier album, "Until Your Heart Stops", et effectue sa véritable première tournée à travers les USA aux côtés du groupe canadien Ire. En novembre, Cave In entre à nouveau en studio afin d'enregistrer quelques nouvelles chansons, mais ne se sentant pas encore prêts à sortir un nouvel album, ils décident plutôt d'enregistrer un EP intitulé Creative Eclipses qui sortira au pringtemps 1999. Cet EP sera plutpot mal reçu par les fans qui le jugent trop expérimental.

Cave In va passer le reste de l'année 99 à composer, à enregistrer des morceaux pour deux albums tribute, un pour Cure et l'autre pour Bad Brains, puis à tourner à travers le pays. Le groupe se lance dans l'écriture d'un nouvel album mais malheureusement, celle-ci va se voir ralentir suite à une perte de matériel due à l'incendie du van au cours d'une tournée avec Isis. L'enregistrement reprendra finalement en février 2000 pour sortir en juin 2000. L'album est très bien reçu et Cave In commence à se former une solide réputation. Le groupe fera sa première apparrition au CMJ Music Festival à New-York, et une tournée promotionnelle débutera en hiver 2000.

Cave In attire désormais le regard de beaucoup de maisons de disques, et c'est finalement avec RCA Records qu'ils signeront en raison d'une liberté musicale que les autres labels n'offraient pas. Durant l'été 2001, Cave In effectue une tournée américaine qui sera suivie d'une très longue période d'écriture puis d'une autre tournée américaine. C'est enfin au tour de s'attaquer au vieux continent : Cave In effectue alors sa première tournée européenne durant l'hiver 2002. Quelques mois plus tard débute l'enregistrement de leur second album intitulé Antenna. Finalement, après une longue tournée à travers le monde avec notamment quelques festivals les plus réputés tels que le Pukklepop, le festival de Leeds ou encore le Reading Festival, Antenna sort dans les bacs en mars 2003, pour le plus grand plaisir des fans.