Graupner nacque a Kirchberg, una località nei pressi dell’Erzgebirge, in Sassonia, Germania.
Iniziò anche lui, esattamente come Handel e Telemann, lo studio del diritto all’Università di Leipzig. Frequentò sia la Thomasschule, assieme a Johann Schelle, sia l'Università di Lipsia.
Accanto al suo amico Johann David Heinichen, fu allievo di Johann Kuhnau. Nel 1707 rifugiatosi ad Amburgo durante l'invasione svedese nel 1707 promossa da Re Carlo XII di Svezia, ottenne il posto di clavicembalista presso il Teatro dell'Opera, situata presso il “Mercato alle oche”, dove divenne nel 1709 vicemaestro. Qui egli ebbe presto modo di farsi un nome sia nel campo clavicembalistica che operistico.
Nel 1709, Graupner fu chiamato a Darmstadt dal Langravio Ernest Louis (1667–1739), che aveva notato questo giovane artista e che gli offrì il posto di vicemaestro della Cappella di Darmstadt. In quanto polo culturale che favoriva il fiorire di una vita musicale ricca e varia, la Corte del Langravio d'Assia-Darmstadt, non era di certo meno prestigiosa, almeno nella prima metà del 1700, delle città aventi una reputazione che sorpassava il limite delle frontiere, quali Amburgo e Mannheim.
La Corte d’Assia-Darmstadt però soffriva del confronto con la famosa Corte di Dresda in Sassonia, altro luogo di una cultura musicale assai feconda, che ricevette la visita di un compositore di primo piano, quale Vivaldi. In effetti i pezzi composti alla Corte di Dresda erano collezionati a Darmstadt con molto entusiasmo, e senz’altro interpretati dai virtuosi locali. I Musicisti dell’orchestra di Corte dovevano essere di un livello eccezionale. Nella prima metà del 1700, la vita di Corte era segnata fortemente dalla passione per la caccia del langravio (titolo di dignitario risalente al Sacro Romano Impero) Ernest Louis e soprattutto di Louis VIII (1691 – 1768), che gli era succeduto nel 1739. Diversi padiglioni di caccia situati non lontano da Darmstadt e nell’Odenwald, arredati in modo molto confortevole, si prestavano ad ogni organizzazione di avvenimenti, e i musicisti della Corte si esibivano anche in questi castelli di piacere.
La vita di Corte propriamente detta era centrata a Darmstadt, ed era aperta alle diverse influenze musicali; è qui, nella Chiesa del palazzo, che si teneva l’officio ogni domenica e i giorni di festa, e ogni volta si poteva assistere all’esecuzione di una nuova cantata, ispirata al testo del Vangelo del giorno. Inoltre la Corte intera si raggruppava qui in occasione delle feste date per il nuovo anno, così come per l’anniversario e le feste dei due langravi, occasioni che venivano ad essere il pretesto per delle esecuzioni musicali.
Graupner lavorò per quasi mezzo secolo alla Corte d'Assia-Darmstadt; inizialmente si occupò soprattutto del melodramma: egli stesso compose tre lavori teatrali per la corte, secondo quanto rivelano gli elenchi degli spettacoli. Ma per problemi finanziari il Teatro si dovette chiudere, e Graupner si dedicò alle cantate, oltre che alle sinfonie, ai concerti e a dei pezzi per strumento a tastiera. Dal 1711 divenne maestro di Cappella alla Corte, ruolo che occupò fino alla sua morte.
Graupner era considerato di rinomanza a Corte in tutte le questioni relative alla composizione, e teneva pure una corrispondenza coi grandi dell’epoca.
Nel 1722 fu nominato Kantor alla Thomasschule di Lipsia, come successore di Kuhnau, ma non gli fu possibile assolvere tale incarico perché trattenuto dal langravio d'Assia, e qui i suoi emolumenti, già considerevoli, furono rialzati. Fu così che il posto di Kantor a Lipsia fu dato allora a Johann Sebastian Bach, che occupava precedentemente un impiego molto meno prestigioso a Coethen.
Esattamente come Handel e Bach, anche Graupner negli ultimi anni di vita fu colpito da cecità.
Egli ebbe rapporti amichevoli con Telemann e Grünewald, e godé dell'ammirazione di J. S. Bach, il quale prese per la scrittura dell'Allemande e Courante, BWV 838, in la maggiore un tema da Graupner.
Graupner espresse la volontà di distruggere dopo la sua morte tutte le proprie opere: per nostra fortuna non fu accontentato e la sua produzione, molto cospicua com'era nella norma all'epoca, è conservata nella quasi totalità nella Landesbibliothek di Darmstadt, luogo in cui operò per una decade della sua vita.
Delle cinque opere rappresentate ad Amburgo solo due si sono conservate e ci evidenziano l'influenza di Reinhard Keiser, uomo di punta in ambito teatrale tedesco, verso il quale Graupner provava profonda ammirazione e con il quale finì anche per collaborare per la realizzazione di alcune opere. La sua attività compositiva a partire dal 1719 però si consacrò alle cantate religiose ed alla musica strumentale.
Com’era consuetudine al suo tempo, Graupner scrisse le cantate ad annate, i cui testi, a partire dal 1719, provengono tutti dall'ecclesiastico Konrad Lichtenherg presente a Darmstadt, influenzato dal pietismo e fedele al modello di cantata di Neumeister.
Significativo risulta il fine del suo corale non solo per l’aspetto architettonico, visto che è posizionato oltre che alla fine spesso anche nel mezzo, ma anche per l’aspetto strutturale, impiegando molteplici tecniche di elaborazione. Le arie risentono dapprincipio della derivanza operistica di corte, più tardi arrivano ad avvicinarsi all’influenza napoletana, presentando tratti fortemente concertanti e profondamente legati alla parte orchestrale.
Graupner era una persona molto precisa: le sue partiture, oltre ad esser datate, sono esposte, sebbene ve ne siano moltissime, in modo estremamente accurato e colpiscono spesso per la profondità di sentimento e la forza fantastica: gli studiosi come Friedrich Noack considerano le cantate sacre “il capolavoro di Graupner”.
I suoi concerti si suddividono equamente fra quelli grossi e quelli con strumento solista, con predilezione verso gli strumenti a fiato, e presentano un modello di stampo concertistico vivaldiano; questi concerti comunque inseriscono elementi tipici della tradizione della Germania centrale e l'ideale di levigatezza e naturalezza dello stesso Graupner.
Lo studioso Mattin Witte ha notato che dal 1737 si verifica una frattura tra il genere “da chiesa” retrospettivo e il genere “da camera”, prospettivo, per cui il primo presenta temi a trama fitta, includendo fughe e canoni e tracciando grandi ripartizioni mentre, il secondo procede a mosaico con serie di periodi, adottando arie e danze e tendendo ad una costruzione minuziosamente suddivisa e ad una struttura intrinseca della composizione assai complicata, arrivando anche a estrinsecare elementi di uno stile nuovo, proiettato nel futuro.
Verso il 1730, Graupner si cimenta anche nella sinfonia, dove vi sono elementi contrastanti, a volte abbondantemente distribuiti, che raramente si radunano in un dualismo tematico: è presente anche un ricco lavorio di ornamentazioni, che oscurano l’elaborazione tematica a volte.
Graupner, ottimo cembalista, compose pure valide e molto note al tempo composizioni per clavicembalo: in questo campo egli si attiene per lo più alla forma tradizionale della partita, infatti ne scrisse ben 44; Graupner era solito ricorrere sì a modelli tradizionali, ma arrivando ad una trasformazione stilistica: elabora nella Courante e nella Sarabanda spazi cantabili ed infine trasforma la giga in un brano di carattere: la giga era considerata da Graupner non necessariamente un tempo finale: ed infatti accade che finisca spesso a sostituirla con serie di variazioni. Graupner mostra di voler favorire la trasformazione del modello, anche se né qui né in altri generi musicali fa un passo effettivo verso il nuovo, ma fa intravedere comunque possibili sviluppi, e quindi per questo Graupner si può vedere come un importante esponente di un periodo di transizione.
Ad un certo punto della sua attività compositiva, sono presenti sensazioni soggettive che iniziano ad inserirsi, trasformando i tratti dello stile, tanto che A. Schering lo ha definito “romantico”, ma è anche vero che nella scrittura di Graupner vi siano frasi e passaggi ornamentali fini a se stessi, che possono vedersi come soffocanti i valori espressivi; ma questa incongruenza è un qualcosa che Graupner condivide con molti altri suoi contemporanei.