Paul Ehrlich nacque nella Prussia orientale (attuale Polonia) il 14 marzo del 1854. Egli studiò al Ginnasio Breslavia e alle Università di Breslavia, Strasburgo, Friburgo e Lipsia. Nel 1878 ottenne il dottorato di medicina, grazie ad una dissertazione teorica e pratica sulla colorazione dei tessuti animali. Nello stesso anno fu nominato assistente del Professor Frerichs alla Clinica Medica di Berlino, che gli permise di continuare la ricerca su queste tinture.
Egli dimostrò che tutte le colorazioni usate potevano essere classificate come basiche, acide o neutrali. In maniera particolare, il suo lavoro sulla colorazione dei granuli nelle cellule ematiche gettò le basi per la futura ricerca di ematologia e di colorazione dei tessuti. Nel 1882 Ehrlich pubblicò un lavoro sulla colorazione del bacillo della tubercolosi che Koch aveva scoperto da poco ed il suo metodo è usato ancora oggi.
Da questo metodo prese spunto anche la tecnica di colorare i batteri Gram, anch'essa ancora utilizzata dai batteriologi moderni. Nello stesso periodo Ehrlich divenne Professore titolare e qualche anno dopo divenne Professore Associato. Nel 1883 Ehrlich sposò Hedwig Pinkus, che aveva dieci anni meno di lui, con cui ebbe due figlie: Stephanie e Marianne.
Alla fine del 1896 Ehrlich divenne il Direttore del neonato istituto per il controllo dei sieri terapeutici a Berlino. Qui egli continuò i suoi studi e la sua ricerca sull'immunologia, e dimostrò anche che la reazione tossina-antitossina è, come tutte le altre reazioni chimiche, accelerata dal caldo e ritardata dal freddo; ma si rese anche conto che la misurazione dei sieri antitossina doveva raggiungere uno standard valido per tutti e cominciò con il siero antidifterite.
Nel 1897 Ehrlich divenne Funzionario della Salute Pubblica a Francoforte e quando, nel 1899, fu creato nella stessa città l'Istituto Reale di Terapia Sperimentale ne divenne il Direttore. Questo fu il periodo in cui egli si dedicò completamente alla chemioterapia com'era allora intesa: una terapia a base di sostanze chimiche che potessero aggredire l'agente Patogeno come un bersaglio, allo stesso modo in cui i sieri andavano a colpire le tossine.
In quel periodo Shaudinn e Hoffmann a Berlino scoprirono lo spirochete che provocava la sifilide. Ehrlich decise di cominciare gli esperimenti proprio su quello. Tra quelli sperimentati fino a quel momento ce n'era uno di quelli già esaminati (il 606°), che era stato messo da parte perché dichiarato inefficace.
Uno studente, di nome Hata, era stato mandato da un suo collega all'Istituto di Ehrlich; quando quest'ultimo seppe che Hata era riuscito ad infettare i conigli con la sifilide, provò la sostanza chimica 606 su quei conigli e la trovò efficace contro la Sifilide. Era il 1909.
L'esperimento fu ripetuto e si rivelò sempre efficace. Ehrlich decise, l'anno successivo, di annunciare la scoperta di un farmaco, che egli chiamò 'Salvarsan', per combattere la sifilide. Questo poi fu sostituito da un'altra sostanza (la numero 914), che egli chiamò 'Neosalvarsan', la quale era più solubile e, quindi, più facile da somministrare.
Negli ultimi anni, Ehrlich si dedicò completamente a ricerche sui tumori, sulle sue teorie dell'evoluzione del carcinoma in sarcoma e dell'immunità al cancro fino alla sua morte, sopraggiunta ad agosto 1915.
Ehrlich ricevette numerosi premi. Nel 1887 il Premio Tiedemann, nel 1906 il Premio d'Onore al Congresso di Medicina a Lisbona, nel 1908 il Premio Nobel, nel 1911 la Medaglia di Liegi della Società Chimica Tedesca, nel 1914 il Premio Cameron di Edimburgo.