Originariamente questa abitazione, che deve il nome al ritrovamento di una gemma con ritratto femminile dell’età di Claudio (sembra però sia stata ritrovata nella sottostante Casa di Granianus), era parte integrante della Casa del Rilievo di Telefo, probabilmente di proprietà della famiglia di Marco Nonio Balbo, che presentava un impianto irregolare, frutto dei continui ampliamenti per conquistare l’affaccio sul mare e la veduta del Golfo. In età augustea la dimora si sviluppava in tre livelli su ben milleottocento metri quadrati, rappresentando la seconda abitazione più grande di Ercolano, ed era collegata alle Terme Suburbane.
Nell’ultimo periodo di vita della città, nell’ambito di una generale ristrutturazione, il gigantesco complesso residenziale venne diviso in tre distinte abitazioni, creando la Casa della Gemma, che si trova al livello della strada, e un’altra casa più modesta al piano sottoposto, reso indipendente grazie a un ingresso autonomo presso Porta Marina. Di questa terza abitazione conosciamo il nome del proprietario, M. Pilus Primigenius Granianus, grazie al rinvenimento di un sigillo in bronzo.
La Casa della Gemma conserva, nel suo quartiere signorile, caratteri di grande freschezza degli intonaci e nei pavimenti. Certamente, essa fu abitata, negli ultimi giorni, da una famiglia di riguardo, che ebbe tra i propri ospiti un medico all’epoca famoso alla corte imperiale di Tito, di nome Apollinare, il cui ricordo è consacrato da un’iscrizione irriverente nella latrina, posta nel quartiere rustico insieme alla cucina.
Come le altre dimore affacciate sul mare, anche questa casa si sviluppa verso sud con una serie di ambienti, tra cui il triclinio, allineati sul loggiato, ora appena intuibile.