Puisque que vous n’en avez jamais parlé auparavant, la phrase correcte est la première avec l’article indéfini :

Tiens un livre.

On pourrait utiliser l’article défini dans le cas où on ajoute un commentaire, du genre :

Tiens, voici le livre qui m’a tenu éveillé toute la nuit.

Dans la réalité, il n’y a pas besoin de toujours désigner dans le discours l’objet des articles définis. Si je t’invite à prendre un livre, en général, je te le montre et ça suffit pour clairement l’identifier.

Si tu montres le livre, si tu le tiens déjà dans la main, etc, on préfèrera dire :

Tiens le livre

Car sans l’avoir dit, nous savons tous les deux de quel livre nous parlons.

S’il n’est pas possible d’identifier le livre (s’il est dans un sac, par exemple), on peut dire :

Tiens un livre

ATTENTION :

A l’oral :

Tiens, un livre

Peut parfois signifier quelque chose de totalement différent.
“Tiens, un livre” : c’est un livre que je viens de trouver, par terre, que je ne connais probablement pas.
Le verbe “tenir” exprime la surprise, la découverte, l’intérêt :

Tiens, j’ai lu un article hier sur le projet de loi …

“Tiens” sert à capter l’attention.

Autres options :

Si le livre est clairement défini, ou qu’on le montre d’une manière quelconque, on utilise souvent l’adjectif démonstratif “ce“

Tiens ce livre

Si on souhaite donner, offrir quelque chose à quelqu’un, on utilise aussi le verbe “prendre“

Prends ce livre