1. Why is en Europe considered wrong?

You can write, answering to the question "What is the Portugal ?":

Le Portugal est un petit pays.

Être means "has the characteristic of being".

and, answering to the question "Where is the Portugal?":

Le Portugal est en Europe.

Être means "is located".

However,

Le Portugal est un petit pays en Europe.

despite being grammatically correct is unidiomatic and would be parsed somewhat as “Portugal is a small country when in Europe”. That might be understood to mean "Portugal is possibly a larger country elsewhere" which doesn’t make sense. Countries are not known for traveling.

We do not juxtapose both complements, moreover without any conjunction, especially because être hasn’t the same meaning.

Duolingo is right when considering the answer :

Le Portugal est un petit pays d‘Europe

to be the right one. This is indeed the usual construction to refer to a country that is part of a continent or a larger group of countries.

Alternatives can make clear the complements are disjunct:

Le Portugal est un petit pays et il est en Europe.

Le Portugal est en Europe et c’est un petit pays.

or correctly link its location to the country:

Le Portugal est un petit pays européen.

Le Portugal est un petit pays situé en Europe.

Finally, un petit pays en Europe would be fine in this sentence:

Le Portugal est considéré comme un petit pays en Europe.

but the meaning is different:

Outside Europe, people might consider differently the Portugal size.

---

2. How can I know when to use de and when to use en when referring to countries or continents?

De is a preposition that mark a belonging relationship, similar to "of", e.g.:

Les États-Unis d‘Amérique not Les États-Unis en Amérique

The United States of America not The United States in America

En is a preposition that mark a location like "in".

My life in America not My life of America

Ma vie en Amérique not Ma vie d’Amérique

---

_{PS: Whatever its size, Portugal is a great country 🙂}

Ce choix est strictement une question d’usage, mais c’est un usage selon certains principes plutôt solides.

La préposition « de » est généralement utilisée, mais avec une modification selon le genre.

Pour les noms propres féminin l’article n’est pas utilisé (de, d’)

• d’Afrique (Le Togo est un pays d’Afrique)
• d’Érythrée
• de Géorgie (EUA, Europe de l’Est)
• d’Argentine
• d’Allemagne
• d’Amérique
• de France (les villes de France, une ville de France, les villages de France, un village de France, les rivières de France, une rivière de France, les plages de France)
• de Bretagne
• de Corrèze
• de Poitou-Charentes
• de Champagne (caves et vignobles de Champagne)
  …

Pour les noms masculins et les noms pluriels l’article reste.(de l’, du, des)

• de l’Illinois
• de l’Arctique (les animaux de l’Arctique)
• du Soudan
• du Brésil
  …
• des Alpes (Chamonix est une ville des Alpes)
• des Pyrénées
• des Causses (villages des Causses)
• des Canaries (ville des Canaries)
• des Antilles (les îles des Antilles)
• des Açores
  …

Lorsque le nom est un nom commun l’article est utilisé (de l’, du, de la, des)

• océan (Sri Lanka est une île de l’Océan Indien)
• continent (Les Alpes sont une chaîne de montagnes du Continent Européen)
• bassin (les villes du Bassin Parisien)
• massif (Limoges est une ville du Massif Central)
• île (les communes des îles Canaries)
• désert (les fleurs du désert de Mojave)
• région (les vins de la région Champagne)
  …

On peut cependant utiliser « en », « dans » ou « de » selon la construction et le nom;
À la question « Milan est une ville de quel pays ? » on peut répondre de deux façons;

• Milan est une ville d’ Italie.
• C’est en Italie. (« en » ou « à » pour les pays)

Question : Où se trouve Madagascar ?

• Madagascar est une île de l’Océan indien.
• C’est dans l’océan indien. (« dans » pour les océans et les mers)

Lorsque le groupe nominal n’est pas simple et indique une sous-classe ou une entité non spécifique à l’endroit les prépositions suivantes sont utilisées soit comme alternative à « de » soit uniquement : en, dans.

• les villes et villages de caractère en Corrèze (on pourrait aussi dire « de »)
• les fleurs et la végétation dans le désert de Mojave (on pourrait aussi dire « du »)
• vignobles et découvertes en Champagne (« de » n’est pas possible)

Il y a des exceptions

• du Poitou-Charentes et de Poitou-Charentes
• de l’Inde
• de la Corrèze et de Corrèze
• les plages de la Floride ou les plages de Floride
• vignobles de la Champagne ou vignoble de Champagne
• La Corrèze est un département sur le plateau de Millevaches.
  …