Un algoritm e relativ simplu. Ai varfurile si poti scoate ecuatiile laturilor. Vezi unde se intersecteaza si gasesti noile varfuri iar apoi e banal sa calculezi aria

p.s. nu uita sa verifici daca puntul de intersectie se pe laturi. Daca egalezi ecuatiile poti avea "surpriza" sa se intersecteze prelungirile