Проблеми синхронної паралельності

Ніяка з проблем асинхронної паралельності (див. Додаток В) не має відношення до синхроної паралельності. Тут не існує ні несумісних даних, ні блокувань, не може застосовуватися балансування завантаження процесорів. Це знову підкреслює принципову різницю між синхронним та асинхронним паралельним програмуванням. Обидві ці моделі паралельності базуються на різних основних положеннях і мають свої різні області застосування. Тому асинхронні паралельні рішення різних проблем не можуть бути перетворені в синхронно-паралельні рішення і навпаки.

Проблеми, що виникають під час реалізації синхронної паралельності, пов'язані в основному з обмеженнями, що притаманні SIMD-моделі. У зв'язку з тим що всі процесорні елементи мають виконувати одну й ту саму операцію, або бути в неактивному стані, деякі векторні операції можуть розпаралелюватися недостатньо. Застосування рівня абстракції для керування процесорами незалежно від фактично наявної кількості фізичних процесорів також може призвести до проблеми ефективності.

Ще однією проблемою є використання периферійної апаратури, яка дуже часто стає вузьким місцем під час передачі даних.