奥运会比赛的技术问题一般是由各国际单项体育组织负责的, 裁判员也不例外。各单项组织在奥运会前向各国的国际裁判们发出邀请,并组织他们进行所管辖项目比赛的裁判工作。但是那些担任辅助工作的裁判员, 如巡边员、司线员、记录员等大都由东道国派出。应邀参加奥运会裁判工作的裁判员所需的费用由奥运会组委会负责。在奥运会期间,他们不住在奥运村,而是根据项目分开居住在旅馆里。他们凭身份卡进入比赛场馆, 但不能进入运动员居住的奥运衬。

奥运会要求裁判工作公正准确,并接受国际单项体育组织、技术委员会和仲裁委员会的监督。不公正的裁判员将受到控告或被撤换。当然, 任何比赛中的错判甚至有意偏向都不可能完全避免,在历届奥运会上几乎都有因裁判问题而引起的争议。例如在汉城奥运会上, 韩国拳击运动员道丁一的教练甚至因对裁决不满，而对当值裁判瓦尔克大打出手, 成为该届奥运会的一大丑闻。