Сортировка цветов

result := color1 - color2;

p/s Нарисовал на листике, действительно так и есть, три синусоиды к-рые отличаются по фазе. Вот тебе и значения R G B.

Вот код, и результат его работы

uses
  Math;

var
  r, g, b: byte;
  i: integer;
begin
  for I := 0 to 360 do begin
    r:=Round(128+cos(DegToRad(i))*128);
    g:=Round(128+cos(DegToRad(i+240))*128);
    b:=Round(128+cos(DegToRad(i+120))*128);
    Canvas.Pen.Color:=RGB(r,g,b);
    Canvas.MoveTo(i, 0);
    Canvas.LineTo(i, 50);
  end;
end;

Красный цвет совпадает с косинусом, зеленый — сдвинут по фазе на 240 град., синий на 120.
Но за счет того что синусоида имеет плавную форму, чистых цветов на границах нет (желтого например), тут нужно синусоиду как бы дискретной сделать, с линейными (по диагонали) перепадами, и плоскими пиками равным по длине перепаду * 2. Плюс черные полосы нужно разобраться что тут делают.

function compareColor(const color1, color2: tColor): integer;
var
h1, h2, s1, s2, l1, l2: byte;
begin
   ColorToHSL(color1, h1, s1, l1);
   ColorToHSL(color2, h2, s2, l2);
   result := h2 - h1;

   if result = 0 then
      result := s2 - s1;

   if result = 0 then
      result := l2 - l1;
end;