![](/logo_grey.gif)
Последние записи
- Сравнение языков на массивах. Часть 2
- wprintf как напечатать кириллицу
- Взаимодействие через командную строку
- Сравнение языков на массивах. Часть 1
- Сравнение языков по скорости
- Чтение огромных xml-файлов
- Как в Python+Selenium webdriver открыть новую вкладку в уже открытом браузере?
- Lazarus, проверка существования строки таблице
- BASM и record, обращение к полям записи
- Web PHP Framework Symfony
![](http://programmersclub.ru/slurm3.jpg)
Интенсив по Python: Работа с API и фреймворками 24-26 ИЮНЯ 2022. Знаете Python, но хотите расширить свои навыки?
Slurm подготовили для вас особенный продукт! Оставить заявку по ссылке - https://slurm.club/3MeqNEk
![](http://programmersclub.ru/katajpg.jpg)
Online-курс Java с оплатой после трудоустройства. Каждый выпускник получает предложение о работе
И зарплату на 30% выше ожидаемой, подробнее на сайте академии, ссылка - ttps://clck.ru/fCrQw
26th
Сен
Сравнение текстовых файлов \ Варианты
Posted by obzor under Delphi
Строки текстового файла 1.txt необходимо проверить на совпадение — со строками текстового файла 2.txt. И уникальные строки, которых нет в файле 1.txt, записать в файл 3.txt.
К примеру:
Tекст в первом файле — 1.txt
Test1
Test2
Test3
Test4
Test5
Текст во втором файле — 2.txt
Test1
Test2
Test3
Test4
Test5
Stroka1
Stroka2
stroka3
После сравнения, результат в третьем файле — 3.txt
Stroka1
Stroka2
stroka3
Вот мои решения и их недостатки =>
Вариант №1 (Загрузка в память):
var
i: integer;
s1, s2: TStrings;
begin
s1 := TStringList.Create;
s2 := TStringList.Create;
Try
s1.LoadFromFile('1.txt');
s2.LoadFromFile('2.txt');
for i := s1.Count - 1 downto 0 do
if s2.IndexOf(s1) >= 0 Then
s1.Delete(i);
s1.SaveToFile('3.txt');
Finally
s1.Free;
s2.Free;
End;
end;
Проблема в следующем: Если файл размеров 500 мегабайт то вся память забивается и выскакивает ошибка — Out of memory. Ну это само собой понятно поскольку я загружаю и обрабатываю все в памяти.
Вопрос: Может как то можно оптимизировать код в этом варианте, кто что может подсказать ?
Вариант №2 (Чтение построчно):
var
f1, f2, f3: textfile;
s1, s2: string;
b: boolean;
begin
assignfile(f1, '1.txt');
assignfile(f2, '2.txt');
assignfile(f3, '3.txt');
rewrite(f3);
reset(f1);
while not eof(f1) do
begin
readln(f1, s1);
reset(f2);
b := true;
while not eof(f2) and b do
begin
readln(f2, s2);
if s2 = s1 then
b := false;
end;
if b then
writeln(f3, s1);
end;
closefile(f1);
closefile(f2);
closefile(f3);
end;
Проблема в следующем: Очень и очень медленно работает, ну и тут принцип понятен:
1.Читаем строку из 1.txt файла
2.Открываем 2.txt, проходим по нему ищем совпадение
3.Закрываем 2.txt файл
И так для каждой строки из первого файла. Это куча времени и затрат.
Вопрос, скорее всего утверждение: В этом варианте, само собой понятно что далеко не уедешь.
П.С: Подскажите еще варианты, при использования которых, можно обрабатывать файлы до 1 гигабайта, не загружая память и при этом, иметь, хотя бы, среднюю скорость обработки ?
Вар 1. Out of memory
Не делать S1.Delete(j)
иметь (завести) еще один массив
SetLEngth(mm, s1.Count);
в котором отмечать ОТМЕЧАТЬ(запоминать) строки для последующего удаления
потом s2.Clear(Free)
потом удалить помеченые и сохранить
или же (если удаление снова даст outofmemory) ПОСТРОЧНАЯ запись в файл неотмеченных строк.
вар2.
не читать много-много раз один файл(2.txt) а считать его один раз в StringList и искать ТАМ.
я бы тоже начал с этого способа. Если, конечно, файл 2.txt легко помещается в память и размеры файла 1.txt позволяют его обрабатывать построчно (скорость обработки достаточная).
выглядит это так:
var
f1, f3: textfile;
s1 : string;
ts2: TStrings;
begin
assignfile(f1, '1.txt');
assignfile(f3, '3.txt');
rewrite(f3);
reset(f1);
ts2 := TStringList.Create;
ts2.LoadFromFile('2.txt');
while not eof(f1) do
begin
readln(f1, s1);
if ts2.IndexOf(s1) < 0
then
writeln(f3, s1);
end;
ts2.Free;
closefile(f3);
closefile(f1);
end;
ну, и возможны варианты.
например, если отсортировать файл 2.txt, то можно воспользоваться индексированным поиском (см. метод Find()), который работает исключительно быстро.
Похожие статьи
Купить рекламу на сайте за 1000 руб
пишите сюда - alarforum@yandex.ru
Да и по любым другим вопросам пишите на почту
![пеллетные котлы](http://programmersclub.ru/respective.jpg)
пеллетные котлы
![пеллетный котел](http://programmersclub.ru/emtas.jpg)
Пеллетный котел Emtas
![форум программистов](http://programmersclub.ru/banf336х280.gif)
Наши форумы по программированию:
- Форум Web программирование (веб)
- Delphi форумы
- Форумы C (Си)
- Форум .NET Frameworks (точка нет фреймворки)
- Форум Java (джава)
- Форум низкоуровневое программирование
- Форум VBA (вба)
- Форум OpenGL
- Форум DirectX
- Форум CAD проектирование
- Форум по операционным системам
- Форум Software (Софт)
- Форум Hardware (Компьютерное железо)