Make clear that compressed chunk checksum can be 0s

Also, fix a small bug

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Don't set full-file checksums when using uncompressed sources

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Fix types when printing

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Merge pull request #65 from wolfv/print_only_length_chars

Print only length characters

Merge pull request #68 from zchunk/fix-meson-0.53

Fix meson build problems in Ubuntu

Add CentOS 8 and CentOS 9 tests

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Fix build for meson 0.53

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Add tests for Ubuntu LTS

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

print only length characters

Merge pull request #63 from wolfv/pre-commit

pre-commit config & github linter CI

Merge pull request #64 from zchunk/fix-wrap

Add test for meson-wrap

install pre-commit from pip

Add `libzck_dep` so other projects can use this as a subproject

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Pass zcklib into `pkg_mod` as first argument to simplify things

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Simplify use of disabler

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Attempt to fix zstd wrap dependency detection

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

zstd doesn't build in msvc, so use gcc when building with wrapped zstd

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Make libcurl optional

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Use meson features to simplify dependency checking

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Add test for meson-wrap

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

add pre-commit lint environment

Change workflow name

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Merge pull request #62 from zchunk/github-actions-autotest

Update README.md to point to new CI location

Update README.md to point to new CI location

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Merge pull request #61 from zchunk/github-actions-autotest

Switch to GitHub actions for container CI

Split different os's into different jobs and add missing containers

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Switch to using GitHub actions for container CI

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Merge pull request #60 from zchunk/fix-argp-alpine

Verify that include directory exists before trying to include it

Verify that include directory exists before trying to include it

Note that this also bumps the minimum meson version to 0.53.0

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Merge pull request #54 from wolfv/win

Support for Windows

check that malloc succeeds and use safe strcpy/strcat

fix file end newlines with pre-commit

unify order of ZCK_PUBLIC_API

fix another newline

no libgen on win

add newlines, fix up zck_dl, other review changes

use LOG_ERROR as logging shorthand in utils and tests

fix win

support older meson, fix macos

escape angle brackets on Windows

add .gitattributes to force LF line endings on Windows for test files

fix copy_chunks

fix shacheck for windows

start running tests on win

add fcntl.h header for win

fix up get_tmp_fd for windows

fix tests

make tests build on Windows

Run CI on Windows

build dll on Windows

Merge pull request #59 from eli-schwartz/wraps

Support meson wraps

meson: add subproject fallback for zstd

installed via the command:

```
meson wrap install zstd
```

This file does nothing, unless a dependency cannot be found; in that
case, instead of failing, meson will download a private copy of the
dependency and build + link to that instead.

(This is especially common on Windows, where managing dependencies
without a package manager can be difficult.)

Alternatively, users interested in specifically building a statically
linked / portable executable can configure meson with
`--wrap-mode=forcefallback` to prefer the private copy.

meson: fix incorrect use of global arguments to set symbol visibility

add_global_arguments applies to all subprojects, or more usually, fails.
The meson docs suggest that add_project_arguments is probably preferable
for this reason.

However, in this case it should only be applied to a single library as a
workaround for supporting older versions of meson. Move it to a
per-target c_args instead, for the same effect.

Merge pull request #56 from wolfv/add_gh_action

Add github action

add openssl explicitly

add github action

Merge pull request #58 from dirkmueller/main

Add expected sha256sums for zstd 1.5.1+ release (Fixes #57)

Add expected sha256sums for zstd 1.5.1+ release (Fixes #57)

Merge pull request #52 from martinetd/strict-prototypes

fix -Wstrict-prototypes warning

fix -Wstrict-prototypes warning

function declarations should always explicitly say no argument is expected,
as in C 'foo bar()' means bar can take any parameter.

This was noticed when building another project with -Wall -Wextra and getting
the following warning on installed header:
/usr/include/zck.h:66:5: warning: function declaration isn’t a prototype [-Wstrict-prototypes]
   66 |     __attribute__ ((warn_unused_result));
      |     ^~~~~~~~~~~~~
/usr/include/zck.h:325:5: warning: function declaration isn’t a prototype [-Wstrict-prototypes]
  325 |     __attribute__ ((warn_unused_result));
      |     ^~~~~~~~~~~~~

Fix argplib dependency for new test executable (required for Alpine)

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Dictionary creation should be after compression format is set

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Merge branch 'devel'

Merge branch 'dllogs'

Add test utility to compare a zck with uncompressed file

This utility reads a zck and generates an index from a file, then
compares and output the delta with the chunks that are required.

Signed-off-by: Stefano Babic <sbabic@denx.de>

Add function to generate uthash after write

uthash are generated only when a zck is read when index is parsed. In
case a comparison is done between a zck and a generated zck, to search
for hash both need to have a uthash database, so add function to create
the database when zck is created.

Add a function to assembly a zck with chunks from another zck (source).
The resulkting zck will contain all chunks from source when the hash
(compressed or not compressed in case the compressors are different)
matches.

Signed-off-by: Stefano Babic <sbabic@denx.de>

Do not duplicate index structure for uncompressed

Index is just one, there is no need to duplicate the structure to
support uthash for digest related to the uncompressed data. Drop
index_uncomp and add uthash for uncompressed data.

Signed-off-by: Stefano Babic <sbabic@denx.de>

Add accessor to return associated SRC chunk

If a chunk with the same hash is already present on device, it is
recorded in the src pointer. Add accessor to return this chunk.

Signed-off-by: Stefano Babic <sbabic@denx.de>

Drop too verbose log in comp.c

If zck_write is called in a loop, a "starting" output is unuseful and
too verbose, removed.

Signed-off-by: Stefano Babic <sbabic@denx.de>

zck: add option to select chunk hash

Hash is set to sha512_128, add an option to choose one of the supported
hashes for chunks.

Signed-off-by: Stefano Babic <sbabic@denx.de>

zck_log: allow a callback for logging

When zck is used as library, the caller has already its own LOG system.
It is nice to redirect zck's log into the main logger. ZCK can already
write into a fd specified by the user, but this add complexity in case
it cannot be mapped, for example if LOG should be sent to network or is
managed in a different way. iNot only, information like loglevel are
lost.

Signed-off-by: Stefano Babic <sbabic@denx.de>

curl-dev requires openssl1.1-compat-dev for the moment

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Merge pull request #50 from zchunk/cleanup

Allow specification of `--compressed-format` in `zck`

Fix indentation

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Add support for specifying compression-format in zck

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

When unknown flags are set, show values of unrecognized flags

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Simplify public function

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Remove unneeded digest_size_uncompressed attribute

The uncompressed digest size is the same as the compressed, so no reason
to need an extra attribute

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Revert "Add a way to disable check of chunk min size"

This reverts commit e3fdd8210610ebe21a44a226888b519672e18986.

Merge pull request #45 from sbabic/devel

Introduce checksum for uncompressed data in the zchunk header

Merge pull request #22 from zchunk/uncompressed_source

Add uncompressed source flag to zchunk_format.txt

buzhash: change fingerprint to track OOM

Function returns false if an error (OOM from calloc) occurs, and the
output is stored via pointer passed by caller.

Signed-off-by: Stefano Babic <sbabic@denx.de>

Drop assert in zrealloc and raise runtime error

Most assert in code are useful because they signal a real bug. However,
if allocation on the heap fails, it is a runtime error because system
gets rid of memory. This is more important on embedded systems,
and the caller process cannot exit but it should be informed with return
code and it will decide how to work on.

This drop the assert clause and add error code handling when zrealloc is
called. Because realloc does not touch the original pointer if fails, it
frees memory to avoid leaks.

Signed-off-by: Stefano Babic <sbabic@denx.de>

Add a way to disable check of chunk min size

The check for chunk size is done on the compressed data.
This forbids to create the same chunk set in case data is not compressed
and comparison is done using the hashes of original data and not of
compressed chunk.

Signed-off-by: Stefano Babic <sbabic@denx.de>

Add a uthash to uncompressed digest

Signed-off-by: Stefano Babic <sbabic@denx.de>

Drop assert in zmalloc and raise runtime error

Most assert in code are useful because they signal a real bug. However,
if allocation on the heap fails, it is a runtime error because system
gets rid of memory. This is more important on embedded systems,
and the caller process cannot exit but it should be informed with return
code and it will decide how to work on.

This drop the assert clause and add error code handling when zmalloc is
called.

Signed-off-by: Stefano Babic <sbabic@denx.de>

zck_read_header: fix header with uncompressed

If checksum for uncompressed chunk is added to index, resize the header
to take into account that two sha will be printed.

Signed-off-by: Stefano Babic <sbabic@denx.de>

Add size of uncompressed chunk to index

Size of uncompressed chunk can be used to compare original and detect if
a chunk is required without having to convert it first to a zck file.

Signed-off-by: Stefano Babic <sbabic@denx.de>

Add some clarification as to which sections are flag-dependent

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Add uncompressed source flag to zchunk_format.txt

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Merge pull request #46 from ppentchev/pp-cppcheck

Fix three problems reported by the cppcheck tool.

Only declare a variable if it will be used.

Spotted by: cppcheck

Check the correct value in a test.

Spotted by: cppcheck

Properly detect a read error.

Spotted by: cppcheck

Bump to 1.1.16

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Merge pull request #44 from fd00/cygwin

Fix build on cygwin

Fix build on cygwin

Bump to 1.1.15

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Fix major bug when compressing with dictionary (and add more tests)

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Bump to 1.1.14

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>