zck_log: allow a callback for logging

When zck is used as library, the caller has already its own LOG system.
It is nice to redirect zck's log into the main logger. ZCK can already
write into a fd specified by the user, but this add complexity in case
it cannot be mapped, for example if LOG should be sent to network or is
managed in a different way. iNot only, information like loglevel are
lost.

Signed-off-by: Stefano Babic <sbabic@denx.de>

curl-dev requires openssl1.1-compat-dev for the moment

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Merge pull request #50 from zchunk/cleanup

Allow specification of `--compressed-format` in `zck`

Add support for specifying compression-format in zck

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

When unknown flags are set, show values of unrecognized flags

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Simplify public function

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Remove unneeded digest_size_uncompressed attribute

The uncompressed digest size is the same as the compressed, so no reason
to need an extra attribute

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Revert "Add a way to disable check of chunk min size"

This reverts commit e3fdd8210610ebe21a44a226888b519672e18986.

Merge pull request #45 from sbabic/devel

Introduce checksum for uncompressed data in the zchunk header

Merge pull request #22 from zchunk/uncompressed_source

Add uncompressed source flag to zchunk_format.txt

buzhash: change fingerprint to track OOM

Function returns false if an error (OOM from calloc) occurs, and the
output is stored via pointer passed by caller.

Signed-off-by: Stefano Babic <sbabic@denx.de>

Drop assert in zrealloc and raise runtime error

Most assert in code are useful because they signal a real bug. However,
if allocation on the heap fails, it is a runtime error because system
gets rid of memory. This is more important on embedded systems,
and the caller process cannot exit but it should be informed with return
code and it will decide how to work on.

This drop the assert clause and add error code handling when zrealloc is
called. Because realloc does not touch the original pointer if fails, it
frees memory to avoid leaks.

Signed-off-by: Stefano Babic <sbabic@denx.de>

Add a way to disable check of chunk min size

The check for chunk size is done on the compressed data.
This forbids to create the same chunk set in case data is not compressed
and comparison is done using the hashes of original data and not of
compressed chunk.

Signed-off-by: Stefano Babic <sbabic@denx.de>

Add a uthash to uncompressed digest

Signed-off-by: Stefano Babic <sbabic@denx.de>

Drop assert in zmalloc and raise runtime error

Most assert in code are useful because they signal a real bug. However,
if allocation on the heap fails, it is a runtime error because system
gets rid of memory. This is more important on embedded systems,
and the caller process cannot exit but it should be informed with return
code and it will decide how to work on.

This drop the assert clause and add error code handling when zmalloc is
called.

Signed-off-by: Stefano Babic <sbabic@denx.de>

zck_read_header: fix header with uncompressed

If checksum for uncompressed chunk is added to index, resize the header
to take into account that two sha will be printed.

Signed-off-by: Stefano Babic <sbabic@denx.de>

Add size of uncompressed chunk to index

Size of uncompressed chunk can be used to compare original and detect if
a chunk is required without having to convert it first to a zck file.

Signed-off-by: Stefano Babic <sbabic@denx.de>

Add some clarification as to which sections are flag-dependent

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Add uncompressed source flag to zchunk_format.txt

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Merge pull request #46 from ppentchev/pp-cppcheck

Fix three problems reported by the cppcheck tool.

Only declare a variable if it will be used.

Spotted by: cppcheck

Check the correct value in a test.

Spotted by: cppcheck

Properly detect a read error.

Spotted by: cppcheck

Bump to 1.1.16

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Merge pull request #44 from fd00/cygwin

Fix build on cygwin

Fix build on cygwin

Bump to 1.1.15

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Fix major bug when compressing with dictionary (and add more tests)

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Bump to 1.1.14

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Fix build on s390x

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Bump to 1.1.13

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Make builds consistent across architectures for zstd-1.5.0

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Update to 1.1.12

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Fix tests for zstd => 1.5.0

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Bump to 1.1.11

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Fix type mismatch

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Bump version to 1.1.10

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Clarify warning messages when corrupted chunks are discovered locally

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Handle certain rare web servers that don't start with \r\n

After testing the server in https://github.com/zchunk/zchunk/issues/40, I
found that it doesn't start with "\r\n", so let's make that part optional

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Merge pull request #39 from susnux/master

meson: Fix argp detection, prevent Werror=return-type

meson: Fix argp detection, prevent Werror=return-type

Merge pull request #38 from zchunk/zck_gen_zdict_docs

Add documentation for generating zdicts

Clean up phrasing to hopefully make it more clear that zdicts are optional

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Add documentation for generating zdicts

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Update copyright dates

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Merge pull request #36 from kontura/memleak

Fix memory leak of zck->prep_digest

Fix memory leak of zck->prep_digest

Update to 1.1.9

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Handle zstd 1.4.7+

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Merge pull request #35 from nima2007/darwin1

macOS: Use correct endian.h & use argp-standalone

macOS: Use correct endian.h & use argp-standalone

New release

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Merge pull request #33 from davidbrochart/fix_regex

Add REG_ENHANCED to regcomp for OSX

Add REG_ENHANCED to regcomp for OSX

Bump to 1.1.7

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Update documentation

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Add support for FreeBSD

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Merge pull request #26 from ppentchev/pp-unzck-ext

unzck: require a *.zck extension

Merge pull request #28 from ppentchev/pp-manpages

Add manual page stubs for the command-line utilities.

Add manual page stubs for the command-line utilities.

unzck: require a *.zck extension

Blindly removing the last four characters from a filename may lead to
unexpected results if somebody has created a zchunk archive with
a non-standard name.

Bump to 1.1.6

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Don't clear cache because alpine is really strange

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Simplify Jenkinsfile since we're no longer doing parallel builds

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Fix Jenkinsfile

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Add autotest case for Alpine Linux because it uses musl

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Add support for building with argp-standalone library

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Merge pull request #23 from texierp/fixes/musl

topic: musl fixes

unzck: fix build with musl libc

On musl libc "stdout" is a preprocessor macro whose expansion leads to
compilation errors.

Fixes:

| In file included from ../git/src/unzck.c:31:
| ../git/src/unzck.c: In function 'parse_opt':
| ../git/src/unzck.c:78:24: error: expected identifier before '(' token
|    78 |             arguments->stdout = true;
|       |                        ^~~~~~
| ../git/src/unzck.c: In function 'main':
| ../git/src/unzck.c:141:20: error: expected identifier before '(' token
|   141 |     if(!(arguments.stdout)) {
|       |                    ^~~~~~

Signed-off-by: Pierre-Jean Texier <pjtexier@koncepto.io>

zck.h: fix build on musl

The ssize_t type requires the <sys/types.h> header. This fixes build with musl
libc:

include/zck.h:68:1: error: unknown type name 'ssize_t'; did you mean 'size_t'?
   68 | ssize_t zck_read(zckCtx *zck, char *dst, size_t dst_size)
      | ^~~~~~~
      | size_t
include/zck.h:81:1: error: unknown type name 'ssize_t'; did you mean 'size_t'?
   81 | ssize_t zck_write(zckCtx *zck, const char *src, const size_t src_size)
      | ^~~~~~~
      | size_t

Signed-off-by: Pierre-Jean Texier <pjtexier@koncepto.io>

Bump to 1.1.5

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Handle write errors correctly

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Add some clarification as to which sections are flag-dependent

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Add uncompressed source flag to zchunk_format.txt

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Problems with testing on CentOS 8, so switch back to 7

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Bump to 1.1.4

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Simplify regex for detecting part header info

It turns out that the content-type is sometimes excluded, so I've just
simplified the whole regex.

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Bump to 1.1.3

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Fix coverity warnings

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Buster has libzstd, so we don't need backports

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Bump to 1.1.2

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Merge pull request #18 from F-i-f/open-create-permissions

Open files with permissions 0666 and let umask(2) do its job.

Merge pull request #17 from F-i-f/multipart-boundary-quotes

Multipart boundary field can be quoted.

Open files with permissions 0666 and let umask(2) do its job.

When creating files, zchunk did not obey the users's umask(2) setting.

Multipart boundary field can be quoted.

Reference: https://tools.ietf.org/html/rfc2046#section-5.1.1
According to RFC 2046, the boundary parameter in the Content-Type
header can optionally be quoted with double quotes.

Fix zchunk's boundary parsing so that double quotes are stripped when
found.

Update README.md with links to some documentation

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Bump to 1.1.1

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Fix compilation for GCC 4.4.7

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Bump to 1.1.0

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Speed up zchunk index operations

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Bump to 1.0.4

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Lighttpd uses non-hex boundaries and reverses content-type and
content-range.  The patch allows zchunk to work with lighttpd.

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Bump to 1.0.3

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Fix off by one error

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Fix memory leak and off-by-one allocation error

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Fix some small bugs found by Coverity

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Bump to 1.0.2

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Fix bug when comparing chunks and add test case.

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Bump to 1.0.1

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>

Clean up hash when cleaning index

Signed-off-by: Jonathan Dieter <jdieter@gmail.com>